Про QA

Если вы используете BrowserStack и/или следите за рынком, то наверняка видели новость про AI агента Test Companion.А кто-то возможно уже его попробовал. Если такие люди есть среди читателей - расскажите плиз "как оно"? И действительно ли золотые горы таковыми и являются. #qa #pro_qa #ai #browserstack #test_companion

Сегодня в #OTUS на курсе QA Lead стартует новый поток 2026-07. Еще не поздно подключиться, тк первые 2 лекции обзорные и спокойно смотрятся в записи. Подробно про сам курс можно прочитать здесь: https://otus.ru/lessons/qa-lead/ Из интересных нововведений - добавили отдельный модуль про AI в тестировании. Ну и в качестве бонуса 10% скидка от меня - DANILOVV10 #qa #pro_qa

Решил все новости про AI / LLM в QA перенести в отдельный канал, чтобы здесь не засорять эфир - тк порой там дофига всего (я бы сказал каждый день что-то новое - все читать и анализировать никакого времени не хватит, поэтому у меня на жто отведено всего несколько часов в неделю - разобрать новости про ИИ и тестирование, которые мне агенты собирают. А самое вкусное буду постить в @qa_ai_news #qa #pro_qa #qa_ai @ai #llm #qa_ai_news #ai_news

Бывшая коллега, работающая Head of QA в одной конторе, которая делает тулзу с AI, которая пишет авто-тесты и проверяет/тестирует их с помощью AI, написала на днях:

Мы выкатили платформу в публичный доступ. Первые пару недель она полностью бесплатная, потом постепенно начнем прикручивать оплату в формате кредитов - покупаешь кредиты и каждый запуск агента их съедает. Регистрироваться тут, можно звать друзей. Если будет запрос - с радостью могу сделать звонок и показать как пользоваться.

https://customer-portal.everworker.ai/ #qa #pro_qa #ai #llm #ai_testing

Несколько раз возникал запрос на отдельную группу про AI в тестировании. Сделал отдельную группу для обсуждения) @qa_llm Присоединяйтесь! #qa #pro_qa #ai #llm

Месяц не писал в бложик, потому как был довольно сильно загружен. Из того, что «успел» за последнее время: - примерно на половину переделал весь курс QA Lead в ОТУСе // новый поток по пока еще старой, но уже несколько изменной программе (добавлен отдельный блок про AI в тестировании) стартует уже в эту среду - чуть позже сегодня повешу анонс и дам 10% скидку для тех кто захочет запрыгнуть в последний момент; ну а новый формат курса стартует в октябре - и там будет большой анонс в районе сентября - навайбкодил парочку пет-проектов, которые решают мои персональные задачи (meal planner, weekly planner): codex + github + vercel + firebase (пишу в чатик что хочу получить, кодекс делает изменения у меня в репе, я их закидываю в гит (решил это пока оставить на ручном приводе), затем авто-деплой на стейджинг, после UAT, если все ок - авто-деплой на прод (я под это дело парочку доменов развернул)) - если несколько инсайтов, но о них отдельным постом позже) - подготовил 2 формата мастермайнда - для Senior QA и для QA Lead // в ближ.время выложу в паблик с формой записи - не успел запустить групповой менторинг, но по крайней мере собрал список доступных тем // оформлю и выложу в открытый доступ с записью (как только окончательно определюсь с форматом) - активно менторил несколько QA лидов и походу будет место на 1 или 2 человек // отдельный анонс на этой неделе - в августе реанимирую программу бесплатного менторинга для джунов/мидлов (и возможно расширю для синьоров) Ну и для тех кому интересен мастермайнд и групповой менторинг - оставляйте коммент или пишите в личку, добавлю в закрытую группу после небольшого интервью. #qa #pro_qa #планы #статус

Минутка юмора про ГосУслуги «будущего». #qa #pro_qa #юмор

Каждый AI‑PR — 11 багов! Исследование QA Wolf по агентному SDLC показало, что AI‑код даёт примерно в 1,7 раза больше дефектов, чем человеческий, особенно в логике, безопасности и производительности. Средний AI‑PR содержит около 11 багов против 6 у обычного PR, а лучшие AI‑ревьюеры ловят только около 50% проблем. Отдельно исследователи предупреждают: если команды не перестроят тестирование под AI‑разработку, число дефектов может вырасти на 2500% к 2028 году. Источник: https://www.qawolf.com/blog/testing-in-the-agentic-sdlc #qa #pro_qa #ai #bugs #ai_bugs

Обнаружил новый способ скама через Obsidian. Пишет в телеге человек с недавно созданным (не подтвержденным) аккаунтом, заведенном на американский номер телефона и спрашивает продолжаю ли я заниматься QA. Я отвечаю - да, конечно. Рассказывает, что ему нужно провести аудит по нескольким проектам им предлагает смешную ставку в 400 USDT. После некоторого обсуждения - предлагает уже более реальную ставку в 8к (4к сразу после получения доступа к документации, 4к после получения результатов аудита). Ну ок. Спрашивает работал ли я с Obsidian - тк у него вся документация лежит там. Ну что ж, Обсидиан - это довольно удобно. LLM Wiki, все дела). Отвечаю, что да. Он скидывает данные своего аккаунта (логин - email и явно оноразовый, пароль к Обсидиан Cинк + пароль от хранилища). Я на всякий случай перепроверил всю документацию по синхронизации, доступам к другим хранилищам и там все ок - синхронизируется только конкретное хранилище в то, что я укажу и куда я укажу. Еще говорит о том, что нужно включить community plugins. И присылает видео инструкцию как это сделать. Уже улыбаюсь про себя) Разворачиваю песочницу - логинюсь, включаю плагины, но отключаю автоматическую установку - скачиваю список плагинов и ага, вот оно - Hider и ... барабанная дробь ... Shell commands. Что именно может пойти не так: - Кража данных. Плагин может прочитать ваш vault, заметки, токены, ключи, пароли и другие файлы, к которым у приложения есть доступ. • Удаленное выполнение команд. Плагин Shell commands по своей природе умеет запускать системные команды, а его авторы отдельно предупреждают: использовать только доверенные команды, иначе можно потерять файлы или повредить систему. • Атака через чужой аккаунт. Если аккаунт, из которого ставили плагины, не ваш, то риск выше: в него могли войти посторонние, подменить настройки, добавить вредный plugin/script или оставить скрытую автоматизацию. • Авто-запуск без вашего участия. Для Shell Commands указана поддержка автоматического выполнения и запуска через URI-ссылки, то есть действие может сработать при открытии vault или по ссылке. • Скрытие интерфейса. Плагин Hider сам по себе не “вирус”, но он может спрятать элементы интерфейса, из-за чего вредные действия или подозрительные настройки заметить сложнее. Прикидываюсь бревном и пишу - подключил хранилище, но там нет документации. Мне в ответ: а ты включил плагины? Пришли мне скриншот. Интересный факт: в мобильной версии Обсидиана shell Commands нельзя включить) Я спрашиваю: а зачем? они никак не влияют на файлы. Уточняю: будет ли документация или это очередной способ скама? В ответ получаю удаление истории чата) ЧТД! Ну да фиг с ним. Включаю Restricted Mode. Меняю пароль в том аккаунте с подпиской (его на месяц всего оплатили, но нефиг использовать для скама других), делаю разлогин со всех девайсов и потом удаляю аккаунт скамера. В общем, заход прикольный (раньше на фейк найме просили гит репу с пачкой всяких троянов себе клонировать). Но какой-то сложный. Рассчитанный на тех у кого совсем нет критического мышления и то не знает нюансы работы с Обсидиан. или на тех кто вайбкодит, но не разбирается во внутрянке. Вывод простой: На личный комп не надо ничего не ставить (даже из якобы проверенных источников - гит, комьюнити плагины обсидиана - ибо это просто дырки в безопасности) - разворачивайте песочницу, если хотите с этим как-то "поиграться". #qa #pro_qa #obsidian @#scam #security

С 2017 года не был в полноценном «классическом» отпуске, оплачиваемым работодателем. Все потому что с тех времен всегда работал по контракту в междунарожных компаничх или как ИП в РФ, или пилил собственный стартап 😎 С тех времен в мозгу плотно закрепилась концепция: не работаешь = не получаешь денег. Хочешь отдохнуть - не проблема, но никто тебе платить за это не будет, накопи заранее сам. Когда работаешь сам на себя или на консалтинге - это норма и после этого мысль про то, что можно получать деньги за то, что ты не работаешь - те находишься «в отпуске» кажется довольно странной 🤪 #qa #pro_qa #отпуск А что вы думаете на эту тему? #qa #pro_qa #отпуск

#Яндекс в своем репертуаре. Сколько косяков для пользователей вы здесь насчитали? И сколько нарушений законов? Навскидку я могу 4 назвать. PS. 5 дней или 62 руб в год х кол-во пользователей — неплохой доход получается! 🤪 #qa #pro_qa #funny_cx #funny_ux #багивокругнас #yandex

Искусственный интеллект уже генерирует тысячи тестов за секунды, но реальные кейсы показывают, что QA‑стратегию на одном ИИ строить нельзя. Недавний разбор показывает: команды массово штампуют AI‑тесты для своих приложений, покрытие формально растет, а крупные облачные вылеты (включая инциденты AWS) все равно случаются. По данным исследования Gartner, до 40% ИИ‑сгенерированных тестов не соответствуют реальным сценариям использования, а MIT показывает, что до 25% критичных security‑дыр в облачных средах такие тесты просто не ловят. Получается, красивый рост покрытия без проверки качества самих тестов превращает AI‑QA в иллюзию контроля. Источник: https://coaio.com/news/2026/05/ai-generated-tests-revolutionizing-software-reliability-or-just-hype-2pgc/ Еще ярче это видно на примере конкретного проекта: Copilot нагенерил 420 тестов для модуля платежей, покрытие кода прыгнуло с 58% до 84%. Но при мутейшн‑тестировании эти AI‑тесты ловили только 58–62% внесенных багов, то есть почти половина дефектов спокойно уходила в прод. Авторы выводят простую вещь: без метрики качества тестов повышение coverage ИИ‑инструментами создает ложное чувство безопасности. Источник: https://pandev-metrics.com/docs/blog/ai-generated-tests-quality #qa #pro_qa #ai

А у как у вас обстоят дела с внедрением AI в процессы разработки и тестирования? Почему спрашиваю? Да потому что ROI здесь кажется вообще не считают, риски не просчитывают, про импакт-анализ не знают. Ускорение разработки, тестирования и замена ручных тестировщиков и автоматизаторов AI агентами - это конечно (в идеале) полезно/прекрасно, но вопрос реализации + довольно часто от своих меньи слышу «нам сказали везде внедрять AI и пофиг на то, что нет экспертизы, норм.процессов, документации и тп» - и это печально. Есть интересный сайт на тему факапов из-за вайб-кодинга: https://crackr.dev/vibe-coding-failures #qa #pro_qa #ai #llm #vibe_cofing

Bug0 выпустила Passmark - открытый AI‑движок для регресс‑тестов на базе Playwright Команда Bug0 официально открыла код Passmark - свой AI‑фреймворк для регресс‑тестирования в браузере, который уже несколько месяцев работает в их продакшен‑проектах. Passmark - это open‑source библиотека на Playwright, где тесты можно описывать на естественном языке, например "залогинься, открой таблицу, отсортируй по дате и проверь, что записи отображаются". Модель один раз выполняет шаги, запоминает их в Redis, а дальше запускает обычный Playwright‑runner, не обращаясь каждый раз к LLM. Если UI меняется, цепочка автоматически подстраивается: на тех шагах, где сценарий падает, включается ИИ, подбирает новые локаторы и обновляет кэш, а не переписывает тест полностью. По замерам Bug0 это снижает количество падений регресс‑набора примерно на 60% при активном рефакторинге фронтенда. В движке используется консенсус‑валидация: каждый check проверяется на нескольких моделях (Claude, Gemini и одна арбитр‑модель), а итоговый результат определяется по мажоритарному решению. Это уменьшает ложные падения и повышает уверенность в стабильности тестов. Для QA‑инженеров это значит, что можно строить AI‑ориентированные регресс‑сюиты поверх Playwright без привязки к закрытым SaaS‑платформам, а потом при желании интегрировать дополняющие инструменты из экосистемы Bug0. Исходный код и описание: https://github.com/bug0inc/passmark Официальный анонс от Bug0: https://hashnode.com/we‑just‑open‑sourced‑passmark‑the‑ai‑regression‑testing‑framework #qa #pro_qa #ai #bug0 #playwright #regress #self_heals

текст

TestMu AI - как агенты тестируют агентов Компания TestMu AI (бывшая LambdaTest) представила радикальный обновленный модуль Agent‑to‑Agent Testing, который фактически превращает тестирование ИИ‑систем в отдельный класс инженерной практики. Что именно выкатили и как это работает на деле • Autonomous Multi‑Agent Scenario Generation: система сами генерирует тысячи диалоговых сценариев для чат‑ и голосовых ассистентов, включая сложные edge‑кейсы, без ручного скриптинга. • Rich Multi‑Modal Testing: поддержка не только текста, но и голоса, гибридных пользовательских потоков, то есть реальные условия, как в проде. • HPC‑Class Execution на HyperExecute: запуск тысяч агент‑к‑агент тестов за минуты параллельно, что делает возможным CI/CD‑петли с интенсивным сценарным тестированием. Метрики и практический эффект для команд • Платформа автоматически оценивает accuracy, распознавание интента, наличие галлюцинаций, смещения и compliance‑риски, превращая “качество диалога” в измеримые сигналы. • Внутренние отчеты и кейсы показывают, что команды сокращают время ручного прогонов сложных сценариев в разы, одновременно повышая охват редких сценариев. Кто уже этим живет и почему это важно именно сейчас • TestMu AI позиционируется как первый full‑stack Agentic AI Quality Engineering платформа, то есть не просто инфраструктура, а агенты, которые планируют, пишут, исполняют и анализируют тесты. • Компании вроде bet365 уже используют TestMu AI для ускорения глобальных релизов, объединяя AI‑тестирование, device‑облако и CI‑оркестрацию в одном стеке. Какой можно сделать вывод? Кажется, что TestMu AI сейчас один из самых сильных игроков в нише агент‑к‑агент тестирования, где ключевой выигрыш - это масштаб сценариев, скорость фидбэка и автоматическая метрика “качества диалога”, а не просто очередной инструмент автотестирования. #qa #pro_qa #ai #ai_tools #qa_tools #ai_tools_for_qa #testmu

Продолжение поста "Верните часть денег". Как я в итоге поступил Я еще раз спокойно проговорил условия: • изначально пакет продавался без возврата; • предложенный перерасчет по ставке разовых консультаций - это уже шаг навстречу, а не обязанность; • объяснил свою позицию • отметил, что за переписку в чате не чарджил, хотя это тоже время и оно пошло бонусом • подчеркнул, что это финальное предложение, других вариантов не будет. По сути, я выбрал формат удержания границ, а не "бесконечно сдвигать условия" ради того, чтобы просто "всем было комфортно". Получил согласие. Сделал возврат. На этом история завершилась. При этом важно: • за много лет это всего второй подобный кейс; • подавляющее большинство людей работают конструктивно, и такие ситуации - исключение, а не правило. Но даже редкие исключения хорошо отрезвляют: один неудачный кейс может забрать непропорционально много времени, нервов и фокуса. Почему после этого я перестал работать без оферты. Парадоксально, но чем больше ты стараешься быть "по‑человечески", тем нужнее тебе базовая формализация: оферта или договор. Не чтобы "прикрываться бумажкой", а чтобы у всех были одинаковые ожидания: • что именно входит в менторство (диагностика, консультации, рекомендации, поддержка в чате), а чего там нет (гарантии оффера, молниеносные ответы 24/7 и тп); • как устроен пакет из часов: в какие сроки ими нужно воспользоваться, что происходит с неиспользованными часами; • какая политика возвратов: до какого момента возврат возможен, в каком объёме, по какой ставке идёт перерасчёт; • в какие сроки происходит ответ в чате и какой объем сопровождения там реалистичен. Когда это зафиксировано письменно и проговорено заранее, в случае спорной ситуации можно опираться не только на эмоции, но и на договоренности, с которыми обе стороны согласились. Практические выводы, которые могут пригодиться другим наставникам и консультантам. Если вы работаете с менти, клиентами или учениками один на один, вот несколько вещей, которые лично мне сильно упростили жизнь: 1. Не стесняйтесь формализовать простые вещи. Даже короткая оферта или пара чётких абзацев про формат, сроки и возвраты снимают половину будущих конфликтов ещё до старта. 2. Проговаривайте политику возвратов до оплаты. Лучше один раз спокойно объяснить: когда возможен возврат и как он считается, чем потом спорить на повышенных тонах, "как было честно". 3. Фиксируйте диагностический фидбэк и план развития. После консультации или мок‑интервью кратко подведите итоги: что увидели, какие сильные стороны, какие зоны роста, какие шаги дальше. Это помогает и человеку, и вам. 4. Уточните свои границы по формату связи. Чётко скажите, как быстро вы отвечаете в чате, какого уровня глубины стоит ожидать от асинхронной обратной связи, а что возмож­но только на созвоне. 5. Отличайте запрос о помощи от попытки переписать договоренности. Одно дело - человек честно говорит: "Я не вывожу, давай подумаем, как адаптировать формат". Другое - когда он задним числом требует менять цену и условия, хотя услуга уже оказана. Этот кейс напомнил мне простую вещь: доброжелательность и готовность идти навстречу отлично уживаются с четкими рамками и понятными правилами игры. И иногда лучший вклад в качество своей работы - это не очередной полезный созвон, а один аккуратно написанный документ. #qa #pro_qa #ментор