Желтый QA

🎙 Как тестировать LLM, если нет точного ожидаемого результата На один и тот же запрос модель может ответить по-разному, даже если код не менялся. Из видео с Лизой Антоновой и Александром Петровым вы узнаете: ↗️ что учитывать при тестировании LLM и чем оно отличается от привычного ↗️ чем заменить точный ожидаемый результат ↗️ зачем один сценарий прогоняют сотни раз ↗️ кто такой LLM-судья и почему им может быть та же модель ↗️ почему одних тестов мало и что ловит мониторинг на проде ↗️ с чего начать, если вы только разбираетесь в теме А как вы проверяете ответы LLM у себя: вручную, отдельной моделью или пока никак? Подписывайтесь 📚 #спросили_qa

📊 Итоги: кто ревьюит автотесты от ИИ-агента? Как видно из голосования, расклад такой: ✅ Большинство отдаёт ревью QA — 61%: - тесты проверяют требования, а требования проверяет QA - QA видит, что тест закрепляет неверный ожидаемый результат - код сервиса для сверки кейсов читать не нужно ⚠️ Но есть важный нюанс: 39% голосов у разработчика, и просто отдать всё QA не выйдет. Если QA читает весь дифф агента, он становится очередью на релиз: агент открывает MR быстрее, чем их успевают смотреть. Ключ — разделить работу: - QA сверяет кейсы «вход → ОР» с требованием - разработчик смотрит дифф теста: не заменил ли агент ОР на ответ сервиса, не ослабил ли ассерт с 403 до «не 500», не поставил ли Disabled Главное — за пропущенный баг отвечает тот, кто поставил Approve. «Тест написал агент» на разборе инцидента ничего не объясняет. Продолжим дискуссию в комментариях👇 — Кто у вас сверяет кейсы, а кто читает дифф? — Ловили агента на подменённом ОР? Подписывайтесь 📚 #сложный_выбор

❗️ Разработчик подключил ИИ-агента: тот написал автотесты и открыл MR, все тесты зелёные. Кто их ревьюит — и с кого спросят, если тесты пропустят баг? Мнения наших экспертов, как всегда, разделились: 👉 разработчик: «тест в MR — такой же код, ревьюит тот, кто запустил агента» 👉 QA: «агент берёт ожидаемый результат из кода, а код тоже ошибается» А как считаете вы? Подписывайтесь 📚 #сложный_выбор

100% покрытие кода не гарантирует, что тесты ловят баги. Оно показывает только то, что код выполнялся, но не качество самих проверок. Проверить тесты можно мутационным тестированием: фреймворк меняет операторы в коде (например, > на >=) и смотрит, упадут ли тесты. Подробнее про концепцию и работу с мутантами Подписывайтесь 📚 #статья_телеграф

🤖 Как тестировать LLM-бота? Нейросети активно внедряются в программные продукты. Кому как не QA контролировать качество этих внедрений и предотвращать инциденты, когда LLM может упасть или поддаться атаке? В карточках постарались разобрать небольшой кейс с тестированием LLM-бота и отметить основные моменты, на которые стоит обратить внимание при его проверке. А вам приходилось тестировать сервисы, интегрированные с LLM? На какие моменты вы посоветовали бы обратить внимание? Напишите в комментариях 👇 Подписывайтесь 📚 #полезная_подборка

Уже заполнили планер на октябрь? 🍁 В этом месяце пройдут 2 больших конференции полезных QA-инженеру. С нашей стороны выступят два докладчика: 🖥 На Heisenbug Михаил Мурунов расскажет о собственной системе для нахождения багов в программах на примерах наших любимых QA-инструментов 🖥 А на SQA days Веста Рамазанова поделится опытом взаимодействия мобильной команды и AI Скилла по нахождению изменений в merge request'е 📌 Когда и где? Heisenbug: 16-17 октября в г. Санкт-Петербург + онлайн SQA DAYS: 30-31 октября в г. Москва + онлайн Встретимся на конференциях 🧡 Подписывайтесь #конференция

С найденным багом работа QA только начинается 😠 Подписывайтесь 📚 #мем

⚡️Помогите отловить тренды QA и узнать, что тормозит развитие инженерной культуры JUG Ru Group, организатор профильных IT-конференций, запускает исследование State of Testing. Результаты помогут разобраться, что мешает развивать инженерную культуру (автоматизацию, внедрение инструментов, тест-дизайн) и как вы используете ИИ на реальных проектах. JUG Ru Group представит первые результаты опроса на открытии конференции Heisenbug, а затем пришлет подробный отчет с графиками всем участникам на email. Помогите ребятам составить актуальную картину индустрии — поделитесь своим опытом в опросе. Вопросов много, но если времени мало, можно заполнить только блок про препятствия. Ответы ждут от всех причастных к качеству: QA, разработчиков, аналитиков и тимлидов. ⭐️Среди участников опроса разыграют 3 офлайн- и 6 онлайн-билетов на конференцию Heisenbug 2026 Autumn. Принять участие в опросе #опрос

🚀 Playwright Agents: выбери, кто ты - элитный пилот или лишнее звено? В своей новой статье Даниил Кучинский рассказал про два решения от Playwright – Playwright Test Agents и Playwright CLI with SKILLs, для чего они нужны, какой инструмент выбрать для работы. Какой AI инструмент выбрали вы? Поделитесь в комментариях своим опытом и ответьте на вопросы автора статьи. 👇 Подписывайтесь 📚 #статья_телеграф

Тест-кейсы как код: как перестать вести тест-кейсы в двух местах 📝 В этом видео разбираем практику Тест-кейсы как код — зачем хранить тест-кейсы прямо в коде проекта, а не в отдельной TMS. Поговорим о том: ✨ почему двойная работа — сначала в TMS, потом в коде — это боль, от которой легко избавиться ✨ как тест-кейсы, живущие в репозитории, получают историю изменений и ревью наравне с кодом ✨ зачем автоматически выгружать результаты прогонов обратно в TMS ✨ с чего начать внедрение, если тест-кейсов уже накопилось очень много 💬 А как у вас сейчас живут тест-кейсы — в TMS или в коде? Делитесь в комментариях! Подписывайтесь 📚 #спросили_qa