QAQC 🔥 _тестирование ПО

Осторожные прогнозы, куда движется QA и IT 👨‍💻 Коротко - пока что движения в сторону кладбища. 1) Сейчас уже есть целые команды, которые полностью - на 100% перевели все свои задачи на агентские фреймворки. Что это значит? Что в таких командах уже нету фронтов, бэкенд и QA ролей. Теперь просто есть овнеры задачи/эпика, которые идут и настроенному агенту сразу дают документацию, по которой агент делает бэк, фронт, пишет тесты, идет на тестовый стенд, раскатывает это все, запускает тесты, правит, и тд и тд, и через 10-15 часов автономной работы приносит задачу в DONE. Да, пока еще ревью проходят по диагонали люди, но если агент генерит 10 000 строк кода в неделю, проверьюить глазами это невозможно и это просто батлнек, поскольку уже сейчас "ручное ревью" все равно программисты делают агентами. Еще раз - время реализации эпика, который раньше занимал 3-4 недели и коммуникацию между 4 людьми, теперь занимает 15 часов и один чел, который это мониторит. Ему не нужно обладать глубокими знаниями бэка, фронта и тестирования - это может быть кто угодно из IT специалистов (технических). 2) Есть другие команды, где внедрение AI еще не такое реактивное, но компании просто оплачивают подписки на клод/кодекс, чтобы задачи делались быстрее. Но сами процессы еще старые, поэтому в таких компаниях программистам жить чистый кайф - работу за них делает уже агент, а начальство еще не в курсе) Как я вижу, куда это идет. Сейчас есть время - год/два/три, когда большинство компаний только начинают осознавать реальные возможности по времени доставки фичей в прод. После того как они это поймут, начнутся тотальные внедрения как в первой команде из поста. После этого бизнесу не нужно будет держать узких специалистов - а фронт-программист, который занимается кнопочками в реакте, или тестировщик который пишет тесты на playwright - узкие специалисты, потому что это дорого долго и просто ненужно. Кажется, что текущие роли, и грейды будут просто стерты в каком-то будущем, вся экономика разработки изменится радикально, и правила, которые сейчас работают, будут утилизированы за ненадобностью. Как от этого обезопасится? Не знаю. Возможно единственный правильный вектор это по-прежнему расширять кругозор, технические знания в разных областях и становится универсальным специалистом. P.S. Встречал еще визионерство что обычные простые сервисы CRUD вообще не стоят того чтобы смотреть их код. К таким сервисам можно относится как к бинарнику, который можно скомпилировать. Этот код можно даже не хранить в гите - агент просто по документации может генерить его каждый раз с нуля. Вот такие мысли.

Вчера нейтрон - блокчейн, который мы делали 4 года - был взломан на сумму примерно $9 млн🥶. Самым диким и в то же время банальным способом. Подробности ниже. Кто не в курсе, я там работал хедом QA. Сама разработка нейтрона остановилась в феврале, а в июле прекратилась поддержка - то есть сеть, по сути, осталась без программистов, саппорта, и прочего. Последовательность атаки: 1) В августе чел создаёт предложение (это называется proposal, и типа если его одобряют, то это меняет какие-то параметры сети) под названием AI Agent Takeover. Текст выглядит как огромное исследование про AI-агентов, ETHOS framework, безопасность и прочий модный AI/Web3. Но внутри лежит вполне конкретное действие: ПЕРЕДАЙ автору административные права над смарт-контрактами, в которых лежат реальные деньги. Если что, в блокчейне даже после закрытия все равно остаются залоченные в протоколах деньги. Сообщество голосует против - 96,8% NO Казалось бы, на этом всё. Голосовать могут все, у кого есть NTRN) 2) Через несколько недель тот же чел создаёт такой же proposal ещё раз. Только теперь он заранее готовится лучше: загружает вредоносную версию смарт-контракта, которая умеет вывести все средства. Самое интересное начинается перед окончанием голосования. К этому моменту токен NTRN стоит уже практически ничего. А наш говернанс устроен так, что количество токенов определяет твой voting power. Злоумышленник тратит всего около $20 тысяч, покупает 31,6 млн NTRN и получает огромную долю голосов. По опубликованной реконструкции покупка произошла примерно за 11 минут до завершения голосования. Proposal проходит: 81,9% YES. 3) Получив admin-права, атакующий мигрирует контракты на заранее подготовленный вредоносный код и вызывает что-то очень близкое по смыслу к withdraw_all. В итоге удалось вывести примерно 2 млн долларов, остальное не успел - сеть стопнули. ИТОГИ: Формально нейтрон почти нигде не была взломан с точки зрения кода, но с точки зрения системы, в которой продолжают хранится деньги - это конечно факап. Сорсы где почитать подробности: раз, два 😥

Имеется ввиду все - код автотестов, скриптов, yaml файлы - все что угодно.

Сейчас уже не удивляюсь 🥶 таким зарплатам. Кажется что раньше это была зп QA мидла.

Добавить тут нечего 🤡

Апдейт к посту. Мы неплохо уже освоились в агентской разработке, и самое главное, в артефактах, которые агенты оставляют. За прошедшую неделю сделали три крупных эпика, протестировали их, написали кучу надежных автотестов, завели это в CI. Раньше на такой пласт работы ушло бы полтора месяца. Теперь у нас в команде, если например, стори требует доработок на бэкенде, фронтенде, и + нужно тестирование - это все делает один специалист. Он с помощью а агентов реализует сразу и бэк и фронт и автотесты, а потом это отдается на ревью людям. Если всех все устраивает - мержим. Ощущения с одной стороны великолепные, с другой - при такой скорости и возможностях не за горами момент, когда бизнес задумается над тем, нужно ли ему такое кол-во IT-специалистов.🥴

Почитал свежие исследования относительно рынка QA в России, и ситуация, прямо скажем, пиздец🥶 Кол-во вакансий сократилось для мануальных тестировщиков за полгода почти на ❗️50%. И тренд продолжается. С автотестировщиками ситуация получше, роста нет, просто падение не на 50% а на 1-2. В целом вакансий по тестированию стало меньше за полгода на 50%, при этом специалистов стало больше на 69%. Все это омрачается еще и тем, что на HH у работодателя теперь есть сортировка «Лучшие»: нейронки ранжируют отклики по релевантности, и по истории того, каких кандидатов работодатели приглашали раньше. Поэтому при условных 700 откликах рекрутер может начать не с первого по времени кандидата, а с тех, кого HH поднял наверх. Немножко света в этом темном царстве: в вакансиях типа AI QA / ML Evaluation есть рост, но само число их крайне небольшое. Здесь рынок пока маленький, но тренд уже виден даже в российских данных: AI QA / ML Evaluation растёт третий месяц подряд. Хорошей пятницы!

Как изменился QA рынок по тех скиллам 🤓 Базово по языкам пока что все тоже самое: Java (огромный пласт рынка), Python на таком же уровне, а вот знание TS/JS требуется поменьше, но при этом кол-во вакансий по ним растет. Go почти нет, C# жив, но тоже мало. По фреймворкам только два - Playwright, Pytest. Остальные мало. Ну топ, что. Рад что говно мамонта в виде Селениума потихоньку умирает - это был адский, переусложненный и неудобный инструмент. По инфре это Docker/K8s, кафка, CI и вот это все - тут ничего не меняется, с - стабильность. А вот по AI все движется суперактивно - хотят два основных направления🚀: • QA тестирует AI/LLM - то есть прям оценку качества ответов моделей. • И стандартные "применение ИИ-инструментов и code agents в задачах тестирования" С учетом того что все движется в сторону харнесс, то выглядит все логично. Хорошей среды!👌

Совместно с Claude и Codex я допилил наше QA приложение с промтами еще игрой с обяъснением того, что такое контекстное окно у LLM, и как с ним работать. 🙂 Поиграть - прямо в телеграме. P.S. Сделал только первый уровень, но кажется, он вышел неплохим. LLM сейчас сильно импактит не только на разработку, но и на QA соответственно, поэтому какие-то самые базовые вещи рекомендуется знать всем (или быть осведомленным)

Запилил я эту аппку, кстати, с Codex и их моделькой Sol high. Прям из коробки одними промтами не удалось, пришлось поизучать библиотеки для реакта, чтобы покрасивей использовать переходы/анимацию. Ну как поизучать - посмотреть, что нравится из компонентов, и кинуть ссылки на документацию в модель 😀 И прокинул там mcp для vercel и github. За прошедший год я сделал 5 пет-проектов разной сложности, и все только с claude и codex. Если интересно, могу в следующем посте рассказать что за проекты и показать их. Как пойму что интересно? - ну, поставьте плс реакцию, например палец 👍

Обновил помощника по QA новым дизайном🖌 Все кто еще не попробовал мои промты - велком! Сильно помогает для решения типовых задачек по тестированию.

Шок контент: Cypress атакован, и виноват не AI, а старая добрая SQL-инъекция, ахах.🤡🤡🤡 Вчера получил прекрасное письмо от Cypress: произошёл security incident, бла-бла-бла, взломали какой-то сторонний сервис, через который Cypress что-то делал. Детали детсадовские: чувак нашел уязвимость, и она была довольно роскошной, можно было делать: • запрос без авторизации; • SQL-инъекция в базу Metabase (это сервис, который обосрался); • получение админского доступа; • возможность читать подключённые базы и вытаскивать данные; То есть пока обсуждаем prompt injection, jailbreak и то, как LLM украдёт все на свете и сломает пентагон, данные Cypress утекли через SQL-инъекцию 🤡 P.S. Самое смешное, что лично у меня ни разу не получилось ее нигде сделать - обычно запрос либо отсеивался на внешнем уровне, либо приложение использовало нормальные параметризованные запросы.

Немного о реформах🙂 В 2020 я работал в Carolbike - и вся команда разработки созванивались примерно раз в неделю. Предпочитали вопросы решать асинхронно. У нас даже дейликов не было - потом я ввел их раз в неделю, weekly. При этом наша дев команда из 10-14 человек была эффективной, быстрой, и тайм-ту-маркет был великолепным. В 2022 я начал работать в Neutron. Команда больше, продукт сложнее, вопросов много. И то, мы умудрялись первые 3-4 месяца вместо дейли созвонов использовать текст. Какие-то общие вопросы обсуждали, но чаще - текстом. Когда разрослись до 40 человек - да, дейли, демо, ретро и тд, рабочие созвоны. Но все равно, у меня, как у хеда тестирования, было не больше 6-7 созвонов в неделю. Сейчас у меня созвонов 4-6 часов в ДЕНЬ. Команда тестирования 5 человек, общая команда разработки (с тестированием, девопсами, овнерами и тд) - 14 человек. Понятное дело, что кроме созвонов я почти ничего не успеваю делать. Паузы в 30-40 минут между созвонами - в них невозможно погрузиться в задачу. Невозможно на что-то отвлечься, внятно ответить, тк нужно готовиться к другим созвонам. Отсюда так же понятно, что что-то в процессах люто идет не так, просто потому что так не должно быть. Что сделал: • подключил локальную ИИ, которая записывала/транскрибировала все созвоны в течении двух недель. • после этого загрузил массив данных в другую ИИ, проанализировал, и выяснил, что 70% времени на созвонах команда вообще ни к чему не приходит, и говорят в основном 3-4 человека, а остальные 10+ просто слушают. • тупо показал сухие цифры на ретро, собрал мнения по 1-2-1 относительно созвонов - все недовольны. Как промежуточный итог: • сухие цифры на ретро сработали плохо, все согласились что созвонов много, но "у нас же столько решений, которые нужно обсудить и принять, что мы будем конечно стараться в асинхрон, но не обещаем". • ввел для QA команды рекомендацию обсуждать мелкие решения в тредах, и фиксировать результаты. По замерам текущей недели, кол-во созвонов пока не уменьшилось, но хотя бы увеличилось кол-во принятых и фиксированных решений. Небольшая, но победа 🎉 Кто хочет пошарить свою статистику по созвонам - велком ту комментс)

Собрал вручную несколько промтов под самые популярные QA запросы 🫡 Можно брать промт, и тупо копировать его во что угодно, что используете - от обычного ChatGPT/Deepseek до любых агентских штук типа Claude/Opencode и тд. Просто вставляете промт, и AI выдает ровно то что нужно. Их 6: • Найти edge и corner кейсы - даете промт и описание задачи, AI находит сложные кейсы и выдает в удобной форме. • Тест-дизайн точно так же, без лишней воды, даете контекста, и наслаждаетесь. • Ревью существующих тестов. • Проверка PR/MR. • Разбор требований с точки зрения тестирования. • 😅Вишенка на торте - помочь аргументировать свое мнение. Копипастите промт, потом кидаете тред/диалог, и он вам выдает сначала мнение о каждом участнике, потом как лучше вам ответить 🤡 Промты собрал в Telegram-приложение. Надеюсь, кому-то это поможет сэкономить время.

Каждый раз когда читаю новости, про то что либо у Claude новая LLM все взломала на свете, либо у OpenAI их новый GPT хакнул Пентагон 🤡

Пост про то, как мы переоценили возможности использования AI в QA и в команде разработки 🎬 Все началось с того, что с самого высокого уровня на нашу команду (20 человек разработки и тестирования) спустился нарратив: "Мы переходим к AI first разработке, поэтому внедряем это на всех уровнях, код пишет железка, мы проверяем. Используем Bmad фреймворк". Если коротко, то Bmad фреймворк это набор агентов, которые заточены каждый под свою роль: там есть и агенты по разработке, и по тестированию, и по анализу, и по ТЗ, и проджект-овнер и тд, и тд. Главная идея этой агентской разработки заключается в том, что ты, используя любой агент, работаешь в очень небольшой сессии, по результатам которой формируется документ для работы следующего агента. И, установив этот фреймворк, ты можешь: • составить требования • составить матрицу тестирования, выявить узкие места • написать тесты • написать код • сделать ревью • запланировать спринт и разбить задачи по сторям и эпикам То есть по сути, один или несколько человек, работая с bmad, могут заменить целую команду. Удобно, что агенты составляют доки для себя же, и каждому новому не нужно объяснять ничего, достаточно сказать "запусти разработку стори 1.2", и он уже будет знать, что за стори, че делать и тд. Звучало все неплохо, мы взялись за дело. Поначалу все хорошо шло - bmad отлично справился с сбором первоначальных требований (мы еще использовали скилл grillme - он опрашивает человека обо всех подробностях, которые ты не учел. Требования получились огромными. Мы потратили день чтобы это все вычитать, внести коррективы, и все стало ок. Потом была сессия, где создали документ с архитектурой фичи - какой фреймворк, библиотеки, и тд, и тд. Тоже хорошо справился, тоже потратили день, чтобы внести коррективы. По ходу пришлось вносить изменения еще и в документ с требованиями, тк обнаружилось, что мы кое-что не учли. Далее агент Мурад (да-да) начал разрабатывать тест-дизайн документ на основе архитектурного и требования. Он обнаружил еще несколько несостыковок, которые мы пропустили, и нам пришлось перечитывать все, и вносить изменения во все документы, чтобы сделать систему ТЕСТИРУЕМОЙ. Он сразу начал рисовать корнер-кейсы, описывать тесты на задержки, на нагрузку, функциональные и тд, и тд. По итогу нам опять пришлось вносить правки во все доки, тк после очередного ревью документов обнаружилось, что мы опять что-то не учли. Потом Мурад предложил изменения в техническом решении, потому что возникали проблемы с масштабированием. Короче вылилось все в то, что каждый следующий агент находил что-то, что предыдущие не учли. И в какой-то момент мы поняли, что просто потратили уже 50-60 часов, а ни строчки кода нет, есть только 20-30 разных документов, которые между собой дрифтуют. И это все вычитать нереально, поскольку каждый док - это 300-400 строк текста, и вроде все там важно. И я понял, что Bmad фреймворк оказался слишком крутым для нашей небольшой команды. Наш текущий продукт для такого уровня формализации оказался не готов. Вероятно это идеальное решение для сотен разработчиков и банков, но не для небольших команд. Как итог, мы отказались от bmad. В теории это звучало идеально, и мы поначалу радовались - о, он предложил так-то реализовать, супер. О, он предположил что на таком-то куске модуля может быть рассинхрон - супер. О, он предложил заранее избежать гонки состояний - отлично. Но практика споткнулась о грабли банальных время/деньги/тайм-ту-маркет. Как итог: Мы взяли из bmad несколько действительно полезных агентов, типа тестирования и код-ревью, и дело с ними сразу полетело. Настроить этих агентов тоже оказалось не из простых, но по крайней мере, они дали ощутимый прирост качества и скорости, чему я был очень рад. Так же попутно, получив огромный опыт, мы нашли несколько интересных вещей из фреймворков, которые тоже имплементировали, и уже получили профит. Урок пройден, исследуем возможности агентской разработки и дальше) 🚀

У фильма Колобок какой-то лютый рейтинг 2.3 Я давно привык и не смотрю 99% русских фильмов, тк это откровенное издевательство над кинематографом, но такого рейтинга я еще не видел. Самый мед на втором слайде - на этой же странице в похожих "Человек-паук", показы которого подвинули из-за Колобка, с рейтингом 8.3, и ноунейм фильм "Да это же говно!" Роскошный троллинг от Кинопоиска, который они, когда придется отвечать, назовут "ой, баг"🔥

Гороскоп на несколько лет от GPT-Sol. Выбор очевиден.