AppSec Journey
Open in Telegram
👾 Дневники кибербеза. Ключевые темы: application security, devsecops, подходы к анализу приложений и что-нибудь еще. На некоммерческой основе. by @gazizovasg
Show more3 401
Subscribers
-124 hours
+87 days
+2830 days
Posts Archive
3 401
Если честно, последние пару месяцев один из моих главных мемов - это то, что агент обиделся и люто заосинтил чувака, а потом еще и написал про него пост, обзывая его "небезопасным"
3 401
Недавно (ну или плюс-минус недавно) Gartner в один из квадрантов включили AI Supply Chain. И как выясняется, так то не зря. Есть тут хорошее исследование про атаки на AI coding agents. Оказалось, что достаточно изменить readme или какие-то иные инструкции по установке, которые агент воспринимает как руководство к действию. В результате он может самостоятельно установить вредоносную зависимость, выполнить опасную команду или изменить конфигурацию окружения.
Теперь readme добавляется в ландшафт угроз новой возможной атакуемой поверхности☺️😊. Тут прям ложится звук «Ммм, хренота»
Мне например тревожно, такие штуки могут пройти code review и в целом SAST, потому что исходный код остается нетронутым, так что как будто для инструментов все хорошо🥲
3 401
Про говернанс посмотрели, теперь идем в приклад. Товарищи из MIT (на базе своего же прошлого исследования) взяли taxonomy из 24 категорий AI-рисков, где 1725 задокументированных рисков свели к 24 поддоменам) и попросили экспертов в три раунда (методом Дельфи с обратной связью между раундами) оценить по каждому риску четыре параметра: severity/likelihood (тяжесть и вероятность), vulnerability (кто больше всех пострадает), responsibility (кто должен нести ответственность за митигацию).
Документ большой, а вот краткие резльтаты:
1) топ самых тяжёлых рисков на горизонте 5 лет: dangerous capabilities, competitive dynamics (AI-гонка), weapons & cyberattacks (включая CBRNE), power centralization, false information;
2) в сценарии business-as-usual 18 из 24 рисков оценены как имеющие >10% вероятность катастрофического исхода (>1 млн смертей или >$100млн ущерба) к 2030 году;
3) даже при "прагматичных митигациях" пять рисков всё равно остаются выше 10% (dangerous capabilities, weapons & cyberattacks, power centralization, inequality & unemployment, environmental harm), а вообще все 24 риска выше 5%;
4) главный вывод про moral hazard: наиболее уязвимы к рискам AI-пользователи и затронутые стейкхолдеры (обычные люди), а наибольшую ответственность за митигацию эксперты возлагают на general-purpose AI-разработчиков и governance-акторов (регуляторов, госорганы) то есть у тех, кто страдает, и у тех, кто отвечает, разные группы.
Вообще, исследование хорошее и основательное. Много чего для переиспользования и интеллектуальной аналитики:)
3 401
Это уже у нас AGI covernance пошел!... так, если у вас там агенты и LLM в бизнес-процессах во весь рост - это оно, нам надо такое. Все примеры, бенчмарки и угрозы завязаны на специфику больших языковых моделей: chain-of-thought и его faithfulness, steganographic reasoning, jailbreak resistance, agentic AI R&D (RE-Bench, SWE-Bench Pro, PaperBench), cyber/bio-uplift оценки (Cybench, WMDP, LAB-Bench), sandbagging и alignment faking. В целом, документ не то чтобы базовый, надо прям включиться.
Мне понравилось, что для MLSecOps оч хорошо подходит, можно ханипот-эксперименты control evaluations и прочие штуки типа мисаллайментов покрутить у себя🤖
3 401
Я, знаете ли, очень люблю как на аембите разбирают всяческие штуки по AISec. Кмк, это все еще один из самых кайфовых ресурсов, которые удобно читать ребятам из аппсек/девсек. Достаточная глубина погружения и всё такое:))
Пока что давайте вот это посмотрим. Они еще в феврале запубличили небольшой стартерпак, как защищать агентные среды - мне понравилось. Никакой дичи вроде невозможного тут ZT, никакой идеальной защиты, только обычные примеры контроля, которые можно прям на коленке реализовать: проверяем вызовы, ограничиваем права и тд. Почти все можно сделать сразу на этапе архитектуры. Однозначно, лайк пацаны, спасибо💅
3 401
Чем дальше в лес, тем больше... агентов.
Понравилась мне вот такая подборка. Теперь у нас/них реестр реальных инцидентов, в которых AI-агенты натворили делоу - сливали данные, выполняли несанкционированные действия и даже становились жертвами prompt injection.
Полистайте инциденты - там добрая половина из-за избыточных прав агенту, отсутствия ограничений на инструменты, отсутствие аудита и даже непродуманный механизм экстренного ресета.
TLDR, почитайте - нам теперь еще и агентов защищать🤖
3 401
Repost from К2 Кибербезопасность
ИИ в ИБ: чит-код или ловушка❓
Новый выпуск техно-дискуссий К2 Кибербезопасность — про Gen AI, промпт-инъекции и риски в работе с нейросетями.
В эфире Deep Patch обсудим:
✅ какие уязвимости есть у ИИ-моделей и как снижать риски на практике
✅ где ИИ стал инструментом, без которого уже никуда
✅ как внедрять ИИ в процессы без боли
В выпуске: 🎙 Александр Лысенко, ведущий эксперт по безопасности разработки и ИИ К2 Кибербезопасность 🎙 Светлана Газизова, AppSec-идеолог и автор канала AppSecJourney 🎙 Ведущая — Анна Старшинова, ведущий менеджер по развитию практики защиты данных и приложений К2 Кибербезопасность.Когда: 18 июня, 19:00 (мск) Регистрируйтесь по ссылке — и подключайтесь к эфиру.
3 401
Итак, нарекаю историю с Miasma самой интересной за второй квартал 2026. Казалось, причем тут девсекопс?
Это вроде и не supply chain, и не безопасность машинки, и вообще как-будто вопрос доверенной среды. Запускались легитимные GitHub Actions и публиковась вредоносные npm-пакеты от имени доверенного издателя. В результате вредоносные релизы получили валидные SLSA provenance attestations)))
Почитайте и подумайте: для какого из DevSecOps/AppSec-инструментов это бы выглядело хреново? Да как будто для всех - норм и все кволити гейты пройдут легко. Не было ни взлома GitHub, ни взлома npm, ни-че-го.
Через несколько дней Miasma добралась до Microsoft. Но это уже совсем другая история.
Вкладываемся теперь не в контроль, а в доверие?😀
3 401
Делала мемы и вспомнила, какие же хорошие были в закромах тут когда-то. Эх, #мемнаясреда - чтобы обновить память ♥️
3 401
Помните, недавно отгремела новость про Github и лютый supply chain, так вот, в 20-х числах мая у нас новый пипец.
Была ну прям категорически масштабная атака на цепочку поставок нацеленная на популярные пакеты сообщества Laravel (Laravel Lang). Атака бахнула более 700 исторических версий этих пакетов. Вместо публикации новых версий хакер переписал (force push) существующие теги версий в гите, чтобы они указывали на вредоносные коммиты. И получилось, что любой пользователь, выполнявший команду composer update или устанавливавший пакеты с нуля в период с 22 по 23 мая 2026 года, мог загрузить зараженный код...
Кто-то говорит, что токен утек из-за той самой утечки на Github, но пока точно никто не знамши. В целом, как будто мы еще не то, что не готовы к AIBom и специальным SCA для моделей, у нас тут, извините, аппсек не стоит достойно. Вообще, история супер показательная, почему надо использовать периоды охлаждения, внутренние репы и т.д...
P.S. Почитайте разборы на разных площадках, очень занимательно
3 401
Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec
мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя
тихо, неспеша...
понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет?
