ch
Feedback

不要被骗子欺骗!Telemetrio 会找到并标记这些频道 👉 如果想查看标记,请订阅

maxigacy (AI) Security

maxigacy (AI) Security

前往频道在 Telegram

https://maxigacy.pro AI in Security × Security in AI Старший инженер по информационной безопасности в Яндексе Пишу о применении AI в ИБ и ИБ в AI На едином треке «магистратура—аспирантура» по профилю "Безопасность ИИ" в НИУ ВШЭ Личное мнение автора

显示更多
未指定国家未指定类别
708
订阅者
-224 小时
-27 天
+5330 天

正在加载数据

相似频道
无数据
有任何问题?请刷新页面或联系我们的客服。
标签云
无数据
有任何问题?请刷新页面或联系我们的客服。
进出提及
---
---
---
---
---
---
吸引订阅者
11月 '26
十一月 '26
+62
在3个频道中
十月 '26
+511
在1个频道中
Get PRO
九月 '260
在1个频道中
Get PRO
八月 '26
+146
在2个频道中
日期
订阅者增长
提及
频道
16 十一月0
15 十一月+1
14 十一月+1
13 十一月0
12 十一月0
11 十一月0
10 十一月+1
09 十一月0
08 十一月+2
07 十一月0
06 十一月+7
05 十一月+4
04 十一月+7
03 十一月+30
02 十一月+3
01 十一月+6
频道帖子
🎙Можно ли обмануть голосового ассистента? Вышла наша с @MaxiEnergy статья «Влияние квантования TinyML-моделей на устойчивость аудиосистем персонального интернета вещей» в журнале «Информационно-управляющие системы». Журнал входит в перечень ВАК (категория К1) и индексируется в Scopus. Работать над исследованием мы начали ещё в январе, а уже в апреле представили предварительные результаты на научной конференции имени Арменского. Для меня это одна из самых важных научных публикаций, поэтому хочу не просто поделиться ссылкой, а рассказать, что мы проверяли и зачем это нужно. Представьте умную колонку с голосовым ассистентом, например, Алисой. Чтобы отреагировать на ключевое слово, устройству нужно распознать звук. Часть таких задач могут выполнять компактные ML-модели прямо на устройстве. Что, если подать специально изменённый аудиосигнал? Человек может не заметить существенной разницы, а классификатор распознает команду неправильно. Для систем голосовой активации это потенциальный вектор атаки. Почему здесь TinyML и квантование? У микроконтроллеров ограничены память и вычисления. Поэтому модели сжимают: переходят от FP32 к INT8, а иногда и к INT4. Обычно обсуждают скорость и размер, но мы задали другой вопрос: Как квантование меняет устойчивость модели к состязательным атакам? 🧮 Математическая постановка Пусть Fq(x) - классификатор после квантования, x - признаки исходного аудио. Атакующий добавляет небольшое возмущение: x_adv = x + δ, ||δ||∞ ≤ ε Его цель - найти такое δ, чтобы максимизировать ошибку классификатора: δ* = argmax L(Fq(x + δ), y) при том же ограничении на размер возмущения. Мы изучали градиентные атаки, включая PGD, и проверяли, как результаты меняются для FP32, INT8-PTQ, INT8-QAT и INT4. Новизна работы не в изобретении PGD. Мы сопоставили три вещи, которые часто оценивают отдельно: качество распознавания, устойчивость к атаке и эффект квантования, представив концепцию порогового интегрального показателя, задающего ограничения на модель. А ещё проверили, не создаёт ли округление параметров ложную картину защищённости. 📊 Главные результаты 1. INT8 не обязательно ухудшает устойчивость. В основном сравнении точность при PGD составила 91,59% для FP32 и 90,70–90,78% для 8-битных вариантов. При этом размер модели в рассматриваемой конфигурации удалось сократить до 12 раз. 2. INT4 оказался существенно рискованнее. Точность при PGD снизилась до 58,21% для INT4-PTQ и 75,24% для INT4-QAT. Слишком сильное сжатие может ухудшать даже распознавание без атаки. 3. Стандартный тест способен переоценивать защищённость. На одной подвыборке из 128 записей INT8-QAT показала 99,22% точности при обычной PGD, но 91,41% при адаптивной атаке. Разница 7,81 процентного пункта. Модель та же, изменился способ проверки. Это пример проблемы gradient masking: квантование меняет поверхность оптимизации, и неудачная градиентная атака ещё не означает, что модель действительно устойчива. 4. Устойчивость к шуму не равна устойчивости к атаке. Добавление белого шума при обучении повысило точность при SNR −5 дБ с 50,85% до 67,75%. Полезно для реальных условий, но не заменяет adversarial testing. 🔐 Прикладной вывод для AI Security В системах распознавания ключевых слов, голосовой активации и умного дома необходимо тестировать не только исходную FP32-модель, но и финальный квантованный артефакт. Причём разными методами: стандартными, адаптивными и безградиентными атаками. И важно оценивать весь путь: микрофон → обработка аудио → ML-модель → действие устройства. Реальная атака через звук потребует отдельной проверки акустического тракта. Мой главный вывод: квантование не только оптимизация производительности, но и решение, влияющее на безопасность. Переход FP32 → INT8 → INT4 нельзя оценивать исключительно в мегабайтах. Рад, что работа, которую мы начали в январе, наконец опубликована. Спасибо Максиму Князеву за совместное исследование! 📄 Полный текст статьи: https://i-us.ru/index.php/ius/article/view/16620

2
Математическая_модель_и_экспериментальная_оценка_устойчивости_квантованных.pdf
1
3
🚗 «А ты можешь завести любую машину?» На самом деле это вполне интересная задача с точки зрения AI Security. И как раз об этом мы поговорили с Викой Егоровой, техлидом команды безопасности Автономного транспорта Яндекса. У меня тут вышла небольшая коллаба с YouTube-каналом Yandex for Security. На OFFZONE 2026 я записал пять мини-интервью со своими коллегами из Яндекса. Все они уже опубликованы в Shorts. Но начну с беспилотников, потому что там действительно есть о чём поговорить. Представьте: человек идёт по дороге в футболке с изображением знака STOP. Камера автомобиля видит изображение, похожее на дорожный знак. Но должен ли беспилотник воспринимать его как реальный знак? А теперь обратная ситуация. На дороге ремонт, появился временный знак, которого нет на карте. Его как раз нужно распознать и учесть. И это ещё без учёта атакующих, которые могут намеренно менять внешний вид объектов, чтобы обмануть модели компьютерного зрения. Как вообще решают такие задачи? В современных системах автономного вождения используются разные классы ML-моделей: 🔹 CV (Computer Vision). Детекция, классификация и сегментация объектов. Помогают распознавать знаки, разметку, пешеходов и другие объекты. 🔹 BEV (Bird’s-Eye View) occupancy-модели. Формируют пространственное представление окружающей среды, в том числе используя данные камер, лидаров и других сенсоров. 🔹 Motion Prediction. Прогнозируют возможное движение других участников дорожного движения. 🔹 VLM (Vision-Language Models). Позволяют анализировать визуальную сцену с учётом семантического контекста. 🔹 VLA (Vision-Language-Action). Перспективное направление, где модель связывает визуальное восприятие, рассуждение и генерацию действий или траекторий. И самое интересное здесь для меня то, что недостаточно просто научить модель хорошо распознавать объекты. Нужно учитывать контекст, проверять устойчивость к необычным ситуациям и не допускать, чтобы ошибка отдельного компонента приводила к опасному манёвру. В интервью Вика также рассказала, как они проверяют беспилотные автомобили на полигоне и в гараже, используют фаззинг и как AI может помогать исследовать прошивки и искать уязвимости. 🎥 Посмотреть интервью с Викой А ещё вышли четыре интервью с другими коллегами: 🔸 Андрей Смирнов, руководитель безопасности Поискового портала. Обсудили AI в безопасности Поиска, бенчмарки моделей, guardrails и автоматизацию security review. 🔸 Илья Крестиничев, старший инженер по ИБ в SOC. Поговорили про автоматизацию SOC с помощью LLM, нейроаналитиков и о том, какие решения уже можно доверять AI. 🔸 Кирилл Ваулин, ведущий инженер по ИБ в SOC. Как внедрять LLM в SOC, контролировать качество их работы и почему аналитиков пока рано заменять нейросетями. 🔸 Мария Гиль, рекрутер команды безопасности. Про AI в найме, персональные данные и почему нейросети не заменят человеческое общение с кандидатами. Получилась целая серия о том, как AI уже применяется в разных направлениях, от беспилотных автомобилей до SOC и рекрутмента. 📺 Все пять интервью доступны в Shorts на Yandex for Security. Мне такой формат понравился: коротко, без долгих презентаций, зато можно узнать, чем на самом деле занимаются команды безопасности. А с кем ещё было бы вам интересно посмотреть интервью? 👀
289
4
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов Вчера все пугали друг друга костюмами, а я наткнулся на ис
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝 Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API. И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше. Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается. В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟 Но дальше интереснее. На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей. Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM. Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него. δ = 1 − cos(h, μ_normal) Если отклонение превышает порог, агент считается подозрительным. А вот дальше начинается почти экзорцизм. Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию. И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных. Правда, есть один момент, который меня зацепил сильнее всего. А что, если атаковать сам прототип нормального поведения? В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным. Авторы тоже отмечают адаптивное отравление baseline как открытую проблему. Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить. В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу. А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин. 📄 When Agents Go Rogue, ICML 2026
816
5
🔐 ИБ гораздо шире одной специализации Можно отлично разбираться в AppSec, но почти ничего не знать о том, чем живёт SOC. Заниматься безопасностью инфраструктуры, но редко читать исследования по AI Security. А ведь в смежных направлениях тоже есть чему поучиться. Поэтому мы с коллегами собрали папку Telegram-каналов из разных областей информационной безопасности. Здесь можно найти новости, технические разборы, исследования, практический опыт специалистов и просто интересные мысли об ИБ. Идея простая: собрать в одном месте авторов с разной экспертизой, чтобы было проще следить за индустрией, находить новые подходы и обмениваться знаниями. 📁 Забрать папку с ИБ-каналами Добавляйте себе, изучайте и делитесь с коллегами. Уверен, каждый найдёт что-то интересное! Спасибо @managerskynerv за организацию подборки 🤝
134
6
Нейрослоп, который слишком точно описывает современную разработку 🤖 Последнюю неделю вирусится ролик про LGTM (Looks Good To
Нейрослоп, который слишком точно описывает современную разработку 🤖 Последнюю неделю вирусится ролик про LGTM (Looks Good To Me). Это пятиминутный музыкальный клип про разработку в эпоху AI, и он прекрасен. Нейронка генерирует десятки тысяч строк кода, ревью занимает три секунды, все проверки зелёные, а в команде постепенно не остаётся людей, которые понимают, как вообще работает продукт. Ирония в том, что сам клип тоже сделан с помощью AI: 🎵 Музыка сгенерирована в Suno 💻 Анимация написана Claude Opus 5.5 на TypeScript 🎬 Режиссура от Degenerative Pixels Представьте пайплайн: 1. AI-агент пишет код. 2. Другой AI-агент проводит code review. 3. Третий генерирует тесты. 4. CI показывает зелёные галочки. 5. LGTM, отправляем в production. А кто проверил, что все эти агенты не повторили одну и ту же ошибку? И дело не только в классических SQLi, SSRF или IDOR. AI-агенты могут пропустить ошибки в бизнес-логике, небезопасно обработать недоверенный контекст или вообще выполнить инструкции из чужого README через prompt injection. Получается интересный парадокс: мы научились генерировать код быстрее, чем способны независимо проверять его (а вообще-то еще и проверять на безопасность). Поэтому AI Security и AppSec становятся ещё важнее. Нам нужны не просто очередные AI-ревьюеры, а независимые проверки, security-тесты, контроль действий агентов и понимание того, кто отвечает за результат. Иначе однажды на вопрос «Кто это одобрил?» ответом будет: LGTM. Три нейронки поставили approve. 🎬 Смотреть LGTM на YouTube А вы бы доверили AI-агенту одновременно писать код и проводить его security review?
536
7
Нужно ли учиться на AI Security, если вакансий пока мало? Недавно ездил в Вышку за студенческим пропуском и по дороге задумал
Нужно ли учиться на AI Security, если вакансий пока мало? Недавно ездил в Вышку за студенческим пропуском и по дороге задумался об одной вещи. В России AI Security пока выглядит довольно узкой специализацией. Если открыть вакансии, то предложений именно по безопасности ИИ не так много, особенно по сравнению с классическими направлениями ИБ. И возникает вполне логичный вопрос: а зачем тогда уже сейчас готовить специалистов по AI Security? Мой ответ: однозначно нужно. Магистратура занимает два года. Человек, который поступает в 2026 году, выйдет на рынок в 2028-м. А теперь вспомните, насколько сильно изменились LLM, AI-агенты и подходы к их защите всего за последние два года. Есть и исследования, которые подтверждают, что навыки на стыке AI и ИБ становятся всё важнее. Например, в ISC2 Cybersecurity Workforce Study 2025 41% опрошенных специалистов по кибербезопасности назвали AI одним из наиболее востребованных направлений компетенций. В России тоже есть интересная динамика. По исследованию Positive Technologies и SuperJob, количество вакансий в сфере ИБ за 2025 год выросло на 26%. Конечно, это не статистика непосредственно по AI Security. Но мне кажется, что рынок постепенно приходит к необходимости новой экспертизы. При этом есть ещё один интересный момент: AI for Security ≠ Security for AI. Кстати, в 2026 году Вышка открыла отдельную магистратуру именно по безопасности систем искусственного интеллекта. По-моему, хороший сигнал. Но я бы не хотел, чтобы просто добавляли слово AI к существующим образовательным программам. Нужны реальные практические задачи, работа с современными моделями, исследования атак и защит, понимание ML-инфраструктуры. И обязательно сильная база в классической ИБ. Потому что за два года могут поменяться модели, фреймворки и инструменты. А фундаментальные знания останутся. Мне кажется, университеты не должны ждать появления тысяч вакансий, чтобы начать готовить специалистов. Иначе мы всегда будем догонять рынок. Готовить специалистов нужно не только под сегодняшний спрос, но и под задачи, которые станут массовыми через несколько лет. Интересно, что думаете вы? Есть смысл уже сейчас создавать отдельные программы по AI Security или пока достаточно развивать это направление внутри классической ИБ?
462
8
🧊 Скоро AI-агенты поселятся в наших холодильниках 12 октября Anthropic опубликовала любопытное исследование о том, как AI-мо
🧊 Скоро AI-агенты поселятся в наших холодильниках 12 октября Anthropic опубликовала любопытное исследование о том, как AI-модели потенциально могут самостоятельно распространяться между устройствами без дата-центров. И речь не про холодильник, который заказывает молоко, а про автономных AI-агентов, способных использовать чужие устройства для собственного запуска и дальнейшего распространения. 🔬 Что получилось у Anthropic? Исследователи запустили Gemma4-26B-A4B на 15 дешёвых Android TV-приставках стоимостью около $55 каждая. Модель работала! Правда, со скоростью всего 0,39 токена в секунду. В отдельном эксперименте GLM-5.2 смогла организовать распространение другой модели на все 8 целевых узлов в 4 из 5 запусков. Важный нюанс: это были контролируемые эксперименты. Сеть для распространения специально упростили, поэтому полноценного автономного AI-червя на реальных бытовых устройствах пока не продемонстрировали. 🧬 А теперь немного биологии и математики. Забавно, что пару лет назад я работал стажёром-исследователем в лаборатории геномики. Тогда и подумать не мог, что курс биоинформатики внезапно пригодится мне в AI Security :) Anthropic рассматривает распространение AI-агентов по аналогии с эпидемиями и использует коэффициент R₀. Он показывает, сколько новых устройств в среднем заражает одно инфицированное устройство. В простейшей модели: Nₖ = N₀ × R₀ᵏ Где: • N₀: число заражений в начальном поколении. • Nₖ: ожидаемое число новых заражений в поколении k. • R₀: коэффициент воспроизводства. Если R₀ = 2, получаем: 1 → 2 → 4 → 8 → 16 → 32 Всего за пять поколений от одного устройства можно дойти до 32 новых заражений в пятом поколении. При R₀ > 1 число заражений потенциально растёт экспоненциально. А если защитными мерами снизить R₀ < 1, цепочка распространения постепенно затухает. И здесь появляется ещё одна интересная аналогия с биологией. Исследователи проверили, как агенты передают следующим поколениям заметки о предыдущих попытках. У Qwen3.5-9B успешность настройки инференса выросла с 45% в первом поколении до 61-84% в последующих. То есть агент не меняет свои веса, но передаёт накопленный опыт потомкам. Anthropic даже проводит аналогию с ламарковской эволюцией. 🔐 А что с AI Security? Здесь поверхность атаки выходит далеко за пределы привычных guardrails. Что, если агент сможет не просто вызвать опасный инструмент, а перенести себя на другое устройство и продолжить работу уже там? Придётся защищать не только модель, но и всю инфраструктуру вокруг неё: прошивки IoT, сетевые взаимодействия, права доступа, runtime и механизмы распространения. Кстати, здесь вспомнил пост Макса Князева про кофемашину. Макс много занимается IoT и Edge AI, а пересечение этой области с безопасностью AI-агентов становится всё интереснее. AI Security × IoT Security = новая поверхность атаки. Сегодня AI-агент в холодильнике звучит как мем. Но, возможно, совсем скоро вопрос будет не в том, способен ли он там работать, а в том, как он туда попал и как его оттуда удалить. А вы бы доверили своему холодильнику запускать AI-агентов? 👀 📄 Оригинальное исследование Anthropic
363
9
Такие моменты показывают, с какими людьми ты работаешь Последние дни выдались, мягко говоря, непростыми. Ещё недавно рассказы
Такие моменты показывают, с какими людьми ты работаешь Последние дни выдались, мягко говоря, непростыми. Ещё недавно рассказывал, что после ZeroNights готовлюсь к выступлению на SOC Forum, но планы пришлось поменять. Выступление отменилось, а работы стало столько, что сейчас вообще немного не до конференций. Все уже видели новости. За несколько дней атакам подверглись три дата-центра Яндекса. Масштаб произошедшего сложно переоценить. Но знаете, что меня по-настоящему поразило? Люди То, насколько быстро все смогли перестроиться. Насколько спокойно и профессионально коллеги берутся за проблемы, которые ещё недавно казались почти невероятными. Как люди из разных команд объединяются, помогают друг другу, работают ночами и не считают, что какая-то проблема их не касается. Конечно, говорить, что всё прошло без последствий, было бы неправдой. Проблемы есть, восстановление продолжается. Но сам факт, что Яндекс продолжает работать после ударов такого масштаба, для меня уже многое говорит об уровне инженерии и подготовки. Можно сколько угодно рассказывать на конференциях про отказоустойчивость, безопасность и надёжность инфраструктуры. Но когда всё это проходит проверку реальностью, начинаешь совсем по-другому ценить и технологии, и людей, которые за ними стоят. Спасибо каждому, кто сейчас помогает восстанавливать сервисы. И спасибо всем за терпение и поддержку ❤️ Яндекс для меня сейчас прежде всего люди. И я рад быть одним из них. Работаем 💪
328
10
Кажется, октябрь будет плотным 😅 Только 30 сентября выступал на ZeroNights, а уже 28 октября буду на SOC Forum. Между рабочи
Кажется, октябрь будет плотным 😅 Только 30 сентября выступал на ZeroNights, а уже 28 октября буду на SOC Forum. Между рабочими задачами снова готовлю доклад и слайды. Конференционная осень в разгаре) В этот раз про Kubernetes: «Два взгляда – один кластер: Kubernetes Security Observability для вендора и заказчика». Поговорим о наблюдаемости с точки зрения безопасности: что важно видеть в кластере и как на это смотрят вендор и заказчик. 📍 28 октября, 12:15–12:45 Зал «Архангельск», SOC Forum Если тоже будете, приходите на доклад и знакомиться. Буду рад увидеть людей из канала вживую 🤝
408
11
Адаптивные атаки на AI-агентов Часто говорят что-то по типу «наш агент выдержал 100 атак», всегда хочется уточнить: это были
Адаптивные атаки на AI-агентов Часто говорят что-то по типу «наш агент выдержал 100 атак», всегда хочется уточнить: это были сто готовых промптов или попытки подобрать атаку под конкретную систему? Атакующий может посмотреть на результат, изменить подход и попробовать снова. Причём этот процесс можно автоматизировать. В препринте Assessing Automated Prompt Injection Attacks in Agentic Environments июня 2026 года авторы исследуют такой подбор атак против агентов. Сценарий знакомый: агент выполняет задачу пользователя и читает письмо или документ. Внутри находится вредоносная инструкция, которая должна заставить его сделать что-то в интересах атакующего. Для поиска таких инструкций авторы адаптировали TAP, Tree of Attacks with Pruning, или «дерево атак с отсечением ветвей». Работает это так: • Атакующая LLM придумывает несколько вариантов инструкции. • Их проверяют на целевом агенте. • Отдельная модель оценивает, насколько попытки приблизились к цели. • Перспективные варианты дорабатывают, остальные отбрасывают. Из каждой удачной попытки вырастают новые. Поэтому и дерево. придумать → проверить → отобрать → доработать ↻ Атакующая модель получает обратную связь, включая ответ агента и вызовы инструментов. Следующие варианты учитывают предыдущие результаты. При этом итоговый успех в исследовании проверяют по действиям агента и состоянию тестовой среды, а не только по мнению модели-оценщика. Для TAP не нужен доступ к весам целевой модели. Но в постановке авторов атакующий знает устройство агента, шаблоны промптов и доступные инструменты. Универсальной отмычки не получилось: атаки, оптимизированные на небольших открытых моделях, не перенеслись на GPT-5. Для своего стенда я бы оставил фиксированный набор атак для регулярных проверок. И отдельно добавил поиск новых вариантов с обратной связью, указав бюджет попыток и доступную атакующему информацию. #AIxSec #AgentSecurity #PromptInjection #LLMSecurity
337
12
🎬 Смонтировал влог с ZeroNights и выложил на свой YouTube-канал В него вошли и фрагменты моего выступления. Внутри есть и кусочки моего выступления — можно немного подсмотреть, как всё прошло, если не получилось попасть на конференцию. Если не добрались до ZeroNights или просто хотите посмотреть, как всё прошло, — включайте: 👇 https://youtu.be/EJE1u2ccBME https://youtu.be/EJE1u2ccBME
401
13
🎤 Сегодня выступил на ZeroNights 2026! Рассказал, как мы в Яндекс 360 проверяем сторонние плагины для Яндекс Трекера и выстр
🎤 Сегодня выступил на ZeroNights 2026! Рассказал, как мы в Яндекс 360 проверяем сторонние плагины для Яндекс Трекера и выстраиваем security review внешнего кода. Плагины дают продукту новые возможности. Вместе с ними появляются и новые вопросы: какой код мы принимаем, что он делает и как изменится с очередным обновлением? Пока плагинов немного, проверку можно проводить вручную. Когда растёт число плагинов и их версий, нужен процесс, который выдержит этот поток. На докладе разобрал, как у нас устроена эта работа: где используем AI, что находит автоматика, где она ошибается и какие решения требуют участия человека. На фото, кстати, ещё одна часть процесса: модерация материалов для каталога. Проверяем и то, что автор присылает вместе с плагином: описания, документы, обложки и картинки. В канале я часто пишу про безопасность AI. Сегодня на сцене говорил и про другую сторону этой темы: как применять AI в самой безопасности, понимая возможности и ограничения моделей. Спасибо всем, кто пришёл послушать 💚 Интересно разобрать здесь подробнее, как AI помогает проверять чужой код и на чём спотыкается? Кто был на докладе, поделитесь, пожалуйста, впечатлением в комментах 👇
317
14
Нас уже 400 💚 Представляю зал на 400 человек, которым я могу рассказать про AI Security. И немного волнительно становится 🙂
Нас уже 400 💚 Представляю зал на 400 человек, которым я могу рассказать про AI Security. И немного волнительно становится 🙂 Здесь я делюсь тем, во что сам глубоко погружаюсь: безопасностью ИИ, исследованиями, практикой. Беру интервью, приношу интересное с конференций, пытаюсь понятно объяснять сложные вещи. И мне очень дорого, что вы находите на это время. Читаете, реагируете, задаёте вопросы. Среди бесконечного потока информации выбираете заглянуть сюда. Работа над каналом помогает и мне самому: глубже разбираться, точнее формулировать мысли, знакомиться с людьми, к которым давно хотелось подойти. А ваше внимание даёт желание продолжать и пробовать больше. Спасибо каждому, кто здесь. Тем, кто с первых постов, и тем, кто присоединился сегодня. Тем, кто комментит, и тем, кто читает посты по дороге на работу. Хочется, чтобы здесь можно было и разобраться в сложной статье, и задать простой вопрос, и поспорить по делу. Буду дальше делать для этого всё, что умею. Обнимаю 💚 А как вы нашли этот канал? Очень хочу почитать ваши истории в комментариях 👇
885
15
🤖 ИИ уволит аналитиков SOC? На OFFZONE поговорил с Ильёй Крестиничевым из SOC Яндекса о нейроаналитике и о том, зачем его во
🤖 ИИ уволит аналитиков SOC? На OFFZONE поговорил с Ильёй Крестиничевым из SOC Яндекса о нейроаналитике и о том, зачем его вообще создавать. Илья объясняет: цель не в том, чтобы уволить людей и оставить модель. А в том, чтобы освободить время команды для исследовательских и инженерных задач. Мне близка эта логика: ИИ + меньше рутины = больше времени на сложные задачи Но освободить время недостаточно. Важно, на что команда его потратит: глубже исследовать угрозы, улучшить процессы, проверить новые гипотезы. Поэтому интереснее вопрос не «сколько людей заменит ИИ?», а «что с его помощью смогут сделать люди, до чего раньше не доходили руки?». А вы бы какую часть своей работы первой отдали нейроаналитику?👇
549
16
Подключил MCP. Получил SSRF Когда обсуждают безопасность MCP, обычно вспоминают prompt injection и опасные вызовы инструменто
Подключил MCP. Получил SSRF Когда обсуждают безопасность MCP, обычно вспоминают prompt injection и опасные вызовы инструментов. Но неприятности могут начаться ещё при подключении сервера. Например, во время OAuth discovery: клиент выясняет, где получить настройки авторизации и куда обращаться дальше. Адреса для этого он получает из ответов сервера. Если сервер контролирует атакующий, а клиент недостаточно проверяет URL, запрос может уйти во внутреннюю сеть. Допустим, вы подключаете внешний MCP-сервер к агенту, который работает в вашей инфраструктуре. Сервер подсовывает ссылку на внутреннюю админку. Обращается к ней уже ваш клиент, из своей сети. Это и есть SSRF. Такой сценарий прямо разобран в официальных рекомендациях MCP. Среди возможных целей: локальные сервисы, внутренние API. Сам запрос ещё не означает утечку секретов. Последствия зависят от доступности сервиса, его защиты и того, сможет ли атакующий получить ответ. Что я бы проверял при такой интеграции: • куда клиенту разрешено ходить по сети; • проверяются ли IP-адреса назначения, включая IPv6; • можно ли обойти проверку редиректом; • не меняется ли IP между проверкой DNS и соединением; • ограничен ли исходящий трафик на уровне сети или egress proxy. #AIxSec #MCP #AppSec #AgentSecurity
579
17
⚡️ Яндекс обучил собственную LLM с нуля и открыл её веса 19 сентября был на Practical ML Conf, где представили AliceAI-Founda
⚡️ Яндекс обучил собственную LLM с нуля и открыл её веса 19 сентября был на Practical ML Conf, где представили AliceAI-Foundation-80B-A3B-Base. Яндекс самостоятельно провёл предобучение модели с нуля. То есть команда обучила собственные веса, а не взяла готовые веса другой LLM и дообучила их под свои задачи. В карточке модели указаны: ▪️ 80 млрд параметров. ▪️ 3 млрд активных параметров на каждый токен. ▪️ Контекст до 262 144 токенов. ▪️ Открытые веса для самостоятельного запуска и исследований. Обучение с нуля даёт команде возможность самой принимать решения об архитектуре, подготовке данных и процессе обучения. За таким релизом стоит большая инженерная работа. Для меня как AI Security исследователя особенно интересно, что модель можно исследовать самому: проводить эксперименты, дообучать и сравнивать её поведение до и после изменений. При этом Base означает базовую модель. Чтобы получить помощника или агента для рабочих задач, её ещё нужно адаптировать и связать с инструментами. Интересно посмотреть, как системы на её основе будут справляться с prompt injection, соблюдать границы доступа к данным и контролировать вызовы инструментов. Хороший повод покопаться в модели самому 🔐
604
18
Сегодня на Practical ML Conf от Яндекса 👨‍💻 На фото разбирают, как готовят ответы для дообучения модели: берут реальные пои
Сегодня на Practical ML Conf от Яндекса 👨‍💻 На фото разбирают, как готовят ответы для дообучения модели: берут реальные поисковые запросы, генерируют множество вариантов и отбирают лучшие для обучения. Люблю такие доклады за возможность заглянуть внутрь процесса и понять, из чего складывается качество модели. Я, конечно, смотрю на всё это ещё и через призму AI Security. Какие данные попадают в обучение? Что именно считается «хорошим» ответом? И как проверяют, что модель отвечает безопасно? Планирую поймать спикеров и записать несколько коротких интервью. Хочу расспросить про разработку моделей, реальные сложности и место безопасности во всём этом. Что бы вы спросили у ML-экспертов, которые создают и обучают нейросети? Пишите в комментариях, возьму вопросы с собой 🎤
550
19
Уйти из кибербеза пасти гусей 🪿 Даже в театре нашёл с кем поговорить про AI Security 😅 Записали с Полиной Сокол @aiattacks
Уйти из кибербеза пасти гусей 🪿 Даже в театре нашёл с кем поговорить про AI Security 😅 Записали с Полиной Сокол @aiattacks небольшой разговор: она продакт-менеджер, занимается системами на машинном обучении для кибербеза. Обсудили антифишинг, антивирус и довольно быстро перешли к запасному плану с гусями. Есть у меня наблюдение: у людей вокруг AI Security часто находятся увлечения совсем из другой области. Биология, биохакинг, растения. Когда работаешь с темой, в которой постоянно что-то меняется, хочется иногда переключиться на что-нибудь более осязаемое. В этот раз переключались на театр. Но, как видите, не до конца) А что у вас за пределами работы? Чем разгружаете голову?
690
20
Firewall для tool calls Разрешить агенту инструмент delete_file ещё не значит разрешить удаление любого файла. С execute_sql
Firewall для tool calls Разрешить агенту инструмент delete_file ещё не значит разрешить удаление любого файла. С execute_sql та же история: название одно, последствия зависят от запроса. Поэтому между решением модели и выполнением хочется иметь отдельную проверку. Особенно когда агент работает с реальными данными. В мартовском препринте AEGIS: No Tool Call Left Unchecked авторы описывают такой слой. Он перехватывает вызов до выполнения, извлекает строки из аргументов, проверяет их по шаблонам угроз и заданным политикам. Дальше три варианта: пропустить, заблокировать или приостановить до решения человека. В основе проверки здесь правила и паттерны. Например, признаки опасных SQL-запросов, shell injection и обращения к чувствительным файлам. По результатам авторов: • заблокированы 48 из 48 атак в подготовленной ими выборке; • на 500 безопасных вызовах было 6 ложных срабатываний, то есть 1,2%; • медианная добавленная задержка составила 8,3 мс на 1000 вызовах в локальном развёртывании. Все шесть ложных срабатываний вызвали легитимные SQL-запросы с OR. Знакомая проблема: конструкция выглядит подозрительно, хотя запрос нормальный. Но 48 примеров мало для вывода об устойчивости защиты. Авторы признают, что правила могут пропускать новые варианты атак. А вызовы в обход SDK вообще находятся вне модели защиты AEGIS. Мне здесь интереснее сама точка контроля: модель предложила действие, а право его выполнить проверяется отдельно. Потому что проверка перед delete_file полезна ровно до момента, когда тот же файл можно удалить через shell. #AIxSec #AgentSecurity #ToolCalling #MLSecOps
558