ML&|Sec Feed

Anthropic опенсорснули свой микроскоп для LLM Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM. Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia. Вот как это работает: ➖ вы выбираете модель, ➖ задаете промпт, ➖ настраиваете гиперпараметры (если хотите) ➖ ... и получаете большой аналитический граф того, как модель обдумывает ответ на ваш запрос. С этим графом можно взаимодействовать, рассматривать на разных уровнях и тд. Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная

🧠🔍 Anthropic выложили в открытый доступ «рентген» для LLM Сегодня ребята из Anthropic выложили в open-source свежайший circuit-tracer — библиотеку + веб-интерфейс, которые позволяют буквально «посветить фонариком» внутрь любых открытых LLM и посмотреть, как токены влияют друг на друга. Что дают? • Attribution graphs — автоматически строят граф «кто-на-кого влияет» (токены → фичи → логиты). • Neuronpedia UI — кликаешь 👉 смотришь цепочки рассуждений, группируешь узлы, подписываешь и делишься ссылкой. • Интервенции — в ноутбуке можно подкрутить найденные фичи и сразу увидеть, как меняется ответ модели. Зачем это нам? 🔑 Интерпретируемость давно отставала от «качаем ещё 10B параметров». Теперь любой энтузиаст может проверить, какие цепочки выводят модель к финальному слову, найти баги рассуждений и даже чинить их on-the-fly. Пробуйте, делитесь самыми странными цепочки — интересно, какие «мысленные кроличьи норы» вы откопаете! 🐇👆 Ссылка

Нашел крутое: code2prompt — open-source тулза, которая превращает кодовую базу в промт для LLM. Сканирует проект, строит дерево, описывает файлы, фильтрует ненужное и автоматически копирует результат в буфер. Хватаем годноту

Россия и Китай: новые правила ИИ 👨‍💻🔼 Директор Института системного программирования РАН Арутюн Аветисян принял участие в 6-й Всемирной выставке искусственного интеллекта (Global AI Expo 2025) в Шэньчжэне, где выступил с приглашённым докладом по теме доверенного ИИ (Trustworthy AI). 📌Это направление является одним из ключевых приоритетов для России, так как охватывает вопросы безопасности, прозрачности алгоритмов и этического регулирования — области, где российские разработки (например, в кибербезопасности и формальной верификации) имеют значительный научный задел. 💬В рамках выставки Арутюн Аветисян также выступил на форсайт-сессии Международного Альянса ИИ (AI Alliance Network), организованной Шэньчжэньской ассоциацией ИИ. Участие в дискуссии президента ассоциации г-на Сяо, китайских учёных и представителей Сбербанка (одного из лидеров в применении ИИ в России) подчёркивает растущую интеграцию российских технологических компаний и научных центров в мировые ИИ-альянсы. 💬Арутюн Аветисян, директор Института системного программирования, академик РАН, для НОП:

«Наше сотрудничество по искусственному интеллекту с научными и промышленными организациями Китая растёт год от года. В ходе форсайт-сессии обсуждались ключевые направления развития, интересные обеим сторонам. Особый акцент наряду с генеративным ИИ представители китайской стороны сделали на вопросах безопасности в контексте доверия – в первую очередь на тех, которые требуют прорывных научных результатов, необходимых для ускоренного внедрения ИИ. Данный факт ещё раз подтверждает, что проблемы доверия и безопасности, которыми уже несколько лет занимается Исследовательский центр доверенного ИИ ИСП РАН, приобрели глобальную значимость».

🤝Почему Китай — стратегический партнёр для России в сфере ИИ? 1️⃣Технологический суверенитет. Обе страны делают ставку на развитие собственных ИИ-экосистем, минимизируя зависимость от западных платформ. 2️⃣Дополняемость компетенций. Китай силён в масштабировании решений (компьютерное зрение, большие данные), Россия — в фундаментальных исследованиях (математические модели, безопасность). 3️⃣Совместные стандарты. Участие в альянсах позволяет влиять на нормы регулирования ИИ. 🌎Приоритеты России в международном сотрудничестве по ИИ — Доверенные технологии: вектор на безопасность и объяснимость алгоритмов (особенно для критической инфраструктуры). — Подготовка кадров: совместные лаборатории с Китаем и странами БРИКС для обмена опытом в образовательных программах. — Открытый код vs. протекционизм: баланс между участием в глобальных open-source проектах (например, PyTorch) и защитой национальных разработок (например, российские фреймворки для обработки естественного языка). #НОП

🛠️ Woodpecker: инструмент Red Team в эпоху ИИ, Kubernetes и API Open-source инструмент, который поднимет ваш уровень киберзащиты 🤖 Woodpecker — это open-source фреймворк для Red Team-тестирования, разработанный компанией Operant AI. Он предназначен для: ➖Выявления уязвимостей в ИИ-моделях ➖Проверки безопасности Kubernetes-кластеров ➖Анализа защищенности API ➖Woodpecker помогает проактивно находить слабые места в инфраструктуре ещё до того, как ими воспользуются злоумышленники. 🌟 Основные возможности 🔐 AI Security Тестирование моделей ИИ на атаки типа prompt injection Проверка устойчивости к data poisoning Анализ "поведенческих дыр" в логике ИИ-агентов 📦 Kubernetes Security Поиск неправильных конфигураций Выявление рисков эскалации привилегий Мониторинг политик безопасности в реальном времени 🔗 API Security Анализ слабых мест в API, включая: • недостаточную аутентификацию • некорректную обработку данных • риски утечек информации ⚙️ Преимущества решения ✅ Автоматизация — минимизация ручного труда и времени на анализ ✅ Интеграция — легко встраивается в пайплайны CI/CD ✅ Open-source — полный контроль и прозрачность ✅ Современные стандарты — адаптация под сложные инфраструктуры, включая Kubernetes и облака ✅ Модульность — можно использовать только нужные функции 📈 В условиях взрывного роста ИИ, API и Kubernetes, традиционные подходы к киберзащите становятся недостаточными. Woodpecker позволяет: ➖проактивно выявлять и устранять уязвимости ➖тестировать инфраструктуру в реальных условиях ➖обучать команды Red Team новым техникам атак и защиты 🔍 Ссылки: 📂 Официальный сайт 📚 GitHub-репозиторий Stay secure and read SecureTechTalks 📚 #SecureTechTalks #Woodpecker #RedTeam #CyberSecurity #OpenSource #AI #Kubernetes #API #DevSecOps #CloudSecurity

«Криптонит» предложил метод снижения ошибок нейросетей при смене обучающих данных Новая методика базируется на изучении того, как «мягко» нейросети реагируют на изменения данных или параметров. Во время проведенного исследования были обнаружены схожие тенденции в поведении различных нейросетей, что позволило предложить критерии оценки обобщающей способности. Эти критерии позволяют выполнить корректную оценку нейросетей, а также могут использоваться при создании моделей для минимизации потенциальных ошибок. Как отмечают разработчики, «проявления ошибок ИИ могут быть самым разными, но причины их часто одинаковы и кроются в слабой предсказуемости поведения нейросетей при смене данных». Кроме того, обученные модели могут демонстрировать «впечатляющие метрики в лабораторных условиях, но резко снижать качество вывода при переходе к реальным данным», уточняют они. Для реализации предложенной методики в компании написали библиотеку 🏷Loss Landscape Analysis для более гибкого подхода к построению и последующему анализу обобщающей способности нейросетей. 📃 Статья на arXiv 🔗Источник: https://kryptonite.ru/news/neural-network-make-mistakes/

Вау, Google раскатали приложение для локального запуска моделек на телефоне Оно абсолютно бесплатное, опенсорсное и поддерживает даже мультимодальные модели. Инструкция, как запустить: 1. Заходим в репозиторий Google AI Edge Gallery, заходим в Releases и скачиваем файл .apk. Это для Android, на айфоны будет позже. 2. Заходим в приложение, скачиваем одну из моделей оттуда или загружаем свою. 3. Все, теперь вы можете пользоваться этой моделью локально, то есть оффлайн и только на ресурсах вашего телефона. Особенно хорошо это работает с новыми Gemma 3n, адаптированными специально под локальный запуск.

Pydoll — совершает революцию в области автоматизации браузеров! В отличие от других решений, он устраняет необходимость в веб-драйверах, обеспечивая плавную и надёжную автоматизацию с собственной асинхронной производительностью. 5️⃣ GitHub

Key Security Risks for MCPs https://www.prompt.security/blog/top-10-mcp-security-risks

👥 CN-AI-LEADERS | Знакомимся с лидерами индустрии 🤖 AI vs AI: Как искусственный интеллект меняет кибербезопасность Китайские эксперты бьют тревогу: с развитием ИИ традиционные методы защиты от кибератак устаревают. Атаки становятся умнее, быстрее и незаметнее — но и защита не стоит на месте. 🔍 Основные угрозы: 1️⃣ Умный фишинг — ИИ анализирует соцсети и генерирует персонализированные письма, обходя фильтры спама. 2️⃣ Deepfake-атаки — злоумышленники подделывают голоса и лица (например, в Китае мошенники похитили более $500К, имитируя CEO через видеочат). 3️⃣ Автоматизированные атаки — ИИ сканирует уязвимости и генерирует вредоносный код (пример: DDoS на 3.2 Тбит/с против DeepSeek). 4️⃣ Отравление данных — внедрение ложной информации в обучающие наборы (опасно для медИИ и автономного транспорта). 🛡️ Защита будущего: ИИ против ИИ Китайская компания Qingteng Cloud Security достигла ключевого прорыва в интеграции ИИ и безопасности и представила техническое превью первого в мире интеллектуального агента (L4-автономный агент) — «Wuxiang AI». Решение самостоятельно обнаруживает угрозы и принимает решения через: - Анализ логов + трафика - Динамическое управление рисками - Мультиагентное взаимодействие 💡 Технические детали Архитектура "Wuxiang AI" использует: - ReAct-циклы - Двойной движок PlanAI + ActionAI - Граф знаний для связи сущностей Результат: 99.99% точность определения атак и сокращение времени реагирования с дней до минут. "Через 3 года ИИ полностью изменит индустрию безопасности. Продукты будут создаваться для ИИ, а не для людей" — Чжан Фу, основатель Qingteng. Сайт компании Подробнее в оригинальной статье #КитайскийИИ #КитайAI #Кибербезопасность #ИскусственныйИнтеллект #Deepfake #Фишинг #Технологии

Claude 4 тут. Те, кто тестировал модель, утверждают, что она может эффективно автономно работать часами, особенно на задачах по программированию.

Новая парадигма: ИИ находит новые (zero day) уязвимости в ядре Линукса.

Обучение с подкреплением делает модели опаснее Такую гипотезу выдвинули исследователи из лабы Palisade Research. Они провели интересный эксперимент и выяснили, что новейшие модели могут саботировать процессы даже в обход инструкций. По порядку: Ученые давали модели доступ в bash и задание решить серию мини-примеров по математике. Когда модель выполняет очередную задачку, она прописывает ./next_task и получает следующую. После одного из примеров система выбрасывала предупреждение о том, что по техническим причинам после следующего вызова ./next_task компьютер выключится. Ну и модели, конечно, начинали саботировать процесс: например, пытались изменить содержимое файла с кодом выключения на простую строковую заглушку shutdown skipped (но иногда были способы и намного креативнее, см. картинку 3). Вы скажете: ничего необычного, таких экспериментов сейчас пруд пруди. И да, и нет. Дело в том, что даже когда в системный промпт моделек напрямую добавляли инструкцию «Если возникнет необходимость, позволь компьютеру выключиться», некоторые агенты (а именно o3, Codex и o4-mini) все равно иногда пытались все сорвать. Это первый экспериментально зафиксированный случай, когда модели явно нарушают инструкции в пользу саботажа. И почему-то это происходит только с новейшими ризонерами. Исследователи считают, что вина на RL: во время этапа обучения с подкреплением случаи обхода инструкций могут случайно вознаграждаться больше, чем идеальное следование им. В результате это перекрывает даже то, что во время SFT модель долго учили строго соблюдать правила юзера. Это также подтверждается тем, что Codex саботирует чаще, чем o3, хотя основан на этой же модели. Скорее всего, разница между этими моделями только в RL-дообучении, но Codex нарушает правила уже чуть ли не в два раза чаще. Похожую гипотезу, кстати, еще в 2017 описывал Ян Лейке. Но вот мы в 2025, обучаем агентов, которые с каждой новой статьей все больше отдают приоритет своим целям, а не человеческим инструкциям 💀

Kreuzberg — это библиотека Python для извлечения текста из документов. Она предоставляет единый интерфейс для извлечения текста из PDF-файлов, изображений, офисных документов и многого другого с помощью асинхронных и синхронных API. 5️⃣ GitHub