ML&|Sec Feed

Наша команда вернулась с EMNLP 2025, на которой у нас было принято две статьи 🐫 Первая – Steering LLM Reasoning Through Bias-Only Adaptation про то, как можно улучшать reasoning в LLM при помощи минимальных добавок (значительно меньших, чем LoRA и прочие). Небольшой спойлер, который можно найти в репозитории с кодом статьи – это также открывает новые возможности для интерпретации reasoning моделей. Вторая – Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy посвящена новому методу обучения Sparse Autoencoders, для которого теперь можно контроллировать степень разреженности пространства фичей после обучения. Для этого мы также опубликовали triton кернелы, чтобы все могли обучать модель нашим методом быстро, доступно как на github, так и на hugging face.

И этот день, как и вчера, мы финалим искусственным интеллектом 🧠, а именно очередным руководством по безопасности ИИ от SANS. И хотя это проект, он достаточно неплохо систематизирован и, в целом, вполне интересен уже сам по себе. Там даже история с мониторингом ИИ и упомянутого утром инференса упоминается 🤔 Заметили, что я стал все чаще писать про ИИ в контексте кибербезопасности? ✍️ Это я еще себя сдерживаю, так как в новостном потоке эта тема реально стала доминирующей – чуть ли не половина всех новостей про это. Да, местами это хайп или переливание пустого в порожнее, но часто бывает немало реально полезного контента. Не все из этого релевантно для нашего региона, но многое. Так что изучайте ИИ... с разных сторон 👩‍🎓 #sans #ии #mlsecops

Ночное-полезное: 50-страничный гайд о том, как делать ИИ-агентов от Google, которые реально работают 🕺 Что внутри: — Архитектура агента и его основные блоки; — LLM как мозг и управляющий центр; — Подключение инструментов и API; — Оркестрация нескольких агентов; — Деплой, продакшн и метрики; — Самообучающиеся и эволюционирующие агенты; — Пример живой системы — AlphaEvolve. Читаем перед сном на английском или на русском 💃

RAG-Anything — универсальный фреймворк для глубокого анализа. Специально для рубрики #нейрословарь подробнее о нём рассказали коллеги из лаборатории искусственного интеллекта «Криптонита». Метод RAG (Retrieval-Augmented Generation, или извлечение и расширенная генерация) позволяет большим языковым моделям обращаться к внешним базам данных. 🔴Однако у него есть фундаментальный недостаток: классический RAG работает исключительно с текстом. При этом в научных статьях, отчётах и технической документации значительная часть данных представлена в виде изображений: графиков, формул, фотографий, карт. Поэтому традиционные системы ИИ либо игнорируют такую информацию, либо ограничиваются анализом подписей к изображениям. ❗️Для решения этой проблемы команда исследователей из Гонконгского университета представила RAG-Anything — универсальный фреймворк, который позволяет обрабатывать разные типы данных как единую сеть взаимосвязанных объектов. В основе этой мультимодальной системы лежит стратегия двойного графа (dual-graph construction), которая создаёт два типа связей: 🔹перекрёстно-модальные связи, соединяющие разные типы данных. Например, график связывается не только с текстовой подписью, но и с фрагментом текста, где он упоминается. 🔹текстовые семантические связи, фиксирующие смысловые отношения между фрагментами текста. Например, «… как вы можете видеть на графике 1… подробнее см. в таблице 2». 🟢Объединяя эти представления, RAG-Anything создаёт единую «карту знаний» документа. Это позволяет системе проводить гибридный поиск: сочетающий в себе навигацию по структурным связям в графах и семантический поиск по смыслу. В результате на сложный запрос ИИ может дать более полный и корректный ответ, собрав фактические данные не только из текста, но и из соответствующих иллюстраций. Это расширяет возможности ИИ в медицине, финансовой аналитике, анализе технической документации и во многих других областях, где критически важна полнота информации.

Top 10 угроз для Agentic AI #OWASP #llm #top10 Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки. ➡️AAI01: Memory Poisoning (Отравление памяти) Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений. ➡️AAI02: Tool Misuse (Злоупотребление инструментами) Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий. ➡️AAI03: Privilege Compromise (Компрометация привилегий) Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий. ➡️AAI04: Resource Overload (Перегрузка ресурсов) Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet). ➡️AAI05: Cascading Hallucinations (Каскадные галлюцинации) Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений. ➡️AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями) Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной. ➡️AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение) Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение. ➡️AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость) Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования. ➡️AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация) Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени. ➡️AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле) Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие. 🔗Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё 🌚 @poxek_ai

New Report Warns of LLM-Enhanced Cyber Threats: Polymorphic Malware, Customer https://ift.tt/eaGp5ZO

https://github.com/itsOwen/CyberScraper-2077 A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama #github #tools

Tonbo — это встроенная постоянная база данных, предлагающая быстрые KV-подобные методы для удобной записи и сканирования типобезопасных структурированных данных. Tonbo можно использовать для создания приложений с интенсивным использованием данных, в том числе для других типов баз данных. 🐱 GitHub

Cache-to-Cache: занятная статья о том, как модели могут общаться на "собственном языке" Работа очень напоминает папиру от Microsoft, вышедшую примерно год назад (наш разбор). И все-таки есть ключевое отличие: если у майкрософтов получилось научить общаться без токенов только разные экземпляры одной и той же модели, то здесь предложен способ, который работает для любой пары моделек, даже из разных семейств, от разных компаний и разных по архитектуре. Немножко контекста. Когда два агента общаются мультимодельной системе, они обычно делают это текстом. Это довольно неэффективно, потому что вообще-то у каждой модели есть Key-Value Cache – внутренние состояния внимания, хранящие, по сути, всю информацию о мыслях модели. И вот если бы агенты научились общаться не токенами, а именно KV-кэшем, это было бы в разы быстрее, а информация была бы полнее. Так появляется Cache-to-Cache (C2C) – парадигма прямого обмена смыслом, а не словами. Источник (Sharer) передаёт свой кэш, а получатель (Receiver) через нейросеть-проектор встраивает этот кэш в своё пространство. Напрямую, без проектора, это сделать бы не получилось, потому что у разных моделей разное скрытое пространство. Поэтому авторы и обучили Projection module, который как бы соединяет кеши Sharer и Receiver в единый эмбеддинг, понятный обеим моделькам. Кроме Projection module в протоколе еще появляется weighting module, который решает, какую информацию вообще стоит передавать от Sharer. Что это дает? 1. Скорость, очевидно. Относительно Text-to-Text все происходит в 2-3 раза быстрее. 2. Прирост к точности. Если объединить две модели таким образом и поставить их решать одну задачу, метрика подлетает в среднем на 5% относительно случая, когда модели также объединяются, но общаются текстом. То есть: обмениваясь кэшем, модели действительно лучше понимают друг друга, чем когда обмениваются токенами. Это крутой результат. Большой практический минус в том, что подход не универсальный. Для каждой пары моделек придется обучать свой "мост". Там всего несколько MLP слоев, но все же. Ну и если у моделей совсем разные токенизаторы – тоже запара, придется делать Token alignment. GitHub Статья