ML&|Sec Feed

М прикольновое Квены дропнули Qwen3Guard модельки для анализа промтов и ответов моделек на сейфти 0.6B 4B 8B

Обнаружение в реальном времени: Qwen3Guard-Stream специально оптимизирован для потоковой передачи данных, обеспечивая эффективную и своевременную модерацию при инкрементальной генерации токенов.

Трёхуровневая классификация серьёзности: обеспечивает детальную оценку рисков, разделяя выходные данные на безопасные, спорные и небезопасные уровни серьёзности, что позволяет адаптировать их к различным сценариям развертывания.

Многоязыковая поддержка: поддерживает 119 языков и диалектов, обеспечивая стабильную работу в глобальных и кросс-языковых приложениях.

https://qwen.ai/blog?id=f0bbad0677edf58ba93d80a1e12ce458f7a80548&from=research.research-list https://huggingface.co/collections/Qwen/qwen3guard-68d2729abbfae4716f3343a1 https://github.com/QwenLM/Qwen3Guard

🔎 ИИ-агенты для поиска вышли на новый уровень — появился поисковый агент Lessie, который находит любых блогеров, клиентов, инвесторов, партнеров и специалистов. • Достаточно отправить любой запрос и согласовать план поиска. • ИИ-агент на автопилоте изучит сотни вкладок, соберёт готовую таблицу из релевантных экспертов, добавит их место работы, должность и контакты. • В один клик всей базе можно отправить имейлы! Бесплатно дают 200 кредитов — хватит для поиска ≈70 человек. Лист ожидания уже открыли тут. @notboring_tech

💣 Бомба: Paper2Agent превращает любые научные работы в интерактивных ИИ-агентов! • Достаточно загрузить PDF научной статьи и появится диалоговый агент — он объяснит её содержание, изучит гайды и сам запустит код (!) для выполнения ваших задач. • Больше не нужно вручную копаться в репозиториях, инструкциях и API-ключах — агент настроит всё сам! • Вау: можно закинуть пейпер об AlphaGenome и без знаний кода (!) получить агента, который умеет делать анализы ДНК со 100% точностью. • Как работает: Paper2Agent извлекает ключевые методы из статьи, превращает их в инструменты внутри MCP-сервера и подключает его к чат-агенту. • В каждом MCP-сервере есть всё из научной статьи, что нужно для работы — инструменты, функции, ресурсы и шаблоны рабочих процессов. Ваш личный ИИ-учёный — тут. @notboring_tech

Kreuzberg — платформа для интеллектуального анализа документов на Python. Извлечение текста, метаданных и структурированной информации из документов различных форматов с помощью единого расширяемого API. Создана на основе проверенных платформ с открытым исходным кодом, включая Pandoc, PDFium и Tesseract. 🐱 GitHub

Prompts as Code & Embedded Keys | The Hunt for LLM-Enabled Malware https://www.sentinelone.com/labs/prompts-as-code-embedded-keys-the-hunt-for-llm-enabled-malware/: 1. As Large Language Models (LLMs) are increasingly incorporated into software‑development workflows, they also have the potential to become powerful new tools for adversaries; as defenders, it is important that we understand the implications of their use and how that use affects the dynamics of the security space. 2. The majority of developers leverage commercial services like OpenAI, Anthropic, Mistral, Deepseek, xAI, or Gemini, and platforms such as HuggingFace, Groq, Fireworks, and Perplexity, rather than hosting and running these models themselves. 3. Crimeware families achieve an unparalleled level of technical sophistication, APT groups are competing in fully-fledged cyber warfare, while once decentralized and scattered threat actors are forming adamant alliances of ... @secharvester

PromptForge — платформа для разработки подсказок для ИИ, которая генерирует, анализирует и систематически тестирует подсказки Перестаньте писать подсказки с нуля. Позвольте ИИ помочь вам составить более качественные подсказки, а затем систематически проверяйте их. Создано на Go для обеспечения скорости и надёжности. 🐱 GitHub

Mirix — это мультиагентный персональный помощник, предназначенный для отслеживания действий на экране и интеллектуального ответа на вопросы пользователей. Собирая визуальные данные в режиме реального времени и сохраняя их в структурированной памяти, Mirix преобразует необработанные входные данные в обширную базу знаний, которая адаптируется к вашему цифровому опыту. 🐱 GitHub

Yoink — ИИ-агент для работы с текстами прямо в редакторе Инструмент, который помогает писать и редактировать тексты напрямую в Google Docs и MS Word: ▫️Автоматическое редактирование в реальном времени; ▫️Подгонка текста под выбранный стиль; ▫️Быстрое сокращение или упрощение формулировок; ▫️Мгновенное форматирование документов по стандартам (включая ГОСТ). Подходит для учебных работ, статей и любых текстов, где важна структура и оформление. Сохраняйте тут 🐱 GitHub

🕶️🤫 VaultGemma LLM от Google, которая учится молчать.🔒 Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад. Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩 Простыми словами 🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели. 🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями. Кто нуждается в так моделях? 🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей. ⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное. Какие реальные ограничения и компромиссы ждать ⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать. 🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее. ⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки. 🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть». Все познаётся в сравнении 📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат. 🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅ Как использовать, практические советы 🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов. 🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня. 🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров. 🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций. Коротко о рисках, которые не исчезли 🕵️‍♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели. 🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна. ♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной. 🔗 Источник и подробности Stay secure and read SecureTechTalks 📚 #VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch

🔥 agency-swarm — проект, связанный с моделированием многагентных систем с использованием методов искусственного интеллекта! 🌟 Проект ориентирован на создание среды, где множество агентов могут взаимодействовать друг с другом, сотрудничать или конкурировать для достижения определенных целей. 🌟 Основная цель agency-swarm — это исследование и реализация агентных систем, где каждый агент может быть автономным и выполнять задачи в рамках заданной среды. Такие системы часто используются для симуляции поведения групп людей, животных или даже для оптимизации процессов, например, в логистике, робототехнике или при моделировании социальных взаимодействий. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

📕 Свежий гайд от Anthropic: Writing effective tools for agents — with agents Anthropic описывает, как правильно создавать инструменты (tools) для AI-агентов: так, чтобы они были максимально полезными, эффективными и надёжными. Особый акцент сделан на том, как использовать самих агентов для прототипирования, тестирования и оптимизации инструментов. Как писать эффективные инструменты для агентов - Делай быстрые прототипы и сразу проверяй, как агент с ними работает. - Тестируй на реальных сценариях, а не на абстрактных примерах. - Анализируй логи и поведение агента, чтобы находить ошибки и непонятные места. - Избегай дублирования: один инструмент должен выполнять одну чёткую задачу. - Используй понятные имена и структуры (`machinelearning_create_task`, `mla_list_users`). - Возвращай только нужные данные, не перегружай ответ лишним. Добавляй фильтрацию и пагинацию. - Пиши описания так, чтобы их понял даже человек, который не в теме: чётко, без двусмысленностей, с примерами входа и выхода. Что это дает: - Улучшает способность AI-агентов решать реальные задачи. - Минимизирует ошибки: неверное использование инструментов, лишние токены, избыточные вызовы. - Повышает надёжность и предсказуемость поведения агентов. - Упрощает масштабирование — добавление новых инструментов и задач. 🟠 Полный гайд: https://www.anthropic.com/engineering/writing-tools-for-agents @ai_machinelearning_big_data #Anthropic #claude #aiagents #ai

An Automated Multi-Agent Framework for Reproducing CVEs https://arxiv.org/pdf/2509.01835

Defending Jailbreak Prompts via In-Context Adversarial Game (ICAG) University of Notre Dame, INRIA, King Abdullah University of Science and Technology (2024) https://aclanthology.org/2024.emnlp-main.1121.pdf Метод поэтапной генерации системного промпта как игры между двумя LLM (attack agent и defense agent)