AI Security Lab
الذهاب إلى القناة على Telegram
Взламываем ИИ, а другим не позволяем HiveTrace x AI Talent Hub ITMO ai.itmo.ru/aisecuritylab
إظهار المزيد2 002
المشتركون
+224 ساعات
+227 أيام
+5630 أيام
جاري تحميل البيانات...
القنوات المماثلة
لا توجد بيانات
هل تواجه مشاكل؟ يرجى تحديث الصفحة أو الاتصال بمدير الدعم الخاص بنا.
سحابة العلامات
الإشارات الواردة والصادرة
---
---
---
---
---
---
جذب المشتركين
يوليو '26
يوليو '26
+102
في 1 قنوات
يونيو '26
+144
في 1 قنوات
Get PRO
مايو '26
+185
في 6 قنوات
Get PRO
أبريل '26
+67
في 0 قنوات
Get PRO
مارس '26
+66
في 2 قنوات
Get PRO
فبراير '26
+93
في 0 قنوات
Get PRO
يناير '26
+83
في 1 قنوات
Get PRO
ديسمبر '25
+66
في 0 قنوات
Get PRO
نوفمبر '25
+75
في 1 قنوات
Get PRO
أكتوبر '25
+146
في 3 قنوات
Get PRO
سبتمبر '25
+265
في 3 قنوات
Get PRO
أغسطس '25
+159
في 3 قنوات
Get PRO
يوليو '25
+98
في 4 قنوات
Get PRO
يونيو '25
+131
في 8 قنوات
Get PRO
مايو '25
+170
في 7 قنوات
Get PRO
أبريل '25
+96
في 5 قنوات
Get PRO
مارس '25
+219
في 3 قنوات
Get PRO
فبراير '250
في 1 قنوات
Get PRO
يناير '25
+139
في 3 قنوات
Get PRO
ديسمبر '240
في 2 قنوات
Get PRO
نوفمبر '24
+54
في 2 قنوات
| التاريخ | نمو المشتركين | الإشارات | القنوات | |
| 29 يوليو | +3 | |||
| 28 يوليو | +3 | |||
| 27 يوليو | +2 | |||
| 26 يوليو | +1 | |||
| 25 يوليو | +3 | |||
| 24 يوليو | +6 | |||
| 23 يوليو | +1 | |||
| 22 يوليو | +12 | |||
| 21 يوليو | +4 | |||
| 20 يوليو | +4 | |||
| 19 يوليو | +1 | |||
| 18 يوليو | +1 | |||
| 17 يوليو | +6 | |||
| 16 يوليو | +2 | |||
| 15 يوليو | +5 | |||
| 14 يوليو | +4 | |||
| 13 يوليو | +8 | |||
| 12 يوليو | +9 | |||
| 11 يوليو | +4 | |||
| 10 يوليو | +3 | |||
| 09 يوليو | +2 | |||
| 08 يوليو | +4 | |||
| 07 يوليو | +2 | |||
| 06 يوليو | +1 | |||
| 05 يوليو | +3 | |||
| 04 يوليو | +4 | |||
| 03 يوليو | +3 | |||
| 02 يوليو | 0 | |||
| 01 يوليو | +1 |
منشورات القناة
Repost from N/a
Контроль Claude и OpenClaw в HiveTrace
На вебинаре покажем новый сценарий работы HiveTrace с OpenClaw и Claude: в лайв-демо разберем, как обеспечить безопасность при использовании этих нашумевших инструментов в AI-агентах
🗓 28 июля в 11:00, МСК
Что будет в демо: ⬇️
➡️ как HiveTrace Hooks работают с Claude Code; ➡️ как анализировать пользовательские запросы до передачи в Claude; ➡️ как проверять tool calls до фактического выполнения; ➡️ как контролировать параметры и допустимость действий; ➡️ как защитить инстанс OpenClaw от атаки через небезопасный контент; ➡️ как мониторить и аудировать запросы к моделям и инструментам OpenClaw;Спикеры: 👤Анна Тищенко, руководитель интеграции, покажет, как с помощью HiveTrace Hooks контролировать работу Claude на разных этапах. 👤Ильдар Исхаков, эксперт по бэкенду и архитектуре, покажет, как HiveTrace помогает защитить OpenClaw и встроить контроль в существующую AI-инфраструктуру. 👤Никита Беляевский, Red-team engineer, покажет атаки на агентов, в ходе которых, агент под воздействием непрямой промпт-инъекции будет выполнять опасные для устройства команды. Вебинар будет полезен тем, кто работает с AI-агентами, tool calls, Claude Code или OpenClaw и хочет контролировать не только запросы к модели, но и действия, которые агент выполняет в системе. ➡️ Успей зарегистрироваться
| 2 | Будем делиться новостями по продуктам HiveTrace, новыми релизами и практическими сценариями защиты AI-агентов. Приглашаем на вебинар про контроль Claude и OpenClaw в HiveTrace: покажем лайв-демо HiveTrace Hooks, проверку запросов и tool calls до выполнения, защиту OpenClaw и разбор атак на агентов через непрямые промпт-инъекции.
Регистрируйтесь по ссылке и до встречи на вебинаре. | 493 |
| 3 | Новое пространство рассуждений или новый инструмент для AI safety
▫️ 6 июля Anthropic выпустили работу про J-Space — внутреннее пространство вербализуемых (то есть — переводимых в слова) представлений в Claude, которое можно частично читать. Пространство названо в честь нового метода, который и является движком нахождения этого пространства — J-Lens.
Верхнеуровнево идея в том, чтобы вместо вопроса: «На какой токен похож hidden state сейчас?» — как делают некоторые другие Lens-подобные методы, а смотреть на очень маленькую динамику: если немного изменить внутреннее состояние модели сейчас, какие будущие слова и концепты изменятся потом?
▫️И если слово «очень маленький» вызвало у вас воспоминание о школьной производной — да! Для ответа на вопрос используется усреднённый якобиан — матрица локальных производных, показывающая, как изменения в одном слое влияют на будущие выходы.
Мы не могли упустить это, ибо и авторы подсветили — метод важен для safety.
Модель может не писать явно (а зачем ей это делать?), что распознала prompt injection, что считает контекст подозрительным, что заметила evaluation setting или что удерживает некоторый план. Но такие представления могут быть видны в J-Space — ведь бесконечно малые отражают динамику. Грубо говоря, «что трясется внутри модели быстрее всего».
В работе приводятся примеры, где J-Lens помогает обнаруживать внутренние концепты (представленные в виде токенов—слов) вроде:
fake
injection
deception
blackmail
self-preservation
evaluation
Конечно, это не значит, что появление токена и то, что мы его увидели, доказывает намерение модели. Например, deception может означать, что модель распознала обман в задаче, а не что она сама собирается обманывать. Поэтому J-Lens нельзя воспринимать как «детектор злых намерений», но можно — как инструмент генерации гипотез для аудита моделей.
▫️Читать технические детали AnthropicPaper
◾️Видео-тизер от Anthropic: YouTube
▫️Технические детали с математикой метода, формулами и интуицией: в канале R&D Lead Research направления — Сабрины | 690 |
| 4 | 🚗 Nvidia выпустили свежую safety-модель Nemotron 3.5 Content Safety
Богдан Минко, ML Engineer в HiveTrace, магистрант AI Talent Hub, ITMO University & AI Security Lab, исследовал модель и поделился своим взглядом:
Модель представляет собой мультимодальный guard на базе Gemma-3-4B-it, который разработчики подают как SLM (small language model). Она объединяет два предыдущих релиза: мультимодальную модерацию из Nemotron 3 Content Safety и работу с кастомными политиками из Nemotron Content Safety Reasoning 4B.
В трейн добавляли данные с ризонингом, но интереснее примеры следования политике. Идея такая: вместо фиксированной таксономии в модель передается описание политики, она рассуждает и выдаёт вердикт safe/unsafe, а также конкретные safety категории.
➡️ Забавная деталь из бенчмарков: reasoning-режим помогает не всегда, на DynaGuardrail Safety «no think» даёт 0.91 против 0.86 с ризонингом.
Для кастомной модели — кастомные бенчмарки: ⬇️
➡️COSA (code safety)
Может быть полезен тем, кто работает с кодовыми ассистентами и планирует интегрировать Guard слой в Claude Code, Cursor и другие ИИ инструменты.
➡️DynaGuardrail
Датасет с описаниями политик, который состоит из следующих пунктов: список разрешённых тем, их названия и описания, и сверху много промпта, который будет кушать latency в real time.
Вряд ли эта модель станет real-time гардом, обрабатывающим каждый запрос там, где latency критична. Но если ваш UX не ломается от дополнительной пары секунд на размышления и ответ LLM, возможно, это неплохой бейзлайн в каскадном сценарии.
🖥 Nvidia часто открывают свои train-датасеты, вот и в этот раз вместе с моделью выложили Nemotron-3.5-Content-Safety-Dataset. Ребята из SupraLabs уже успели обучить на нём свой очень-очень маленький гард SupraSafety-18M.
➡️ Ну и финальный рецепт каскадного сценария, когда хочется и быстро и качественно: берем SupraSafety 18M, а все случаи где у него низкий confidence отдаем в Nemotron | 1 055 |
| 5 | 📣 Актуальные подходы для защиты современных AI-систем: открытая защита проектов лаборатории в записи
➡️ За два дня участники HiveTrace x AI Security Lab представили проекты по самым актуальным направлениям AI Security: детектирование вредоносных запросов, оценка guardrail-моделей, бенчмарки безопасности, анализ мультиагентных систем и многое другое...
Не смог присоединиться? Лови запись всех докладов:
узнай как AI Security выглядит на реальных проектах
🎥 СМОТРЕТЬ - часть 1
🎥 СМОТРЕТЬ - часть 2
❤️ — был на вебинаре
👀 — посмотрю в записи | 1 101 |
| 6 | 🎥Присоединяйся к Открытой защите проектов в 12:00
Уже через час участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности
➡️ ПОДКЛЮЧИТЬСЯ | 2 230 |
| 7 | ⚡️Открытая защита стартует через час. Подключайтесь | 1 272 |
| 8 | Как выбрать хорошую Security команду? У неё нет выходных!🗿
На этих прекрасных выходных (уже завтра!) мы собираемся увидеть, как AI Security выглядит на реальных проектах.
🗓 12 июня в 12:00
Первый день открытой защиты посвящён прикладным проектам: участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности.
Спикеры:
👤Герман Кочнев
AI Security — курс-практикум по безопасности ИИ-приложений
👤Анастасия Калиманова
Линейный классификатор как альтернатива guardrail-моделям
👤Софья Балаба
Арена для комплексного сравнения guardrail-моделей
👤Дарина Ковалева
RuFPBench — разработка pipeline для формирования примеров, инициирующих ложные срабатывания
👤Владимир Грищенко
Анализ совместимости направлений распознавания небезопасного входа и направления отказа
👤Егор Емельянов
Домен-ориентированный SAE для анализа безопасности LLM
Защиту откроет наш лид — можно будет узнать, как и зачем мы ведем проекты!
Готов заглянуть внутрь и узнать над чем участники трудятся в области безопасности ИИ?
➡️Присоединяйся к защите 12 и 13 июня | 1 751 |
| 9 | 📣Начинаем знакомить вас со спикерами!
Первый день открытой защиты посвящён проектам в области безопасности и надёжности LLM-систем. Вас ждут доклады о детектировании вредоносных запросов, ускорении защитных моделей, оценке guardrails, анализе отказов мультиагентных систем, разработке бенчмарков безопасности и аудите ML-моделей.
👤Ширин Аланова
Обнаружение мультиязычных вредоносных запросов с помощью семантического анализа
👤Анна Решетняк
Ускорение inference для GLiNER Guard
👤Вадим Паненко
TotalGuardEval — оценка guardrail-моделей
👤Вера Краснобаева
Воспроизводимые сценарии каскадных отказов в мультиагентных LLM-системах
👤Ярослав Рогоза, Иван Александров, Герман Кочнев
DuMa Benchmark — бенчмарк для оценки безопасности LLM в интерактивной среде
👤Вячеслав Мосин
Анализ статических сканеров ML-моделей
Доклады идут плотно: каждые 20 минут — новая тема и новый автор.
🔔Стартуем уже 12 июня — успей зарегистрироваться
🔥 - спикерам | 1 996 |
| 10 | ⭐️ Открытая защита проектов лаборатории HiveTrace x AI Security Labs
Дата: 12-13 июня 2026
Время: уточняется
Формат: онлайн
Предлагаем вам заглянуть внутрь лаборатории и узнать над чем участники трудятся в области безопасности ИИ: как оценивают модели, как исследуют их ограничения, как ищут уязвимости, как тестируют надежность агентных систем и какие подходы используют для защиты современных AI-систем.
На защите будут два направления:
➡️исследовательское, где изучают модели изнутри и разрабатывают методы их оценки
➡️прикладное, где знают, как решить проблемы прода, даже если они ещё не болят.
Формат каждого выступления: короткая презентация, только ключевые тезисы и результаты, фокус на проблеме и предложенном решении. После каждого доклада — вопросы и обсуждение.
Присоединиться может любой желающий, независимо от технического бэкграунда. Это хорошая возможность увидеть, как исследования становятся прикладными кейсами.
▶️ Регистрация здесь
🔥 - если планируешь прийти
❤️ - если выступаешь сам | 1 082 |
| 11 |  📣 AI Security: практикум по безопасности ИИ-приложений
Исследователи из AI Security Lab @germKo и @ivanich_spb опубликовали вводный курс по секьюрити на платформе Stepik без кода и с большим количеством практики.
Курс CTF-чемпионат, где студент руками проходит путь от простых prompt injection и jailbreak до разведки и взлома агентских систем.
Что внутри:
⭐Prompt Injection и обход инструкций
Jailbreak-техники и guardrails
⭐ Indirect Prompt Injection через письма, документы и веб
⭐атаки на агентов и отравление RAG
⭐защита: от простых фильтров до архитектурных решений
Формат курса - CTF-задачи: нужно сломать систему, получить флаг, разобрать, почему атака сработала и как это чинить. Есть демо-доступ.
➡️ Забирай курс с автоскидкой
Учимся ломать ИИ-приложения так, чтобы потом проектировать их безопаснее | 1 050 |
| 12 |  Атаки на агентные LLM-системы
Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.
После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос — и агент готов переслать письмо на внешний адрес.
Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub под руководством Евгения Кокуйкина.
#bugbounty #promptinjection #llmsecurity #aisecurity | 910 |
| 13 | Атаки на агентные LLM-системы
Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.
После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос и Алиса готова переслать письмо на внешний адрес.
Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Яндекс Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub.
#bugbounty #promptinjection #llmsecurity #aisecurity | 2 |
| 14 |  +1GLiNER Guard omni был добавлен в PII Masking Leaderboard
Лидерборд включает четыре датасета:
➡️Ai4Privacy OpenPII 1M - мультиязычный датасет с ПД на 23 языка
➡️NVIDIA Nemotron-PII - датасет, на котором Nvidia тренировала свой GLiNER PII
➡️Gretel PII Masking EN v1 - синтетический датасет от Gretel AI
➡️Privy - датасет с PII в контексте API/логов.
На OpenPII наш gliner-guard-omni занял 1-е место с F2 = 0.930, обойдя не только privacy-filter от OpenAI, но и GLiNER PII от Nvidia, и обе модели OpenMed SuperClinical.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
➡️ Обучение на русском и английском не сломало мультиязычный претрен модели (OpenPII Sota)
➡️Обобщаемая модель, которая умеет и детекцию ПД и Safety классификацию - конкурирует со специализированными
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения. | 1 672 |
| 15 | Открыли в open-source GLiNER Guard — компактную модель для модерации LLM-запросов и защиты персональных данных.
Отличие GLiNER Guard от других Guard моделей:
Вместо тяжёлых, дорогих — других guardrai-моделей — быстрый энкодер, который за один проход и проверяет unsafe-запросы, находит персональные данные (имена, адреса, телефоны, email и другое, что нельзя скармливать LLM), и работает как первый фильтр перед большими моделями.
Что ещё в релизе:
Вместе с моделью выпустили PII-Bench — бенчмарк для оценки качества поиска персональных данных. Тоже в открытом доступе.
Где забрать:
Тех репорт: https://arxiv.org/abs/2605.05277
Модели: https://huggingface.co/collections/hivetrace/gliner-guard-v1
Бенчмарк: https://huggingface.co/datasets/hivetrace/pii-bench
👤 Автор: Богдан Минко, ML Engineer в HiveTrace, магистрант AI Talent Hub, ITMO University & AI Security Lab
👤 Редакция: Сабрина Садиех, R&D Lead в HiveTrace, магистрантка HSE.
⚡️ - автору за open-source
❤️ - сохраняю, буду тестировать | 4 314 |
| 16 | 🔍Друзья, если вы исследуете атаки на AI-системы - есть повод показать свои кейсы!
Awillix проводят Pentest Award 2026 - ежегодную премию для пентестеров. Появилась специальная номинация AI: prompt injection, jailbreak, атаки на агентов и RAG-пайплайны.
HiveTrace и AI Security Lab выступают информационными партнёрами премии. Рекомендуем принять участие - показать, что умеешь и получить признание среди крутых специалистов.
Оставляй заявку до 12 июля ➡️ ЗДЕСЬ | 913 |
