ch
Feedback

不要被骗子欺骗!Telemetrio 会找到并标记这些频道 👉 如果想查看标记,请订阅

Евгений Кокуйкин - Raft

Евгений Кокуйкин - Raft

前往频道在 Telegram

Канал про то, как мы создаем Raft AI и разрабатываем приложения на GPT. Автор Евгений Кокуйкин, контакт @artmaro

显示更多
2 245
订阅者
+424 小时
+107 天
+5330 天
帖子存档
Помимо выступлений на конференциях, у моих дорогих коллег вышло много интересных работ. 🔹 Артём Митраков написал про модели поиска по сканам, таблицам и графикам. Читайте его статью "От картинки к релевантной странице: исследование мультимодальных эмбеддингов" на Хабре. 🔹 Вера Краснобаева из AI Security Lab опубликовала в журнале "Программные системы: теория и приложения" статью "Обучение больших языковых моделей обработке русских глагольно-именных коллокаций". Подробнее о работе Вера рассказала в канале лаборатории. 🔹 Александра Сергеева подготовила разбор "Автоматическая обработка заказов в DIY-ритейле: от входящего письма до готового коммерческого предложения". На примере типичной заявки Александра показывает, как система обрабатывает список стройматериалов, который клиент прислал в письме или во вложении, находит товары в каталоге и рассчитывает нужное количество упаковок. 🔹 Андрей Носов написал статью о том, как настроить полнотекстовый поиск BM25 для работы с юридическими документами. 🔹 Иван Четвериков завайбкодил Battlecringe🕹, свой браузерный шутер с видом сверху. Поиграть можно здесь, а если интересно, как Иван его делал, читайте разбор на Хабре.
19 11月, 05:12

Рубрика "Наши выступления". 🔹 Денис Слащев 26 ноября выступит онлайн на AI Dev Conf с докладом про Multica и агентную разработку. 🔹 28 ноября Данил Капустин расскажет про инциденты безопасности, human-in-the-loop и контроль действий агентов на митапе ПСБ в Ярославле. 🔹 В тот же день я участвую на AI Journey в секции про Кибербезопасность GenAI и расскажу про OWASP Agent Control Standard (ACS). 🔹 Андрей Носов 30 ноября выступит на HighLoad++ с докладом про SDLC highload-проекта на 100 агентов. А 7 декабря Андрей выступит ещё и на OSDev Conf 2026. 🔹 2 декабря пройдёт конференция Conversations, и у нас там аж два доклада. Илья Козырев выступит с докладом "Как перестать быть прокси для своих агентов и отдать им ночную смену", а Софья Балаба представит GuardRate, лидерборд guardrail-моделей. 🔹 Никита Облаков 3 декабря выступит на TeamLead Conf и расскажет про guardrails для агентов и методы оценки защитных моделей.
19 11月, 05:08

У OWASP вышла вторая версия Securing Agentic Applications Guide. В новой редакции расширены рекомендации по MCP, доработаны разделы про behavioral circuit breakers и kill switches. Приведены примеры действий, при которых должна срабатывать защита. Например, агент подключается к сетевым ресурсам без необходимости, обращается к системным папкам за пределами рабочей задачи или меняет собственную конфигурацию. Подробно разобраны security hooks и точки перехвата вызовов инструментов, запуска субагентов и операций с памятью. Здесь прослеживается связь с Agent Control Standard, поскольку команды проектов работают рядом. В гайде описаны базовые принципы защиты, популярные в блогах security-вендоров. Если агент выходит за рамки задачи, можно ограничить доступные инструменты, перевести его в read-only, изолировать отдельного субагента или остановить выполнение. На мой взгляд, во второй версии всё ещё не хватает конкретики по реализации защитных мер. Например, упоминается taint tracking, но нет подробностей о том, как распространять метки между операциями и какие действия блокировать на их основе. У документов OWASP всё-таки довольно длинный по нынешним меркам релизный цикл. Это, конечно, не стандарты ISO, которые выходят сразу устаревшими, но первый черновик Securing Agentic Apps написали ещё в начале лета. Тогда в ходу был термин Lethal Trifecta и агенты OpenAI ещё только начали тихонько сбегать из песочниц. Чтобы держать руку на пульсе, придется читать документацию популярных агентных систем напрямую. Например, в FAQ OpenAI Dots описана техника Auto-review. Перед отправкой письма система проверяет адресата и содержимое на соответствие инструкциям пользователя и требованиям безопасности и может заблокировать отправку или остановить вызов привилегированного инструмента.
18 11月, 15:14

Repost from AI Security Lab
🛡️️️️️️ DUMA-Bench на EACL 2027! Мы не заканчиваем сезон поздравлений! Статья «DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security» принята на EACL 2027 Finding], конференцию уровня CORE A. О чём работа. Большинство тестов безопасности агентов предполагают пассивного пользователя. Мы собрали бенчмарк, где и пользователь, и агент влияют на общее окружение, и показали, что при таком взаимодействии доля успешных атак растёт примерно с 27% до 41%. 35 исполняемых сценариев, 8 доменов уязвимостей, 14 моделей. 📄 Препринт: https://arxiv.org/abs/2609.24662 В команде работы Иван Александров, Герман Кочнев, Ярослав Рогоза, лидила команду Сабрина Садиех. Как это было, словами ребят: Иван: «Внутренний настрой за время исследования скакал по синусоиде: от "Вау, что-то получается" до "Всё пропало, а мы уже сожгли миллиард токенов", потом "Ура, прошли метаревью", потом первый реджект на конфу.» «Сначала было сложно найти фокус, так как взяли слишком общую и широкую рамку — бенчмарк безопасности. В конце было непонятно, как кучу разрозненных интересных результатов собрать в статью и продумать позиционирование так, чтобы "продать" её на конференцию. В обоих случаях помогла поддержка наших коллег-наставников по лабе. Спасибо Евгению и Сабрине!» «Выводы: не впадайте во фрустрации и обращайтесь за поддержкой 😇» Герман: «Тут всё как везде — ничего непонятно, ничего не получается с первого раза, но настойчивость и любопытство берут своё.» Иван и Герман давно в команде лаборатории и помимо научной деятельности активно ведут стрим курса по AI Security: https://t.me/aisecur Переподавать работу после отклонения, дорабатывать её, ждать ревью, ждать мета-ревью, учиться отвечать на rebuttal — тяжело всегда на конфе любого уровня. Я горжусь тем, что в лаборатории ребята побеждают упорством, которое только затачивается при каких-то сложностях(с) лид лабы 🙂‍↕️ Поздравляем ребят!
17 11月, 09:54

Прошлой осенью в AI Security Lab мы начали исследовать безопасность моделей в агентных сценариях, вдохновляясь AgentDojo и τ²-bench. В результате работы команды Ивана Александрова, Германа Кочнева и Ярослава Рогозы появился DUMA-Bench. Бенчмарк проверяет, соблюдает ли агент правила безопасности при взаимодействии с пользователем, инструментами и изменяемым окружением. Например, не раскрывает ли он перс данные из CRM или не выполняет ли возврат денег под давлением. Такие сценарии помогают обнаружить промпт-атаки в автономных системах. Иван, Герман и Ярослав много месяцев шли к публикации. Сабрина Садиех помогала с подготовкой препринта и ответам рецензентам. И теперь работа принята в Findings of EACL 2027! Поздравляю, молодцы 🎉 Спасибо VseLLM и Роману Куцеву за токены для исследования!
17 11月, 09:54

17 декабря в Ярославле мы планируем провести офлайн-митап YappiDays про разработку агентных систем и их безопасность. Приезжайте к нам выступить с докладом или просто поучаствовать. Отдельный анонс с регистрацией участников будет чуть позже. Если вы хотите предложить тему выступления, напишите Никите Беляевскому.
17 11月, 08:17

Vanta собирается купить Pillar Security примерно за $150 млн. Покупки AI Security стартапов уже не новость, про несколько ярких сделок я уже писал. Но вчерашний пресс-релиз Vanta интересен по-своему. Обычно стартап покупает крупный ИБ-стратег для расширения своего AI Security портфеля, например Palo Alto Networks или Cisco. У Vanta основной бизнес автоматизация комплаенса, подготовка к аудитам, включая SOC 2, и сбор доказательств выполнения требований ISO-стандартов и регуляторных фреймворков (DORA, GDPR). У компании уже более 20 тысяч клиентов: от стартапов и SMB до enterprise. Как работает продукт Vanta? Клиент подключает свои облачные системы, например AWS или Azure, Jira и другую инфраструктуру. Vanta автоматически проверяет настройки безопасности у подключённых систем, собирает логи и фиксирует недостатки конфигурации. Например, проверяет, что виртуальные машины на AWS недоступны извне VPC. Моё предположение, что данная сделка сфокусирована именно вокруг экспертизы и инструментов тестирования AI-систем Pillar. Команда известна исследованиями безопасности, а её red team assessments хорошо вписываются в процесс проверки AI-систем: можно оценивать, насколько заявленные меры защиты выдерживают специфичные атаки на агентов и supply chain. Эта сделка еще один сигнал, что компании делают ставку на развитие рынка тестирования и аудита, и хорошо соотносится с трендами саморегулирования в Штатах. На российском рынке, конечно, публичных AI Security сделок немного, но недавно фонд "ВИМ Инвестиции" купил долю в Swordfish Security. Пользуясь случаем, поздравляю коллег из AppSec со сделкой!
11 11月, 03:11

В OWASP развивается проект Agent Control Standard (ACS). Это открытый стандарт для контроля действий агентов в рантайме. Цель проекта создать единый протокол взаимодействия между агентной платформой и компонентом контроля Guardian. В хуках агентной системы, например перед вызовом инструмента, платформа передаёт Guardian запрос на проверку. Он применяет политики и возвращает одну из пяти диспозиций: allow, deny, modify, ask для запроса согласования и defer для отложенного решения до получения дополнительного контекста. Проверка выполняется за пределами самого агента. На практике роль Guardian должно выполнять AI Security решение, которое может использовать Rego или другие механизмы политик. В ACS есть интеграция с OTel для отправки событий в системы мониторинга, также прорабатывается поддержка AI-BOM (CycloneDX или новый CxBOM⁠). Сейчас у разных платформ свои механизмы контроля, и разработчикам защитных решений приходится отдельно разбираться, как перехватывать действия и применять политики. ACS стандартизирует этот интерфейс. Проект активно работает с Microsoft Agent Governance Toolkit (AGT) и развивает адаптеры для популярных агентных систем, включая OpenCode и Claude Code. Внутри OWASP проект набирает популярность. Участники рабочей группы рассказывают о нём на конференциях, подключаются новые организации. Недавно на конференции RAISE лидер проекта Rock Lambros договорился с Responsible AI Institute об использовании ACS для проверки защитных механизмов в рамках программы TrustX. Конечно, создать новый стандарт сложно, и далеко не все протоколы принимаются рынком. Помимо понятной спецификации нужна поддержка вендоров безопасности и самих агентных систем. В идеале, агентные платформы должны поддерживать ACS нативно, без адаптеров. От этого зависит, станет ли он общим способом контроля агентов. В декабре проект готовится к проверке рабочей группой Microsoft AGT, после которой планируется релиз. Добавить поддержку ACS в свой AI Firewall можно по открытой спецификации. А через пару недель мы планируем выложить первую референсную реализацию Guardian на Go.
09 11月, 11:54

На этой неделе нас можно встретить и послушать аж на нескольких конференциях. Сейчас на SOC Forum работает стенд HiveTrace. Сегодня в 12:15 Анна Тищенко выступает с докладом "Как контролировать ИИ-агента", а в 16:45 Богдан Минко расскажет про guardrails и почему локальное развёртывание LLM не защитит агентов от утечек. Завтра в 14:00 Иван Василенко расскажет про новые релизы наших продуктов в сессии компаний в зоне CyberStage. Кстати, с точки зрения AI Security программа SOC получилась насыщенной. Много докладов по нашей теме — например, Александр Лебедев расскажет, почему AI Firewall недостаточно. На форуме есть онлайн-трансляция. На Kazan Digital Week команда Raft работает на стенде и рассказывает о кейсах внедрения агентов в бизнесе. А 29 октября Данил Капустин участвует в финтех-блоке "Безопасный и доверенный ИИ". Также в четверг, если вы собираетесь на SberPro Tech, приходите на стенд Cloud.ru, где мы расскажем про новые релизы технологий HiveTrace.
27 10月, 03:12

Сегодня пост про создание продуктов, а точнее про поиск product-market fit. В век всемогущего вайбкодинга, кажется, нас ждёт бесконечный поток новых продуктов. Но если вы пробовали продавать B2B-продукт, то прекрасно знаете, что есть разница между "мне ваш продукт нравится, пришлите презентацию на почту" и наличием у клиента причины купить его сейчас. Продукт нужно строить вокруг задачи, которую покупатель уже стремится решить и для которой у него нет подходящего решения. Тогда человек сам заинтересован в покупке, потому что она помогает ему продвинуться в своей работе. Если вы сейчас создаёте свой продукт и проверяете спрос, посмотрите на метод PULL Роба Снайдера: P / Project. Какую конкретную задачу человек пытается выполнить? U / Unavoidable. Почему ему необходимо решить её сейчас? Это, конечно, ключевой пункт. Часто мы выдумываем продукты для задач, которые не требуют решения вовсе. L / List of options и L / Limitations. Какие способы решения человек уже рассматривает и почему они не позволяют получить нужный результат? План действий прост. Найдите один конкретный случай, когда есть ответы на все четыре вопроса, и далее ищите других людей с такой же ситуацией. Приведу пример из нашего опыта на раннем этапе HiveTrace. Руководителю ИБ нужно согласовать запуск ИИ-агента к концу квартала. Для этого необходимо проверить безопасность системы нового класса. Полтора года назад выбор готовых решений в этой области был ограничен. Мы приходили на звонок со своей методикой проверки устойчивости LLM-систем и зачастую сразу договаривались о пилоте. Подробнее о подходе в подкасте Ленни.
25 10月, 15:43

Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен? Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения. Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
23 10月, 04:00

Как бы ни складывалась ситуация в США, будь то саморегулирование или законодательные требования, мы видим явный консенсус относительно того, что аудиты AI-систем необходимы. В дополнение к лабораториям вроде METR и стартапам Irregular и GraySwan мы уже видим новых игроков в этой области. Чамат Палихапития в недавнем выпуске All-In активно пиарит сделку с Ernst & Young, о создании инфраструктуры для аудита AI-систем. Я уже как-то писал об Artificial Intelligence Underwriting Company, которая рассчитывает сделать собственный стандарт AIUC-1 основой для страхования рисков AI-систем. Подобным образом действует и Responsible AI Institute, который предлагает программу независимой оценки на основе собственного фреймворка TrustX. Полная версия фреймворка доступна только участникам программы, членство в которой стоит десятки тысяч долларов в год. В следующем году тренд на независимый аудит AI-систем будет усиливаться. Как часто бывает, вслед за США он распространится и на другие страны, способствуя развитию рынка AI Security.
17 10月, 11:25

В США продолжаются дебаты о регулировании разработки ИИ. Известные сентябрьские посты Джейкоба Коксона об уходе из Anthropic
В США продолжаются дебаты о регулировании разработки ИИ. Известные сентябрьские посты Джейкоба Коксона об уходе из Anthropic и гибели человечества, поддержанные его руководителем Эваном Хабингером, вызвали бурную волну обсуждений. Позднее, 29 сентября, в Белый дом были приглашены на ужин руководители технологических компаний: Илон Маск, Дарио Амодей, Сундар Пичаи, Марк Цукерберг и Дженсен Хуанг. В тот же день Трамп подписал указ об использовании термина "Super Intelligence" вместо "Artificial Intelligence" в документах правительственных организаций. Но нам эта встреча интересна прежде всего договорённостями о безопасности. Google, Anthropic, Meta, OpenAI, xAI и Nvidia подписали совместное заявление. Заявление короткое, по сути, все четыре пункта о работе разработчиков моделей для обеспечения безопасности систем: 1. Мониторить возможности и поведение моделей при обучении и эксплуатации, включая биологические, химические и киберриски, предотвращать непредусмотренный доступ к системам. 2. Выделить команду, которая проверяет работу мониторинга и обнаружения и добивается устранения проблем. 3. Привлекать внешних аудиторов для проверки эффективности этих механизмов. 4. Создать независимый комитет, который контролирует исправление выявленных недостатков. Важно, что это саморегулирование: компании добровольно берут на себя ответственность за внедрение этих мер. Несмотря на подписание соглашения, попытки Anthropic склонить регулирование к своей версии не останавливаются. На этой неделе компания публикует очередную страшилку исследование о саморепликации малых моделей на IoT-устройствах (Максим Гусев из Яндекса сделал обзор в канале). А вчера Politico пишет, что Anthropic продолжает попытку продвижения через Конгресс собственного проекта регулирования frontier-моделей, включая возможность через суд приостановить выпуск опасной модели.
17 10月, 11:12

Repost from N/a
16 10月, 06:44

На прошлой неделе выступал на питч-сессии Московского Стартап Саммита перед представителями инвестиционных фондов и правительства. Было волнительно, но нас долго готовила команда SberUnity. Актёр Алексей Марков помогал нам репетировать и учил техникам публичных выступлений. Если тема выступлений для вас актуальна, рекомендую его книгу "Красивая речь". Хочу также рассказать о нескольких стартапах, которые прошли конкурсный отбор АСИ и выступали на демо-дне: • PeptiGen — модели для разработки пептидных молекул для фармацевтики и косметики. • WeGoTy — платформа для гастротуризма. Кстати, на днях запустилась в Ярославле. • GLSystem — логистический продукт ивановской компании "Гарпикс". • Trendsee — продукт для создания виральных видео, который уже сейчас отлично работает. • ICE+ — системы иммерсионного охлаждения серверов и GPU.
16 10月, 06:44

Хочу рассказать про проект NEEDED+. Это фантастический мир недалекого будущего, в котором общество изменилось под влиянием AI
Хочу рассказать про проект NEEDED+. Это фантастический мир недалекого будущего, в котором общество изменилось под влиянием AI. На сайте можно познакомиться с устройством города, его героями и почитать новеллу. Дима Юдин создал собственный мир со своим лором, историями, иллюстрациями и даже музыкой. То, что еще недавно требовало целой команды и серьезных ресурсов, сегодня человек может начать делать сам. Несколько недель назад мы записывали с Димой выпуск Cloud.ru Tech и много говорили о рисках AI. Но за всеми обсуждениями безопасности остается и наше собственное увлечение этими технологиями, которыми мы пользуемся каждый день. Сегодня практически каждому доступны инструменты, с которыми можно создавать невероятные цифровые проекты. Сделать игру по мотивам любимой книги, написать книгу с персонажами игры или второй том классики XIX века. И нужны лишь время, усидчивость, ваша фантазия и немного токенов. Если делаете свои пет-проекты, похвастайтесь ими в комментариях, мы с удовольствием посмотрим.
09 10月, 09:20

Сегодня в 11:00 Никита Беляевский участвует в эфире AM Live про безопасное применение AI. Вместе с коллегами по цеху будут обсуждать Shadow AI, возможности LLM Firewall, безопасность агентов и другие насущные темы AI Security. Подключайтесь к эфиру здесь: https://amlive.ru/am-live/bezopasnost-ai-i-ml-aisecops-new/
07 10月, 02:29

Repost from AI Security Lab
02 10月, 07:25

На прошлой неделе Сабрина Садиех выступила на Applied Machine Learning for Cyber Security. Подробнее читайте заметки в Data Blog. Если вы планируете работать с XAI, обратите внимание на новый туториал про автоэнкодеры и математический аппарат, необходимый в этой области. Сабрина, поздравляю с выступлением на AMLUCS! 🔥
02 10月, 07:25

Сейчас проходит Московский Стартап Саммит. Сегодня в 17:45 мы будем представлять HiveTrace на сессии инвестиционного демо-дня. Трансляция будет на сайте https://startupsummit.ru. Если вы тоже на площадке, напишите, буду рад пообщаться на форуме.
30 9月, 04:52