MLSecOps | AI Governance | AI Reliability & Safety | IT Trends

Евгений Кокуйкин: AI security в России, готовы ли мы? #подкаст #ai #aisecurity В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России. Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI. Этот выпуск будет полезен: ➡️AI Security Engineers и LLM Engineers ➡️Специалистам по Red Team и пентесту ➡️Руководителям компаний, внедряющим AI ➡️Исследователям безопасности ➡️Разработчикам, которые хотят понять, как защищать AI-системы от современных киберугроз ➡️Всем, кто интересуется будущим AI в России и мире 🔗Ссылки: 💬 Слушать в Telegram 📹 YouTube 📺 RuTube 💙 VK Видео 🎵 Apple Podcasts 🎵 Яндекс.Музыка 🔤 Mave AI Security Lab ИТМО Личный канал Евгения Обязательно смотрите/слушайте до конца! P.s. пишите в комментариях, кого пригласить в следующий раз 🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч

⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта. В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам. Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные). Продолжение: https://vk.com/wall-210601538_1954

⭐ Очень интересный отчет с массой статистических данных, полезных фреймворков и перечнем современных инструментов MLSecOps. Крайне рекомендую ознакомиться 💫

⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей #ML #mlsecops #ai #devsecops #appsec Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов. Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps? Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы. 🔗Источник 🌚 @poxek_ai

⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка. Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ. Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб. Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка. Продолжение: https://vk.com/wall-210601538_1952

⭐️ Вакансия AI Architect в крупную FinTech-компанию Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов. Обязанности: + Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов; + Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей; + Создание систем контроля качества и автотестирования диалогов; + Построение конвейеров сбора, очистки и версиирования данных; + Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа; + Разработка архитектурных стандартов и практик observability. Требования: + 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры; + Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin; + Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch); + Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.); + Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana; + Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven; + Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub. + Навыки внедрения eval-пайплайнов, reward models и feedback loops. + Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется). Условия: + Достойный уровень компенсации; + Офисный формат работы, офис в центре города Алматы (есть релокационный пакет); + ДМС; + График 5/2; + Официальное оформление по ТК РК; + Передовые и инновационные технологии, лучший технический стэк; + Позитивная и мотивированная команда; + Обучение, тренинги и курсы, языковые курсы за счет компании. Контакт для отклика: @aveirochka Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!

⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026. Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз. Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться. Продолжение: https://habr.com/ru/companies/owasp/articles/975504

PWNAI: Артём Семёнов о том, почему AI — это не SkyNet, а уязвимая система #подкаст #chatgpt #llm #claude #deepseek #qwen #mistral В этом выпуске подкаста «Обсуждаем Похек» мы погружаемся в мир безопасности искусственного интеллекта вместе с Артёмом Семёновым, автором популярного телеграм-канала PWNAI @pwnai. Узнайте, как выглядит AI Security изнутри: от практического применения OWASP Top 10 для LLM до глубоких дискуссий о будущем AI и его социальных последствиях. Артём делится своим опытом в области MLSecOps, раскрывая реальные кейсы атак на нейросети через prompt injection и jailbreaking, и объясняет, почему бесконечное масштабирование вычислительных мощностей — это технологический тупик. Разбираем практические аспекты безопасности AI: как проводить Red Teaming для нейросетевых моделей, какие уязвимости скрываются в архитектуре современных LLM, и почему «отравление» обучающих данных может стать главной угрозой. Обсуждаем, как меняется ландшафт киберугроз с развитием AI, какие навыки необходимы современному AI Security Engineer, и как противостоять новым видам атак. Особое внимание уделяется фреймворку OWASP, который становится стандартом для защиты AI-приложений, и философским вопросам о пределах развития искусственного интеллекта. Этот выпуск будет полезен AI Security Engineers, AI/LLM Engineers, специалистам по Red Team и пентесту, а также исследователям безопасности, которые хотят понять, как защищать AI-системы от современных и будущих киберугроз и какие фундаментальные ограничения есть у технологии. 🔗Ссылки: 💬 Слушать в Telegram 📹 YouTube 📺 RuTube 💙 VK Видео 🎵 Apple Podcasts 🎵 Яндекс.Музыка 🔤 Mave Обязательно смотрите/слушайте до конца! P.s. натыкайте на этот пост много 😪, чтобы Артём высыпался перед подкастами) 🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч

⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса. За нарушение требований могут последовать штрафы: - для физических лиц — от 10 до 50 тысяч рублей; - для должностных лиц — от 100 до 200 тысяч рублей; - для юридических лиц — от 200 до 500 тысяч рублей. Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями. Продолжение: https://vk.com/wall-210601538_1949

⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей. В этом видео: • как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей • архитектурные решения платформы и унификация защитных механизмов • реальные примеры и уязвимости из практики VK Срочно смотрим! :) Ссылка: https://vk.com/video-777107_456239712 Архитектор MLSecOps Николай Павлов

⭐️ AI security на практике: атаки и базовые подходы к защите Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься. Почему это важно: немного цифр Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи. При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer. Вот несколько цифр из этого отчета: - 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц. - 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность. - 75% компаний сообщили об увеличении числа атак через ИИ-сервисы. - 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face). При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ. Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах. Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554

Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?». Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего. В итоге пришла мысль собрать всё это в единый список. Так появился он: ☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/ Список получился подробным и структурированным, многое удалось выделить в отдельные блоки. Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.

Друзья! Я рад анонсировать наши митапы по безопасности ИИ в Ереване и Санкт-Петербурге! 6 декабря (сб): Ереван, Армения 14:00 - 17:00 (UTC+4) Letters and Numbers, 35G Tumanyan St https://ods.ai/events/llamator-aisecurity-25 Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них 12 декабря (пт): Санкт-Петербург, Россия 19:00 - 22:00 (UTC+3) офис Selectel, улица Цветочная, д. 21, лит. А https://ods.ai/events/llamator-aisecurity-selectel-25 Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний Приходите, обсудим реальные практики MLSecOps и классно проведём время!

⭐️ Вебинар "Создание AI-агентов для бизнеса: архитектура, реализация и внедрение" Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей. Особенно рекомендую тем, кто только начинает погружаться в эту тему. Ссылка на вебинар: https://vk.com/video-18875334_456239264 Архитектор MLSecOps Николай Павлов

🔥 Яндекс скоро добавят функции ИИ-агентов в Алису AI, и это круто! Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup

⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами. Как свет заменяет электронику в ИИ? Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход. Продолжение: https://vk.com/wall-210601538_1944

⭐️ Стихи неожиданно ослабляют защиту ИИ Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи. При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее. Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.

Top 10 угроз для Agentic AI #OWASP #llm #top10 Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки. ➡️AAI01: Memory Poisoning (Отравление памяти) Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений. ➡️AAI02: Tool Misuse (Злоупотребление инструментами) Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий. ➡️AAI03: Privilege Compromise (Компрометация привилегий) Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий. ➡️AAI04: Resource Overload (Перегрузка ресурсов) Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet). ➡️AAI05: Cascading Hallucinations (Каскадные галлюцинации) Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений. ➡️AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями) Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной. ➡️AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение) Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение. ➡️AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость) Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования. ➡️AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация) Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени. ➡️AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле) Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие. 🔗Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё 🌚 @poxek_ai