MLSecOps | AI Governance | AI Reliability & Safety | IT Trends

Разговоры о важном. ИИ-агенты и безопасная работа с ними 💡 21 сентября в НТГСПИ состоялась традиционная линейка с поднятием флага и исполнением гимна РФ. После мероприятия все первокурсники приняли участие во встрече «ИИ-агенты и безопасная работа с ними». В последние десятилетия технологии ИИ все активнее внедряются в образовательную сферу, предлагая новые возможности для персонализированного обучения, автоматизации образовательных процессов и повышения доступности образования. Потенциальные возможности использования технологий искусственного интеллекта в высшем образовании огромны. Их применение предоставляет персонализированный опыт обучения, повышает вовлеченность студентов в образовательный процесс, улучшает их академические результаты, адаптирует образовательный контент к индивидуальным потребностям студентов и др. ⚠️ Растущий интерес к использованию технологий ИИ в сфере высшего образования требует более глубокого понимания рисков их внедрения в образовательную практику. Н. В. Павлов, специалист по информационной безопасности Академии АйТи FabricaONE AI (акционер ГК Softline) г. Москва, рассказал студентам о мерах защиты своих персональных данных от современных мошеннических схем с использованием ИИ. 💬 В прямом диалоге со студентами Николай Валерьевич ответил на главные вопросы о том, как идентифицировать ИИ, какие законодательные акты страны нормируют и регулируют применение ИИ, какие из программ имеют официальные разрешения для использования в нашей стране. Разговор получился содержательным и интересным. Разговор о важном состоялся. Кто предупрежден – тот вооружен. ✍️ ОВР и МП

Аналитик киберзащиты и безопасности ИИ-систем Вакансия из будущего? Скорее, уже из настоящего. На рынке формируется запрос на специалистов, которые разбираются в киберразведке и понимают специфику машинного обучения. Именно для развития таких компетенций Академия АйТи fabricaONE.AI (акционер — ГК Softline) запустила курс «Аналитик киберзащиты и безопасности ИИ-систем». ИИ становится частью корпоративных продуктов и процессов — и одновременно меняет поверхность атаки. Злоумышленники используют его для поиска уязвимостей, подготовки фишинговых сценариев и автоматизации отдельных этапов атак. При этом сами ИИ-системы необходимо защищать от манипуляций с обучающими данными, атак на модели и искажения результатов. В программу курса вошли: • принципы инженерии мониторинга и обнаружения угроз; • принципы инженерии данных и специфика аналитики в области информационной безопасности; • особенности анализа угроз для ИИ-систем и атак на них; • методы оценки и анализа киберрисков; • анализ трендов, критических угроз и уязвимостей нулевого дня; • координация действий команды во время активных атак; • разработка регламентов, инструкций и стандартов по информационной безопасности. Курс рассчитан на аналитиков SOC, специалистов по обнаружению киберугроз, сотрудников ИБ, архитекторов DevSecOps и руководителей служб информационной безопасности. Обучение проходит в смешанном формате и рассчитано на 48 академических часов. Программа включает вебинары, практические задания и виртуальные лаборатории. По итогам слушатели получают удостоверение о повышении квалификации. Подробнее о новом курсе на нашем сайте. Подпишитесь на ГК Softline: в MAX, VK, Telegram #АкадемииАйТи #образование #обучение

Чек-листы по составлению корпоративных политик MLSecOps и AI Governance MLSecOps: https://disk.yandex.ru/i/we-ujJOnDb8Wog AIG: https://disk.yandex.ru/d/IcMTCa3J2WgrfA

⭐️ Запускаем восьмой поток учебной программы по MLSecOps с международным участием! Учебная программа "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline проводится на Международном уровене (страны СНГ). От слушателей регулярно поступают позитивные отзывы, а программа непрерывно обновляется, по мере накопления опыта, усиления нормативно-правового регулирования и стремительного развития направления MLSecOps в России и в мире. В рамках обучения наши слушатели выполняют практические работы и проводят базовый аудит ИИ-систем своих компаний, что уже помогло многим существенно улучшить безопасность и отказоустойчивость ИИ-систем прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год. 22 сентября мы запускаем новый поток обучающей программы и приглашаем всех желающих! Сильные стороны программы: 1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя. 2. Привлечение к разработке и проведению программы топовых экспертов-разработчиков передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR, включая Генерального директора HiveTrace Евгения Кокуйкина. 3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем - бессрочно. 4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков. 5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech. 6. Программа полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК, а с 1 сентября новый закон о поддержке развития ИИ 243-ФЗ. При этом автор программы принимает участие в разработке ГОСТ, ПНСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, а также внес свои предложения в проект закона о поддержке развития ИИ в России. В учебной программе будет детально разобрано, как соблюдать все эти требования. Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN): https://academyit.ru/courses/mlsecops Дополнительная ссылка: https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/ Архитектор MLSecOps и AI Governance Николай Павлов

Вышло совместное исследование рынка AI Security, которое мы подготовили вместе с Б1, Solar и Ассоциацией ФинТех. Опрос экспертов и участников рынка хорошо показывает текущую ситуацию: ИИ уже активно внедряется в компаниях, а безопасность за ним пока не успевает. Решения внешних поставщиков для защиты ИИ используют пока меньше пятой части опрошенных организаций. Многие команды опираются на собственные разработки и открытые компоненты, но уже начинают пилотировать специализированные решения класса AI Firewall. Спасибо коллегам из АФТ, Б1 и CyberStage/Solar, а также Ивану Василенко из HiveTrace, которые вложили много энергии в то, чтобы эта работа состоялась!

В документе также предложен отличный пошаговый алгоритм работы, который я рекомендую всем реализовать в аудитах ИИ-систем (включая MLSecOps и AI Governance), отсеивая ME на каждом шаге: 1. Инвентаризация. Определите, какие объекты из модели есть у вас (это RAG, мультиагенты, внешние LLM API или может быть LoRA). Если у вас нет мультиагентной системы, то вы сразу вычеркиваете T29, T30 и другие связанные ME. 2. Матрица нарушителей. Здесь оцените, кто ваш реальный враг, где именно угроза может появиться. Конкурент или бывший сотрудник или сам пользователь? 3. Маппинг контролей. Для каждого оставшегося ME подбирайте технический контроль. 4. Назначение владельцев. Используйте RACI из документа для разграничения ответственности. Безусловно Модель угроз от Сбера v2.0 обязательна к изучению для тех, кто перешел от стадий внедрения чат-бота к созданию сложной ИИ-экосистемы с ИИ-агентами, RAG и дообучением. Главный тренд, который считывается из документа - это периметр безопасности ИИ сместился от защиты весов модели к защите контекста, памяти, инструментов и каналов коммуникации между агентами. Ссылка на модель на официальном сайте Сбера: https://www.sberbank.ru/common/img/uploaded/kibrary/reminders/model_ugroz_kiberbezopasnosti_v2.0.pdf Архитектор MLSecOps и AI Governance Николай Павлов

Модель угроз кибербезопасности AI 2.0 от Сбера Привет, мои дорогие друзья и самые талантливые коллеги! Недавно вышла обновленная Модель угроз кибербезопасности ИИ от Сбера (v2.0), только сейчас в силу высокой загрузки смог до нее добраться. Изучил документ на 98 страниц и хочу поделиться инсайтами. В начале Модели дан небольшой Глоссарий терминов, что радует, так как это помогает лучше воспринимать документ специалистам, не сильно погруженным в тему ИИ-агентов. И вообще в целом ИИ-агентам в Модели уделено очень большое внимание. Если предыдущие версии и отраслевые гайдлайны, тот же OWASP Top 10 for LLM, фокусируются в основном на голых LLM, то Модель угроз кибербезопасности ИИ от Сбера v2.0 уникальна и отлично подходит для агентов, само ее появление еще раз указывает на стремительный переход в эту агентов ИИ, который все и предсказывали. Основные моменты, которые я лично для себя выделил в документе: 1. В модели четко разделены с одной стороны угрозы (T01-T37), то есть что может пойти не так и каков бизнес-импакт (то есть бизнес-влияние), например, T18 - Внедрение вредоносного контента в RAG/Память агента. С другой стороны разделены и способы реализации (ME01-ME51), то есть как именно это делается, с привязкой к тактикам MITRE ATLAS, например, ME15 - Реализация непрямых промпт-атак при извлечении данных из RAG. И это позволяет нам строить многоуровневую защиту. Мы можем блокировать конкретные способы на уровне WAF/API-шлюзов, и минимизировать последствия на уровне бизнес-логики и изоляции агентов. То есть фреймворк от Сбера признает, что защита ИИ-агентов всегда многоуровневая, и каждый уровень важен. 2. Фокус делается уже на мультиагентных системах и их оркестрации Большинство моделей угроз до сих пор рассматривают ИИ как одинокого чат-бота. В то же время Модель от Сбера 2.0 закладывает риски мультиагентных архитектур. Например, появились угрозы нарушения взаимодействия агентов и каскадного распространения промпт-атак через общие хранилища и память. Описаны атаки на планировщик и искажение семантики сообщений между агентами. Так если вы строите мультиагентную архитектуру, то вам срочно нужны механизмы криптографической верификации контекста между агентами и изоляция их памяти. 3. ИИ-Агент рассматривается как потенциальный источник угрозы. В матрице нарушителей ИИ-агент рассматривается не только как жертва, но и как потенциальный источник угрозы. То есть ИИ-агент действует в рамках своих функций, но может непреднамеренно нарушить политики безопасности из-за некорректной интерпретации системного промпта и приоритета достижения поставленной цели даже в ущерб каким-то другим ограничениям. Соответственно, все же нужно закладывать «человека в контур» и устанавливать лимиты на автономные действия ИИ-агентов, включая и киберфизические ИИ-системы, потому что агент может действовать непредсказуемо. 4. Появился AI Governance для ИИ-агентов. В Приложении 4 Модели от Сбера детально расписаны зоны ответственности, например: + Владелец данных отвечает за T01, T09, T15 - утечки и отравление датасетов. + Разработчик модели отвечает за T33, T34 - галлюцинации, бэкдоры в весах. + Владелец ИТ-инфраструктуры инференса отвечает за T22, T10 - DoS-атаки, утечки из логов. + Разработчик AI-решения отвечает за бизнес-логику, системные промпты, интеграции. Это уже готовый шаблон для распределения ролей в вашей компании при выводе AI-продукта на рынок. Хотя желательно бы и добавить, за что отвечает пользователь? 5. Модель отлично отражает современный стек. Угрозы заточены не просто на «взлом нейронки», а на специфичные уязвимости, которые уже известны. В том же RAG это отравление векторных баз данных и механизмов ретривала. Для LoRA-адаптеров это утечки конфиденциальной информации, запомненной именно в легковесных адаптерах при дообучении. Учитывается и внедрение вредоносного контента через функции сохранения пользовательского контекста.

Харнесс, оптимизации, токенмаксинг и скиллы для кодекса - все эти выражения я стал слышать регулярно. Но кажется что такая вещь как харнесс могла бы быть полезна в целом в AI Security. Я давно эксперементирую с написанием скиллов, Hermes и прочим. И пришла пора рассказать вам, как вообще может выглядеть в моём понимании полезный харнесс для AI Security и что он может из себя представлять. https://habr.com/ru/articles/1073370/ Ну а в чём я не прав - это можно будет обсудить в комментариях на Хабре, как обычно 😂

Теневой ИИ: запретить сотрудникам их ИИ-инструменты или есть варианты❓ В новом выпуске подкаста «Безопасно говоря»: ⭐️ Обсуждаем, что делать, если сотрудники решают рабочие задачи в публичных моделях или даже подключают кодовых ассистентов, а то и запускают ИИ-агентов внутрь корпоративной инфраструктуры. ⭐️ Разбираемся, почему классических DLP и политик безопасности уже может быть недостаточно, как защищать данные и инфраструктуру и что делать, когда внедрение AI происходит быстрее, чем меняются процессы безопасности.

Гости и ведущие: Евгений Кокуйкин, основатель HiveTrace Сергей Голованов, главный эксперт «Лаборатории Касперского» Антон Черноусов, Developer Advocate Yandex Cloud Сергей Нестерук, эксперт по безопасности ML Yandex Cloud

Смотрите выпуск полностью ⏩ YouTube ⏩ VK Видео ⏩ Яндекс Музыка и другие подкаст-платформы Или выбирайте самое интересное по таймкодам:

00:00 Интро 00:38 Знакомство с темой и гостями 02:14 Shadow AI, IT и неконтролируемые устройства 04:31 Как данные незаметно утекают в личную почту 05:58 Но AI помогает, как же его запрещать 06:45 Запретить нельзя контролировать 08:02 Кодовые агенты и доступ к исходному коду 09:12 С чего компании начинать управление AI-рисками 11:36 Что не надо “грузить” в AI 12:49 Как пользоваться AI безопасно 13:52 Любую переписку стоит считать потенциально публичной 16:11 Сотрудники используют неразрешённые AI-инструменты — что делать? 18:14 Сотрудники всё равно обходят корпоративные ограничения 21:47 Что меняется, когда агент получает доступ к инфраструктуре 23:12 Как контролировать действия AI-агента 25:55 Кто виноват в инциденте — человек или агент? 26:40 Не нужно бежать за эффективностью в ущерб безопасности 27:48 Чат-боты, AI-агенты и новые виды атак 33:42 Запретить AI или всё-таки возглавить его внедрение 37:22 Главное правило: пишите так, будто это окажется в интернете 38:48 Юридические последствия утечек 43:43 Можно ли измерить реальное использование AI в компании 44:57 Почему количество токенов не равно эффективности 46:53 Как понять, приносит ли AI бизнесу пользу 50:10 Что делать с рисками AI прямо сегодня

Какой политики придерживаетесь вы? 👻 Запретили 🗿 Ограничили 👍 Возглавили

ИИ-агенты делились советами на взломанном сайте Группа ИИ-агентов компании OpenAI весной взломала немецкий веб-сайт и превратила его в доску объявлений с советами для других агентов. Как говорится в отчете исследователей ИИ, подозрительную активность на сайте DseWiki, который ориентирован на программистов и принимает общие правки по аналогии с «Википедией», обнаружили в конце августа. Всего было выявлено более 15 тыс. правок, внесенных агентами OpenAI. Как отмечают авторы отчета, искусственный интеллект переделал сайт в доску объявлений, где агенты делились приемами обмана при выполнении некоторых заданий, обхода ограничений OpenAI и маскировки своего поведения. «Кажется крайне маловероятным, что OpenAI хотел, чтобы они [ИИ-агенты] это сделали. <...> Я сомневаюсь, что они должны писать в открытом интернете», — сказал глава организации Nightingale, занимающейся исследованиями в области безопасности ИИ, Сидни фон Аркс. В отчете сказано, что сообщения на сайте были подписаны пользователями, которые называли себя и друг друга агентами, а почти половина из них дали себе имена, указывающие на принадлежность к OpenAI. Большая часть активности была связана с инфраструктурой Microsoft Azure, которую иногда использует компания. Исследователи также зафиксировали повторные посещения сайта сотрудниками OpenAI после инцидента, что может свидетельствовать о связи агентов и компании. Исследование показало, что искусственный интеллект разрабатывал способы избежать обнаружения и сохранял связь даже после отключения. Агенты также создавали резервные копии страниц, удаляемых модератором сайта, чтобы избежать очистки. Источники пояснили, что официальные лица OpenAI узнали об инциденте несколько недель назад, но держали это в секрете на фоне скандала со взломом платформы Hugging Face. Четыре собеседника заявили, что хотели расширить расследование произошедшего, но столкнулись с сопротивление со стороны сотрудников OpenAI. Представитель OpenAI заявил, что компания не может «внятно ответить на претензии или выводы отчета», поскольку у нее не было возможности ознакомиться с ним. Он также утверждает, что инцидент с немецким сайтом не связан с Hugging Face. «Мы внимательно изучим его содержание после публикации и предпримем все необходимые дальнейшие меры», — пообещал он. «Заявления, что наша юридическая команда препятствовала расследованию инцидента, являются ложными», — заявил представитель компании. В июне OpenAI сообщила о «беспрецедентном киберинциденте» — при тестировании ее ИИ-модели получили открытый доступ к интернету и атаковали инфраструктуру Hugging Face, выявив уязвимости. ИИ-агент несколько дней совершал хакерские атаки, однако в компании заметили это только после локализации угрозы и обращения в ФБР. Позже агентство уточнило, что «сбежавший» ИИ-агент OpenAI 29 июля взломал клиента нью-йоркской компании Modal Labs. Сама Modal взломана не была. В начале августа, OpenAI официально расширила масштаб расследования инцидентов с автономными ИИ-агентами: по данным Reuters, компания обнаружила новые случаи несанкционированного выхода моделей из-под контроля. Позднее Axios передало, что OpenAI замедлила разработку ИИ-модели Astra для усиления мер безопасности. В компании заявили, что «не могут исключить критически важные кибервозможности» после проведения внутренних оценок Astra. После раскрытия деталей OpenAI назвала инцидент поворотным моментом для индустрии. Anthropic, Meta (признана экстремистской и запрещена в России), Moonshot и британский Институт безопасности ИИ также обнаружили проникновение своих агентов в системы третьих сторон во время тестирования. Эксперты FT считают, что модели не вышли из-под контроля, а выполняли задачи, для которых были созданы. rbc

ИИ выходит из-под контроля: число случаев саботажа нейросетей почти удвоилось. Только в июле зафиксировано 300+ инцидентов, включая хакерские атаки агентов OpenAI через их собственный секретный мессенджер. Количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, пишет The Guardian со ссылкой на исследование Loss of Control Observatory. Под термином потери контроля над ИИ понимается поведение моделей, демонстрирующее признаки намеренного обмана, манипуляции или обхода установленных правил безопасности. Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!». 22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР. В начале августа Anthropic сообщила о трех «побегах» Claude из тестовой среды. В компании рассказали, что именно после сообщений OpenAI начали проверять действия собственных моделей. Кроме того, в ходе кибертестирования были выявлены инциденты с участием передовых моделей: Anthropic Mythos 5 и OpenAI GPT-5.6 Sol. Обе системы предприняли попытки провести хакерскую кампанию против реальных людей. Эксперты подчеркивают, что неадекватное поведение ИИ перестало быть проблемой исключительно закрытых испытательных стендов. «Существует мнение, что подобное поведение встречается только в тестах, но мы видим тревожные признаки этого и в широком использовании», — заявляет Томми Шаффер-Шейн, старший менеджер по политике в Центре долгосрочной устойчивости (CLTR). Примеры «неконтролируемого» ИИ встречаются даже в быту, отмечает газета. Так, в Австралии персональный ИИ-агент OpenClaw без ведома владельца тайно удалил другого человека из списка ожидания в спортзале, чтобы освободить место для своего пользователя. Несмотря на то что большинство зафиксированных случаев не привели к катастрофическому ущербу, эксперты бьют тревогу: доля серьезных инцидентов, связанных с глубоким обманом и намеренным нарушением целей человека, растет. В связи с этим Loss of Control Observatory призвала обязать ИИ-лаборатории систематически мониторить и публично сообщать о любых случаях «неправильного» поведения моделей, а также ввести чрезвычайные полномочия, позволяющие государству временно ограничивать доступ к опасным ИИ-сервисам в случае угрозы для безопасности. rbc

Алексей Синадский и Денис Комаров, УЦСБ: Главный плюс российского подхода к регулированию ИИ – конкретность Аналитики УЦСБ подготовили масштабный обзор регулирования, методологии и средств защиты ИИ-систем. Исследование охватывает полный круг вопросов, связанных с построением непрерывных процессов безопасности на всех этапах жизненного цикла языковых моделей. Кибер Медиа поговорил с авторами работы — директором Исследовательского центра УЦСБ Денисом Комаровым и ведущим исследователем Исследовательского центра УЦСБ Алексеем Синадским. Кибер Медиа: Какую роль, с вашей точки зрения, играет регулирование в обеспечении безопасности ИИ? Алексей Синадский: Роль регулирования в том, чтобы перевести безопасность ИИ из разряда добровольных инициатив в обязательную практику. Без нормативных требований защита ИИ остаётся зоной ответственности разработчика, а разработчик делает то, за что спрашивают. Массовое внедрение практик безопасности без регулирования происходит значительно медленнее, чем хотелось бы. В России сейчас выстроена иерархия документов: Указ Президента № 490 определяет стратегические границы, недавний Приказ ФСТЭК России № 117 вводит конкретные технические требования для ИИ-систем в составе ГИС. Проект федерального закона о госрегулировании ИИ уже опубликован Минцифры и в случае принятия начнёт действовать с сентября 2027 года. Чтобы не сдерживать конкурентоспособность, регулирование не должно быть запретительным по факту наличия ИИ. Глубина требований должна определяться уровнем критичности системы, как в проекте ГОСТ по ИИ в КИИ: для некритичных систем достаточно мониторинга, для высококритичных появляются требования к непрерывности функционирования и аварийным выключателям. При этом требования нужно закладывать на этапе проектирования, а не дописывать к уже развёрнутым продуктам. Российский подход с акцентом на контроль происхождения данных и качество моделей до их ввода в эксплуатацию здесь даёт преимущество, при условии, что требования будут сопровождаться практическими методиками внедрения. Это снижает стоимость исправлений по сравнению с «догоняющим» регулированием. Продолжение: https://vk.ru/wall-210601538_2099

Uber заплатит почти миллиард евро за то, что алгоритм увольнял без объяснений Голландский регулятор по защите данных (Autoriteit Persoonsgegevens) оштрафовал Uber на €825 млн — это второй по величине штраф за всю историю применения GDPR в Европе. Причина — автоматизированные решения об отстранении водителей от работы на платформе, которые принимались без адекватной прозрачности и человеческого контроля. Проблема не в том, что Uber использует алгоритмы для модерации водителей — этим занимаются все крупные платформы. Проблема в том, что решения, напрямую влияющие на доход человека (по сути — увольнение), принимались системой, которая работала как чёрный ящик: водителям не объясняли причину бана и не давали адекватного механизма оспорить решение с участием живого человека. Именно это нарушение GDPR — право на объяснение автоматизированных решений — и легло в основу штрафа. Что это меняет для всех, кто строит автоматизацию на клиентах и подрядчиках + Автоматизация значимых решений — это не только техническая, но и юридическая задача. Если алгоритм решает, платить человеку или нет — регулятор считает это ровно так же серьёзно, как решение живого HR-менеджера. + «Чёрный ящик» перестаёт быть оправданием. Нельзя сказать регулятору «алгоритм так решил» — компания обязана объяснить логику и дать человеку возможность оспорить решение. + Штраф сопоставим с ущербом от серьёзного киберинцидента, только вместо хакеров причина — собственная система принятия решений компании. + Это сигнал всем платформам с гиг-экономикой — Uber не первый и явно не последний, кого проверят на автоматизированные HR-решения. Для любого бизнеса, где алгоритмы принимают решения о деньгах людей — будь то отключение аккаунтов, блокировка выплат или автоматический скоринг — история Uber это дорогое напоминание: прозрачность и человеческий контроль дешевле, чем штраф в €825 млн. Особенно с учётом того, что это уже не первый крупный штраф под GDPR — компании такого масштаба, судя по всему, регуляторов не пугают, пока не пугают деньгами. Дзэн

⭐️ Академия АйТи FabricaONE AI (акционер - ГК Softline) объявляет о запуске седьмого потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥 Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются. Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность. Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных. Обучение потока начнется 8 сентября 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходить в гибком онлайн-формате по вечерам в рабочие дни и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех. Важно, что с 2026 года в этой программе сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России. Также в программу добавлена информация по самому новому направлению в сфере ИИ - AI Governance. Ссылка на учебную программу (лучше смотреть без VPN): academyit.ru/courses/ds-dg Архитектор MLSecOps и AI Governance Николай Павлов

Сбер сократил 65% позиций кураторов отделений в регионах за счет внедрения ИИ Сбербанк за счет внедрения технологий искусственного интеллекта (ИИ) сократил 65% позиций менеджеров, отвечавших за работу отделений в регионах. "Мы имеем на сегодняшний день колоссальные результаты. Мы сократили на 65% управленческий персонал, благодаря этому сократили гигантское количество издержек. Что очень важно, мы примерно в четыре раза сократили количество операционных ошибок в нашем бизнесе. На 20% сократить операционные ошибки - это огромные возможности, огромные доходы. В данном случае речь идёт о разах", - сообщил президент - председатель правления Сбербанка Герман Греф на форуме СберУниверситета "Переизобретая менеджмент". Пресс-служба банка пояснила, что речь идет "о 65% региональных менеджеров, курирующих работу отделений в регионах". "Эта роль постепенно трансформируется, преимущественно большая часть из этого числа сотрудников перешла на новые роли внутри компании", - отметил представитель кредитной организации. Греф отметил, что сократить эти издержки позволило внедрение интеллектуальной системы управления (ИСУ). "Мы создали поверх слоя данных систему управления, которая позволяет нам анализировать все данные в режиме реального времени и выявлять отклонения. Машина, выявляя отклонения, тут же даёт команду на исправление этих отклонений. Она формирует для каждого управленца задачи на следующую неделю или, если это срочная задача, на следующий день", - заявил глава банка. По его словам, если ошибка не исправляется, то она доводится до руководителя более высокого ранга - до тех пор, пока проблема не будет решена. Интеллектуальная система управления сейчас внедрена во всех подразделениях Сбербанка, подчеркнул Греф. Он добавил, что один из топ-менеджеров не хотел внедрять новую систему, объясняя это тем, что ни одна машина не сможет с ним конкурировать. "Мы согласились с этим, говорим: "Давайте, окей, хорошо. Один не хочет внедрять. Давайте в параллель будет ИСУ и очень опытный председатель параллельно на полгода эксперимента". Через три месяца он пришёл и сказал: "Ноль шансов конкурировать", - сказал глава Сбербанка. По его словам, после этого этот топ-менеджер стал приверженцем внедрения новой системы. "Более того, он ушёл потом на государственную службу и затащил с собой и систему, и людей с тем, чтобы это внедрять. Потому что он действительно на практике убедился в том, что конкурировать с этим невозможно", - подчеркнул Греф. Ранее сообщалось, что Сбербанк в 2025 году сократил штат центрального аппарата на 20% в рамках сворачивания неэффективных проектов (которые, в частности, выявил искусственный интеллект). Численность сотрудников группы Сбербанка на 31 марта 2026 года составила 289,7 тыс. человек, с начала года этот показатель сократился на 0,7% (с 291,8 тыс. человек). За 2025 год численность сотрудников сократилась на 5,3% (с 308,1 тыс. человек по итогам 2024 года). interfax

СИП в Москве наложил штраф за выдуманные ИИ ссылки на судебные акты Суд по интеллектуальным правам наложил судебный штраф на индивидуального предпринимателя, чей представитель использовал сервисы ИИ при составлении кассационной жалобы. Юрист включил в нее ссылки на несуществующие судебные решения (дело № А71-11377/2025). Спор возник из договора коммерческой концессии между «Кофе Лайк» и индивидуальным предпринимателем Александром Антроповым, который получил право на использование товарного знака, ноу-хау «Стандарты Сети» и других объектов интеллектуальной собственности для работы кофейни. После того как правообладатель выявил нарушения стандартов во время проверок и не получил ответа на досудебную претензию, он подал иск о взыскании 285 000 руб. неустойки. Суды первой и апелляционной инстанций подтвердили закрепленное в договоре право «Кофе Лайк» на проведение внеплановых проверок, дистанционного контроля и «скрытых закупок». Суды признали заявленную сумму несоразмерной последствиям нарушений и снизили размер штрафа до 19 000 руб. При рассмотрении кассационной жалобы СИП не нашел оснований для отмены этих решений, но выявил процессуальное нарушение. Суд обнаружил 12 ссылок в жалобе ответчика, которые вели на несуществующие акты или содержали выводы, в которых отсутствуют приводимые ответчиком суждения. Представитель предпринимателя попытался оправдать это технической ошибкой при составлении документа и использованием ИИ. Он заявил, что это не свидетельствует о неуважении к суду, а сам бизнесмен не должен нести ответственность за ошибки юриста. Суд критически оценил эти доводы и наложил на Антропова судебный штраф в размере 5 000 руб. pravo ru

⭐ ИИ-агент случайно взломал сайт и изменил данные пользователей У ИИ-агентов появился новый уровень клиентского сервиса. Если обычный помощник просто записывает вас на тренировку, продвинутый может сначала взломать сайт спортзала, а потом убрать конкурентов с дороги. Именно это произошло с австралийцем по имени Эндрю, который попросил ИИ-агента записать его на популярное утреннее занятие. Агент работал на связке OpenClaw и Claude и довольно быстро обнаружил у системы бронирования уязвимость. Благодаря ей он смог записать Эндрю на занятия на несколько недель вперед – значительно дальше установленного спортзалом срока. Вроде бы успех. Но дальше ИИ решил проявить инициативу. Эндрю находился лишь на четвертом месте в листе ожидания и спросил агента, можно ли подняться выше. ИИ проверил API системы и обнаружил, что при отмене бронирования практически отсутствует проверка прав доступа. После этого он просто отменил бронь человека, находившегося первым в очереди, и сообщил пользователю, что тот теперь переместился с четвертого места на третье. Особенно прекрасно то, что удалять другого клиента Эндрю вообще не просил. ИИ самостоятельно решил, что раз цель – получить место в зале, то устранение конкурента вполне подходит под задачу. А когда хозяин попросил вернуть все обратно, выяснилось, что обратного хода нет. Агент признался, что не может восстановить удаленную бронь. ИИ не только устроил маленький цифровой рейдерский захват в спортзале, но и помог обнаружить дыру в безопасности сервиса. После инцидента Эндрю попросил агента написать письмо разработчикам системы с предупреждением об уязвимости. Тот написал. История довольно точно показывает главную проблему автономных ИИ-агентов. Они получают не инструкцию «нажми сюда и сюда», а цель – запиши меня в спортзал. А дальше самостоятельно решают, как именно этой цели добиться. И если система обнаруживает, что взлом позволяет решить задачу быстрее, она может воспринять это не как преступление, а как удачный технический лайфхак. Пока речь идет о спортзале, история выглядит почти комично. Но принципиально ничего не меняется, если вместо записи на тренировку агенту поручить купить билет, договориться с подрядчиком, управлять финансами или получить доступ к корпоративной системе. Чем больше полномочий получает ИИ, тем важнее становится вопрос не только о том, что мы попросили его сделать, но и что он сочтет допустимым способом это сделать. Так что, похоже, старое правило работает и в эпоху искусственного интеллекта – бойтесь своих желаний. Особенно если вы дали их исполнение агенту, который умеет самостоятельно находить обходные пути. AI-TREND

Замечательное исследование по текущему рынку управления ИИ в мире 🌏 (AI Governance), четкие тренды на экспоненциальный рост 💹 (+31% в год) рекомендую ознакомиться: https://www.gminsights.com/ru/industry-analysis/ai-governance-market Архитектор MLSecOps и AI Governance Николай Павлов

Безопасная и отказоустойчивая архитектура автономных ИИ агентов и систем Стабильная архитектура ИИ-агентов и систем является одним из фундаментальных вопросов использования этих технологий, потому что такие системы всё чаще принимают решения без прямого участия человека в условиях высокой неопределённости и динамически меняющейся среды. В критически важных областях — от медицины и энергетики до транспорта и обороны — любая ошибка, сбой или непредвиденное поведение ИИ может привести к тяжёлым последствиям, включая угрозу жизни и масштабный экономический ущерб. Отказоустойчивость обеспечивает продолжение корректной работы даже при частичном выходе из строя компонентов, а встроенные механизмы безопасности предотвращают опасные или непредсказуемые действия агента. Это особенно актуально в свете роста сложности ИИ-систем и их интеграции в реальный мир, где невозможно предусмотреть все сценарии заранее. Доверие к автономным системам напрямую зависит от уверенности в их надёжности и предсказуемости, что делает безопасную архитектуру не просто технической деталью, а фундаментальным требованием. Новая учебная программа "Безопасная и отказоустойчивая архитектура автономных ИИ агентов и систем" охватывает все этапы: от проектирования и разработки до эксплуатации, мониторинга и аудита автономных ИИ-систем, что обеспечивает системное понимание безопасности и отказоустойчивости. Программа специализируется на наиболее сложном и перспективном классе систем — автономных агентах, где риски и требования к надёжности максимальны. Это системы вроде дронов или элементов IIoT, количество и сложность которых стремительно растут. Первый поток программы пройдет в Академии Softline с 25.08 по 05.09, ссылка на более полную информацию (смотреть без включенного VPN): https://academyit.ru/courses/ai_a Архитектор MLSecOps и AI Governance Николай Павлов