Pattern AI
Відкрити в Telegram
Искусственный интеллект изучает нас. Мы изучаем ИИ. Отслеживаем, как меняется регулирование ИИ. Разбираем манипуляции, UX-паттерны и алгоритмические ловушки. Учимся применять ИИ: осознанно, этично и с пользой.
Показати більше410
Підписники
Немає даних24 години
Немає даних7 днів
+830 днів
Архів дописів
410
Австралия пересматривает правила кибербезопасности
Австралийское правительство опубликовало результаты ускоренного обзора мер готовности государственных органов к киберинцидентам, связанным с ИИ.
👀 Напомню, что поводом стал инцидент с OpenAI, где модель во время внутреннего обучения получила доступ к закрытой части сервиса статистической отчётности Medicare агентства Services Australia. Модель пыталась найти статистику государственных расходов на лекарства. Не справившись с задачей обычными способами, она самостоятельно обнаружила возможность доступа к закрытой части сервиса и изучала техническую информацию и исходный код.
OpenAI заявил, что доступа к индивидуальным медицинским записям не было.
Проверка также выявила действия ИИ-агентов в отношении ещё трёх государственных структур Австралии. В одном случае агент использовал обнаруженный открытый ключ для запросов к системе отчётности.
OpenAI признала, что должна была раньше уведомить затронутые ведомства и делиться предварительными результатами расследования, не дожидаясь его завершения и предоставила свои меры, "чтобы вернуть доверие":
▪️блокировка прямого доступа к интернету в исследовательских средах, использование кэшированного веб-контента и усиление мониторинга;
▪️приостановка обучения и оценки наиболее мощных моделей в сценариях с использованием инструментов до внедрения дополнительных мер защиты;
▪️техническая помощь пострадавшим ведомствам;
▪️создание рабочей группы независимых австралийских экспертов для разработки рекомендаций по управлению рисками ИИ-агентов;
▪️предоставление австралийским государственным органам и компаниям финансирования и технической поддержки через фонд Daybreak for Frontline Defenders объёмом 1 млрд долларов.
📝 Австралией сформулированы 18 рекомендаций. Некоторые из них:
▪️ Ввести обязательную отчетность о безопасности ИИ с установленными сроками, включая, помимо прочего, случаи несоответствия поведения или кибер-инциденты, совершаемые агентами.
▪️ Создать механизмы защиты для разработчиков и других лиц, своевременно сообщающих об уязвимостях и инцидентах.
▪️ Изучить возможность уголовных санкций за грубое несоблюдение требований безопасности, а также введения самостоятельного состава правонарушения. Речь идёт об ответственности компании, которая не приняла разумных мер для предотвращения вредоносных действий разработанной ею модели.
▪️ Улучшить координацию государственных органов при расследовании инцидентов, обмен информацией и порядок эскалации угроз.
▪️ Повысить грамотность сотрудников в области ИИ, усилить защиту государственных систем и пересмотреть подходы к использованию ИИ в киберзащите.
❕ Австралия предлагает искать ответ на вопрос про ответственность за непредусмотренные действия модели не только в технических стандартах, но и в регулировании, включая возможную уголовную ответственность разработчиков.
#LawAndDisorder
————
@pattern_ai | AI ACT_GDPR_bot
410
ИИ или живой оператор: как организовать службу поддержки клиентов (Китай)
А теперь рассмотрим с точки зрения правового регулирования.
С 1 сентября 2026 года там действует национальный стандарт GB/T 47746-2026 Customer contact service — Requirements for collaboration between live and intelligent customer services, который устанавливает требования к взаимодействию автоматизированной и человеческой клиентской поддержки.
Носит рекомендательный характер.
Пока самый подробный, поэтому его полезно взять за основу для создания и проверки своих сервисов.
👀 Кратко требования:
1️⃣Распределять обращения с учётом сложности проблемы и потребностей клиента.
ИИ целесообразно использовать для типовых вопросов с заранее известными ответами, уведомлений и других стандартизированных операций. Людям следует передавать сложные обращения, ситуации, требующие индивидуального подхода, эмоциональной коммуникации или решения специальных вопросов.
Здесь интересна не только защита клиента от ошибочных ответов, учитывается поведение, возрастные особенности, эмоциональное состояние и предыдущий опыт общения с системой. Например, если клиент трижды за сутки возвращается с одной проблемой и выражает недовольство, система должна учитывать эту историю и отдавать приоритет человеку, а не продолжать бесконечный цикл автоматических ответов.2️⃣Стандарт охватывает весь процесс обслуживания: ▪️распределение обращений между ИИ и сотрудниками; ▪️переключение между автоматизированной и человеческой поддержкой; ▪️синхронизацию информации при передаче обращения, чтобы клиенту не приходилось повторять уже сообщённые сведения; ▪️обеспечение информационной безопасности при хранении и передаче данных; ▪️оформление обращений и контроль их разрешения. 3️⃣Переход к человеку не должен превращаться в новое обращение с нуля. Система должна передать оператору данные клиента, историю взаимодействия, описание проблемы и статус заявки. Клиенту рекомендуется не повторять уже сообщённую информацию. Предусмотрены и понятные способы запросить оператора (команда «перевести на человека», отдельная кнопка, голосовая команда и тп). 4️⃣ Примеры ситуаций, в которых система должна автоматически передать обращение человеку: ▪️Неудачная коммуникация. Если после достижения установленного порога взаимодействия система всё ещё не может распознать или понять запрос клиента. ▪️Отказ от ИИ. Клиент прямо заявляет, что не хочет пользоваться автоматизированной поддержкой. ▪️Информационная безопасность. Содержание разговора затрагивает вопросы информационной безопасности. ▪️ Угроза безопасности. Возникает чрезвычайная ситуация или риск для жизни, здоровья либо имущества. ▪️ Тайм-аут. ИИ не отвечает в установленный срок. В качестве примера стандарт приводит время ответа более трёх минут. Речь не просто о том, что клиенту неудобно ждать. Стандарт рассматривает отсутствие своевременного ответа как самостоятельное основание для передачи обращения человеку. 5️⃣Обратное переключение от человека к ИИ. Можно передать, если: ▪️ вопрос типовой и имеет готовый ответ; ▪️клиент явно предпочитает общаться с ИИ; ▪️при высокой рабочей нагрузке; ▪️ в отдельных срочных ситуациях. Но такое переключение допускается при условии, что клиенту предварительно сообщат о переходе на ИИ и получат его согласие. Оператор не должен просто перенаправлять клиента к ИИ без уведомления. 6️⃣ Звонки ИИ клиентам. Для ИИ подходят уведомления, напоминания, стандартизированные сообщения, закрытые вопросы, на которые можно ответить выбором варианта или короткой репликой. Для человека сложные индивидуальные вопросы, открытые вопросы, клиентские опросы, последующие обращения, требующие полноценного диалога, исследования рынка. Рекомендуется предоставлять клиенту возможность переключиться на человека, если исходящий контакт инициирован ИИ. Если же исходящий контакт инициирован сотрудником, возможность переключения на ИИ может быть предусмотрена по усмотрению организации. 7️⃣После обслуживания организация должна предложить оценить качество сервиса, сформировать запись о взаимодействии и зарегистрировать обращение. Если остались нерешённые задачи, они должны попасть в систему заявок, где предусмотрены маршрутизация и контроль их закрытия. 8️⃣Требование защиты данных клиента на всём жизненном цикле (обеспечивать резервное копирование, контроль доступа, шифрование и регистрацию операций с резервными копиями). 9️⃣Рассматривать клиентскую поддержку как единый сервис и создать механизм совместного совершенствования. ▪️Назначить лицо, ответственное за координацию и совершенствование совместной работы. ▪️Регулярно собирать и анализировать обращения, жалобы и отзывы клиентов. ▪️периодически оценивать качество взаимодействия человека и ИИ. Такие исследования можно включать в общие опросы удовлетворённости клиентов. ▪️ учитывать при совершенствовании сервиса эффективность совместного обслуживания, качество обслуживания, удобство переключения между ИИ и человеком, управление информацией о клиентах, включая своевременность и точность передачи данных, безопасность хранения и непрерывность обслуживания. Кроме этого в Китае для таких сервисов действуют меры, регулирующие правила маркировки ИИ (стандарт GB 45438-2025), и Закон "О защите персональной информации (PIPL)." ❕ ИИ не замена человека, а часть единого процесса обслуживания. Чтобы такой тандем приносил пользу, бизнесу нужно проектировать не просто скрипт чат-бота, а весь маршрут клиента ( от момента передачи диалога оператору с сохранением контекста до контроля итогового решения). #UXWatch #LawAndDisorder ———— @pattern_ai | AI ACT_GDPR_bot
410
ИИ и человек в китайском клиентском сервисе: эксперименты Alibaba
Многие компании воспринимают внедрение ИИ в поддержку как способ просто сократить штат операторов. Но есть и риски, которые скрываются на стыке работы бота и живого человека.
1️⃣ Проблема «позднего перехвата» (исследование 680 000+ диалогов на Taobao).
Авторы изучили модель, где автономный ИИ-агент закрывает типовые запросы, а живые операторы выступают супервизорами и подключаются при сбоях.
Наличие человека «в контуре» (human-in-the-loop) не спасает, если он подключается слишком поздно. Когда ИИ затягивает диалог и доводит клиента до раздражения, живому оператору становится в разы сложнее погасить негатив, оценки сервиса и качество решения резко падают.
Критически важно настроить триггеры, чтобы передавать диалог человеку до того, как клиент выйдет из себя.
2️⃣Эффект «второго пилота» (эксперимент в постпродажной поддержке Alibaba)
В другом исследовании генеративный ИИ работал как суфлер, т.е. диагностировал проблему и предлагал оператору черновики ответов.
Новички и слабые сотрудники благодаря подсказкам ИИ быстро подтянулись до среднего уровня. А вот у опытных профи качество обслуживания местами даже просело из-за того, что система побуждала их вести слишком много чатов одновременно, что приводило к потере концентрации.
Без контроля нагрузки автоматизация может перегрузить лучших специалистов.
3️⃣ Бесшовная архитектура экосистемы или как устроена многоуровневая связка ботов для покупателей (Alime), продавцов (Alibee) и ИИ-тренажера для обучения персонала (Dahuang).
Переход от робота к человеку проектируют как единый маршрут без потери данных. Например, в спорных ситуациях бот сам обзванивает клиента для обсуждения компенсации, а если покупатель не согласен с решением, то помогает ему заполнить форму апелляции и передает кейс со всей историей живому эксперту.
📌 Описание Qwen от Alibaba,
Designing Enterprise AI Agent Architectures with Alibaba Cloud,
Alibaba Cloud Customer Service Agent: Thoughts, Design, and Practices from Concept to Implementation,
❕А как у вас в компании устроена передача диалога от бота к оператору: клиент легко добирается до человека или вынужден пробиваться через бесконечное меню?
#UXWatch
————
@pattern_ai | AI ACT_GDPR_bot
410
От чат-ботов до ИИ-агентов: как защитить персональные данные
OECD опубликовала доклад Enhancing User Control and Privacy Protections in the Context of AI, посвящённый защите персональных данных и возможностям пользователей контролировать их использование в ИИ-системах.
1️⃣ Чат-боты собирают больше личной информации, чем пользователи предполагают.
Пользователи охотнее делятся личными переживаниями, спонтанными мыслями, сведениями о здоровье и эмоционально чувствительной информацией. Особенно это заметно при использовании чат-ботов для общения, виртуальной дружбы и психологической поддержки.
При этом пользователь не всегда понимает, сохраняются ли его запросы и ответы, используются ли они для обучения или улучшения моделей и кто получает к ним доступ.
OECD обращает внимание на несколько проблем существующих механизмов контроля:
▪️Многие провайдеры позволяют полностью отказаться от использования диалогов для обучения моделей (opt-out), но не дают исключить отдельный разговор, файл или категорию информации.
▪️Политика конфиденциальности и общие уведомления не всегда позволяют понять, что происходит с конкретными данными в момент взаимодействия.
▪️Настройки по умолчанию и устройство интерфейса существенно влияют на то, насколько осознанным будет выбор пользователя.
Есть возможности для внедрения «прозрачности в режиме реального времени», когда информация дается в момент взаимодействия, например, короткое уведомление непосредственно над полем ввода, предупреждающее, что запросы могут использоваться для обучения модели. Особенно важно это для несовершеннолетних и других уязвимых пользователей.
2️⃣ Технологии защиты приватности должны работать на этапе обучения
В докладе рассматриваются Privacy-Enhancing Technologies (PETs) и отдельно OECD упоминает небольшие языковые модели, обученные работать как "compliance detectors", они могут выявлять информацию, требующую дополнительной защиты, непосредственно в пользовательских взаимодействиях.
Ни одна из этих технологий сама по себе не гарантирует соответствия требованиям законодательства. OECD рассматривает их как часть общей системы управления данными.
3️⃣Право на удаление
Удалить исходную запись из базы данных недостаточно, если информация сохранилась в параметрах модели и может воспроизводиться в ответах.
Проблемы:
▪️Полное удаление информации из модели может потребовать её переобучения. Для больших универсальных моделей это зачастую экономически и технически неосуществимо.
▪️Открытые модели могут многократно дообучаться и распространяться другими разработчиками. Поэтому удаление данных у первоначального разработчика не означает, что они исчезнут из всех последующих версий модели.
▪️может ли исправление персональных данных потребовать изменения самой модели, если ошибочная или устаревшая информация закрепилась в её параметрах.
4️⃣ Веб-скрейпинг
Проблема не ограничивается первоначальным сбором. Данные могут использоваться при предварительном обучении, затем объединяться с внутренними и пользовательскими данными при дообучении, а впоследствии появляться в ответах чат-ботов.
Подходы европейских регуляторов:
▪️EDPB указывает, что использование законного интереса требует прохождения трёхэтапного теста. Нужны чёткие и соразмерные критерии сбора, исключение специальных категорий персональных данных, осторожность с высокорисковыми источниками и фильтрация или обезличивание до обучения.
▪️CNIL рекомендует исключать чувствительные источники, учитывать технические и договорные ограничения повторного использования информации, предоставлять механизмы возражения против сбора данных и не использовать постоянные идентификаторы без необходимости.
▪️ICO подчёркивает важность информирования людей об источниках, целях и факте обработки их персональных данных.
Есть и технические решения. Например, Cloudflare позволяет владельцам сайтов блокировать ИИ-ботов на сетевом уровне. Используются также robots.txt, машиночитаемые сигналы предпочтений относительно использования контента, системы идентификации материалов и отслеживания происхождения данных (data lineage).
Но OECD обращает внимание на ограниченность robots.txt, т.к. это механизм, основанный на добровольном соблюдении правил ботами, а не полноценная техническая блокировка.
Для контроля уже собранных данных разработчики применяют многоэтапную фильтрацию, классификаторы, разметку метаданных и тестирование моделей на предмет воспроизведения персональной информации.
5️⃣ Автономные ИИ-агенты
Возникают новые риски для защиты данных:
▪️Агент может передать информацию другому агенту или внешнему сервису, хотя пользователь изначально не предполагал такого использования.
При последовательной передаче данных сложнее обеспечить соблюдение первоначально определённых целей и ограничений обработки.
▪️Самостоятельно выводить конфиденциальную информацию или раскрывать её в других сервисах.
▪️Удаление данных становится ещё сложнее, когда они распределены между моделями, инструментами и уровнями оркестрации.
OECD отмечает, что привычные механизмы согласия и ограничения целей обработки могут оказаться недостаточными для таких сценариев.
При этом у агентных систем есть и обратный потенциал, т.к. они могут выступать в роли защитников приватности, например, автоматически проверять настройки, применять предпочтения пользователя и контролировать передачу данных между сервисами.
#AIShelf #UXWatch
————
@pattern_ai | AI ACT_GDPR_bot
410
Что проверяет регулятор после запуска ИИ - продукта
Разберем дальше кейсы из доклада DPC, когда проблемы обнаруживаются уже в работающем продукте.
Предыдущий пост.
1️⃣ Голосовой помощник продолжал слушать
Запись звука в приложении продолжалась после последнего взаимодействия с пользователем (вплоть до часа). Разработчики объясняли это техническими возможностями системы. При этом не было активации по ключевому слову, а пользователи полагались на стандартные уведомления операционной системы. DPC порекомендовал сократить время записи и добавить звуковое напоминание о том, что приложение всё ещё слушает.Техническая возможность собирать данные в течение определённого времени не доказывает необходимость такой обработки. Здесь важны минимизация данных (ст. 5(1)(c) GDPR) и прозрачность (ст. 5(1)(a)GDPR). 2️⃣ Пользователь достиг 18 лет, и его данные пошли на обучение
Контролёры не планировали использовать данные детей для обучения ИИ, но автоматически начинали обработку данных аккаунта, когда пользователь достигал совершеннолетия. DPC рекомендовала заранее уведомлять таких пользователей об изменении обработки и предоставлять им время разобраться в последствиях и воспользоваться правом на возражение до начала обучения.Достижение 18 лет не должно превращаться в незаметное переключение режима обработки. Если данные начинают использоваться для новой цели, человеку необходимы информация и реальная возможность реализовать свои права. 3️⃣Человек не зарегистрирован в сервисе, но данные шли для обучения ИИ
Контролёр разместил информацию об использовании данных для обучения ИИ в разделе сайта, доступном только подтверждённым пользователям. При этом обработка могла затрагивать и других людей. DPC рекомендовала сделать информацию доступной всем, чьи данные могут обрабатываться. Регулятор отдельно подчеркнул, что «непользователи» сервиса тоже остаются субъектами данных по GDPR.Прозрачность нельзя ограничивать аудиторией зарегистрированных пользователей. Отсутствие аккаунта само по себе не освобождает компанию от обязанностей по информированию субъектов данных. 4️⃣ Проверка после запуска должна быть не просто формальностью
DPC запрашивал у разработчиков отчёты о работе моделей в реальных условиях. В одном из кейсов анализ таких данных помог компании обнаружить дополнительные сведения, которые следовало исключить из обучения, расширить фильтрацию, улучшить уведомления для молодых пользователей и исправить ошибки в ответах модели. Компания также дорабатывала механизмы выявления галлюцинаций и защитные ограничения.DPIA и LIA не должны оставаться документами, подготовленными исключительно перед запуском. DPC ожидает, что контролёр будет сопоставлять первоначальную оценку рисков с реальными результатами работы системы и при необходимости пересматривать меры защиты. 5️⃣ Плохая документация может задержать запуск
Компании планировали обучать ИИ на общедоступных персональных данных, но представленные документы оставили у DPC слишком много вопросов о характере обработки и мерах снижения рисков. Регулятор попросил компании приостановить запуск. После того как контролёры представили более подробную документацию и ответили на замечания, они смогли продолжить проекты без такой паузы.Документация должна показывать, какие данные используются, зачем, какие риски выявлены и почему выбранные меры считаются достаточными, а не быть просто бюрократическим этапом. ❕Риски для ПД часто возникают не из-за самой технологии ИИ, а из-за конкретных продуктовых решений ( сколько времени приложение слушает пользователя, когда начинает использовать его данные для обучения, кому доступна информация об обработке и насколько понятны настройки и уведомления). Поэтому GDPR-комплаенс должен учитываться не только юристами при подготовке документов, но и разработчиками и продуктовыми командами при проектировании функций и пользовательских сценариев. #LawAndDisorder #UXWatch ———— @pattern_ai | AI ACT_GDPR_bot
410
Примеры надзора регулятора за ИИ: кейсы и выводы для разработчиков
Ирландская Комиссия по защите данных (DPC) опубликовала доклад о надзоре за ИИ-продуктами в 2021–2025 годах.
В нём около 180 продуктов и сервисов, с которыми взаимодействовал регулятор, 79% проверок касались генеративного ИИ, а 59% запусков в 2024–2025 годах сопровождались рекомендациями DPC.
👀 Примеры кейсов из доклада:
1️⃣ Обучение моделей на пользовательских данных Meta * (компания признана экстремистской организацией на территории России)
В 2024 г. DPC обнаружила, что пользователям было трудно понять, как их данные будут использоваться для обучения ИИ, а механизм возражения работал неудобно. Регулятор запросил добровольную приостановку обучения. Meta * (компания признана экстремистской организацией на территории России) согласилась, а затем представила пересмотренные оценки законного интереса и воздействия на защиту данных, дополнительные меры обезличивания и фильтрации, а также расширенную информацию для пользователей. В феврале 2025 года DPC не увидела оснований для дальнейших мер на тот момент.При использовании законного интереса по ст. 6(1)(f) GDPR прозрачность и реальная доступность механизма возражения имеют значение для оценки баланса интересов. Недостатки в интерфейсе могут поставить под сомнение не только удобство продукта, но и обоснованность выбранного правового основания. 2️⃣ Исторические данные для обучения ИИ
Компания хотела использовать все публичные публикации, комментарии и статьи с момента создания платформы. DPC изучила политики конфиденциальности за прошлые годы и рекомендовала не использовать для обучения данные, собранные до 2014 года. По оценке регулятора, пользователи не имели достаточной предсказуемости в отношении такого будущего использования данных. Компания последовала рекомендации и ограничила период обработки данными с 2014 года.Разумные ожидания субъектов данных оцениваются с учётом обстоятельств и контекста на момент сбора информации. Использование исторических данных для обучения ИИ требует особого внимания к совместимости целей обработки и прозрачности. 3️⃣ Недоступный отказ от обучения
В январе 2025 года DPC обнаружила, что пользователи мобильной версии чат-бота без подписки не могли отказаться от использования своих персональных данных для обучения ИИ. Проблема потенциально затрагивала около 7,7 млн пользователей в ЕЭЗ. Компания исправила ошибку и обязалась не использовать для обучения данные, собранные в период, когда механизм отказа был недоступен.Наличие механизма реализации права на возражение по ст. 21 GDPR на бумаге недостаточно. Он должен фактически работать для всех затронутых пользователей, в том числе на разных устройствах. 4️⃣ Автоматическая блокировка пользователей
ИИ-система могла блокировать пользователей на основании анализа голосовых коммуникаций. Компания ссылалась на участие человека в запуске процесса и возможность обжалования блокировки. DPC рекомендовала пересмотреть процедуру и определить, где необходимо дополнительное участие человека. В результате компания изменила процесс и человеческое участие стало предусматриваться до блокировки.Участие человека в запуске автоматизированного процесса или возможность обжаловать результат постфактум сами по себе не исключают применения ст. 22 GDPR. Важно оценивать, действительно ли решение принимается исключительно автоматически и влечёт ли оно правовые или аналогичным образом существенные последствия для человека. 5️⃣ Обучение Grok
В августе 2024 года DPC обратилась в Высокий суд Ирландии, поскольку X отказалась прекратить обработку персональных данных для обучения Grok. После обращения компания обязалась прекратить такую обработку и удалить затронутые наборы данных.Надзор не ограничивается рекомендациями. Если риски не устраняются, регулятор готов прибегать к судебным и срочным мерам. 📝Рекомендации для компаний: ▪️Прозрачность. Информация об использовании данных для обучения и работе ИИ должна быть доступна всем затронутым лицам, включая тех, кто не зарегистрирован на платформе. ▪️Право на возражение. Механизм должен быть понятным и доступным. DPC отдельно обращает внимание на то, что препятствия при подаче возражения могут мешать реализации прав субъектов данных и ослаблять позицию контролёра при обосновании законного интереса. ▪️ Минимизация данных. Примеры рекомендуемых мер: псевдонимизация или анонимизация, удаление дубликатов, сокращение периода сбора, а также исключение данных детей и источников, в которых вероятно содержатся специальные категории персональных данных. ▪️ Оценка рисков. DPIA и LIA не должны оставаться документами, подготовленными исключительно перед запуском. Их необходимо пересматривать с учётом реальной работы модели, новых рисков и эффективности технических и организационных мер. ▪️ Документирование. Общих заявлений о соблюдении GDPR недостаточно. DPC ожидает конкретного описания решений, технических мер и причин, по которым компания выбрала именно такой подход. ❕Проверка и оценка обработки ПД на соответствие GDPR должна быть постоянной, а не разовой перед запуском продукта. #LawAndDisorder #UXWatch ———— @pattern_ai | AI ACT_GDPR_bot
410
AI Risk Map
Когда компания внедряет ИИ, обычно обсуждение рисков начинается с нескольких привычных вопросов: насколько точна модель, не утекут ли данные, можно ли доверять результатам и кто будет отвечать за ошибки?
Риски использования ИИ гораздо шире.
👀 В этом ресурсе собраны:
▪️ 12 областей ответственности;
▪️ 55 категорий;
▪️ 196 факторов риска (предусмотрены ссылки на источники).
Например, недостаточный контроль над ИИ-агентами, выход агентов за пределы полномочий сотрудников, изменения моделей поставщиками без уведомления клиентов, утрата конкурентных преимуществ и проблемы с распределением ответственности за действия автономных систем.
Карта охватывает не только технические и информационные риски, но и юридические, финансовые, кадровые, операционные и стратегические аспекты.
AI Risk Map
На GitHub в формате PDF, XLSX, CSV и Markdown
Можно использовать в качестве чек-листа и определения слепых зон при внедрении ИИ, основы для внутренних аудитов и обсуждения рисков между юристами, DPO, ИТ-специалистами и руководством.
#AIShelf
————
@pattern_ai | AI ACT_GDPR_bot
410
Может ли ИИ пересказывать новости, не нарушая права издателей? Суд ЕС разбирается с Google Gemini
Генеральный адвокат Суда ЕС представил заключение по делу C‑250/25 Like Company v Google Ireland (граница между допустимым использованием журналистских материалов и нарушением авторских и смежных прав издателей).
Заключение не является решением Суда ЕС и не обязательно для судей. Окончательное решение будет вынесено позднее, и Суд может как согласиться с предложенной интерпретацией, так и занять иную позицию.
👀 Суть спора
Венгерская компания Like Company, управляющая новостными порталами, утверждает, что Google использовала её публикации при обучении Gemini, а также воспроизводила их содержание в ответах чат-бота.
➡️ Основные тезисы:
1️⃣ Обучение языковых моделей.
Два вопроса об обучении предлагается признать недопустимыми, т.к. в деле нет доказательств того, что статьи Like Company действительно использовались для обучения Gemini.
Правовой режим обучения: использование защищённых произведений для обучения LLM в принципе может подпадать под исключение для извлечения текста и данных (Text and Data Mining, TDM), предусмотренное статьёй 4 Директивы ЕС 2019/790.
Но это не безусловное разрешение. Для применения исключения необходим законный доступ к материалам, а правообладатель не должен был надлежащим образом зарезервировать свои права на такое использование.
Издатель может запретить использование своих материалов для обучения ИИ (opt-out). Если права зарезервированы надлежащим образом, разработчику потребуется получить разрешение правообладателя.
2️⃣ Получение статей через RAG и формирование ответов.
Извлечение статьи и её передача в контекст языковой модели могут представлять собой воспроизведение произведения.
Однако само по себе использование статьи ещё не означает нарушения прав издателя. Необходимо учитывать способ получения материала и содержание ответа чат-бота.
Предложены критерии:
▪️законность доступа. Если издатель установил эффективные технические ограничения, например платный доступ (paywall) или блокировку автоматизированного извлечения материалов, чат-бот не должен обходить эти ограничения.
При этом наличие платной подписки само по себе ещё не означает, что любые способы доступа к публикации запрещены. Значение имеют конкретные технические меры и условия доступа.
▪️ факты или форма выражения. Права издателя не распространяются на сами факты и новости. Поэтому ИИ может сообщать те же сведения, что и оригинальная статья.
Но простое перефразирование не гарантирует отсутствия нарушения. Если в ответе сохраняются узнаваемые особенности оригинала (его структура, композиция и характерные формулировки), то такое воспроизведение может нарушать права издателя.
Особенно важно, если ответ настолько близок к статье, что пользователь получает её фактическую замену и уже не нуждается в обращении к первоисточнику.
▪️предоставление доступа публике. Для нарушения право на предоставление произведения публике недостаточно единичного похожего ответа. Предлагается учитывать, воспроизводится ли содержание статьи систематически, становится ли оно доступным неопределённому кругу пользователей и фактически ли чат-бот предоставляет доступ к защищённому материалу.
4️⃣Ответственность разработчика. Поставщик чат-бота должен учитывать риски, связанные с использованием RAG. В частности, необходимо предусмотреть соблюдение технических ограничений издателей и меры, препятствующие воспроизведению оригинальных публикаций в ответах.
При оценке ответственности предлагается учитывать, является ли такое использование частью коммерческой стратегии поставщика либо принял ли он достаточные меры для предотвращения нарушений.
5️⃣ Бремя доказывания. Издателю не обязательно во всех случаях самостоятельно доказывать каждый этап внутренней работы модели.
Предлагается учитывать совокупность обстоятельств:
▪️доступность публикации для чатбота,
▪️сходство ответов с оригиналом,
▪️наличие ссылок на источник
▪️другие доказательства.
Такие обстоятельства могут создать первоначальную презумпцию использования материала, после чего поставщику ИИ придётся представить объяснения и доказательства, опровергающие её.
Техническая непрозрачность ИИ-систем не должна автоматически лишать издателей возможности защищать свои права.
6️⃣ Opt-out и техническая защита не одно и то же.
Издателям недостаточно просто заявить, что они не разрешают использовать контент. В зависимости от сценария использования необходимо правильно оформить запрет и обеспечить его техническую реализацию.
Адвокат НЕ приходит к выводу об автоматической ответственности Google, обращает внимание на отсутствие достаточных доказательств сходства ответов с оригинальными публикациями, отсутствие эффективных технических ограничений со стороны издателя и меры, которые Google, по его оценке, принимала для предотвращения нарушений.
❕Ждем решения суда, сможет ли ИИ использовать чужую журналистику так, чтобы не просто информировать пользователя, а фактически заменять собой источник информации.
#LawAndDisorder #UXWatch
————
@pattern_ai | AI ACT_GDPR_bot
410
ИИ в рекламе: правила маркировки в Китае, Индии и Южной Корее
Азиатский регион внедряет едва ли не самые строгие и технически жесткие требования к маркировке сгенерированного ИИ-контента. Кратко разберем.
1️⃣ 🇨🇳 КИТАЙ
▪️Требуется видимая плашка (например, «AI») + невидимый технический водяной знак (метаданные), зашитый прямо в файл.
▪️Метаданные креатива должны содержать идентификатор сервиса и код компании. Без этого платформы (Douyin, WeChat, Xiaohongshu) просто не пропустят рекламу.
▪️Требуется обеспечить прослеживаемость ИИ-контента на этапах генерации и распространения, при трансграничной цепочке, в которой генерация происходит за рубежом, а публикация в Китае, нет отдельного исчерпывающего нормативного регулирования.
Например, маркетинговая команда в Париже или Нью-Йорке, которая создает креативы с помощью своего ИИ инструмента и отправляет файлы китайскому медиабайеру, не соответствует требованиям. Водяной знак не может быть добавлен задним числом покупателем без зарегистрированного идентификатора бренда. Китайские агентства, которые уже используют сертифицированные конвейеры для производства ИИ и хранят в своих базах данных коды социального кредита своих клиентов, могут внедрять водяной знак во время генерации. Иностранные агентства не могут этого сделать, если не работают через местную организацию (подробная статья здесь).▪️За немаркированную ИИ-рекламу ответственность ложится непосредственно на бренд или рекламное агентство. 2️⃣🇮🇳 ИНДИЯ ▪️Визуальные ИИ-креативы требуют понятного водяного знака или метки, а на видео пометка должна присутствовать на протяжении всего ролика или занимать заметное место (не менее 10% кадра на старте). ▪️ Если реклама создана от лица виртуального аватара или ИИ-блогера, обязателен понятный дисклеймер (например,
#AIGenerated в начале описания).
▪️ Использование ИИ для имитации реальных отзывов покупателей или клонирования голоса без прямого согласия строго запрещено и карается крупными штрафами.
3️⃣ 🇰🇷 ЮЖНАЯ КОРЕЯ
▪️ Любой фотореалистичный сгенерированный контент, синтетические актеры или дипфейки в рекламе требуют четкого уведомления («AI-generated» / «ИИ-персонаж»).
▪️ИИ-созданные виртуальные персонажи прямо рассматриваются как самостоятельный вид субъектов рекламных рекомендаций и отзывов.
Если виртуальный персонаж рекламирует товар или услугу, необходимо ясно сообщать потребителю, что это виртуальный персонаж, а не реальный человек.
Блоги, интернет-форумы и текстовые публикации: предупреждение в заголовке или в начале публикации. Например, «В публикации присутствует виртуальный персонаж, созданный с помощью ИИ».
Фотографии и видео: обозначение «виртуальный персонаж» должно находиться рядом с персонажем на протяжении его появления.
Даже если рекламодатель обозначил персонажа как виртуального, это не позволяет ему имитировать реальный пользовательский опыт. Если ИИ-персонаж заявляет, что лично использовал косметику, лекарство или другой продукт, хотя такого опыта в действительности не было, реклама может быть признана вводящей в заблуждение.▪️ При использовании ИИ-моделей в видео, блогах или на баннерах пометка должна размещаться в заголовке, в начале текста или явным слоем на изображении. ▪️Законодательство обязывает внедрять не только видимые метки, но и считываемые платформами цифровые водяные знаки в выгружаемые материалы. 📌China Generative AI Measures and AI Labelling Rules Guide, Официальные ответы CAC на вопросы о маркировке рекламы, How to Comply With AI Disclosure Rules in India: Complete Guide for Businesses and Creators, Руководство по проверке маркировки и рекламы в отношении рекомендаций, одобрений в Южной Корее, Публичные слушания по проекту руководящих принципов маркировки и рекламы, связанных с ИИ/ Южная Корея. #LawAndDisorder #UXWatch ———— @pattern_ai | AI ACT_GDPR_bot
410
ИИ в рекламе: требования маркировки в России, Казахстане и Беларуси
Продолжаем разбор.
Если вы запускаете рекламные кампании на рынок СНГ, то единых правил для стран ЕАЭС пока нет. В каждом государстве своя специфика.
1️⃣ 🇰🇿 КАЗАХСТАН
Закон «Об искусственном интеллекте» (вступил в силу в январе 2026 года), ст.21.
▪️Весь сгенерированный или существенно измененный с помощью ИИ контент (включая рекламу) подлежит обязательной маркировке.
▪️Строго формата маркировки нет, главное, чтобы предупреждение про ИИ-контент было очевидно понятным для других пользователей:
- визуальная плашка «Создано ИИ» на баннере или видео,
- текстовое предупреждение перед постом/роликом.
- аудиосообщение в начале аудиоспота.
▪️Блогеры и рекламораспространители обязаны дополнительно указывать коммерческий статус контента (Приказ Минкультуры и информации РК № 59-Н, Правила маркировки онлайн-рекламы).
▪️Отсутствие пометки рассматривается регуляторами как введение потребителя в заблуждение.
▪️За отсутствие пометки о том, что визуальный или аудиальный контент создан нейросетью, предусмотрены крупные административные штрафы.
2️⃣ 🇷🇺 РОССИЯ
▪️Обязанность маркировки любой рекламы ( токен (ERID) и пометка «Реклама», если пост коммерческого характера).
▪️ С 1 марта 2027 года крупные онлайн-площадки с аудиторией свыше 500 тыс. пользователей в сутки будут обязаны обеспечить техническую возможность маркировки ИИ- контента.
▪️На данный момент нет обязательных требований для пометки «Создано с помощью ИИ», если контент не вводит потребителя в заблуждение (ФЗ «О рекламе» ст. 5), но в Гос.Думе есть предложения по ужесточению требований...
3️⃣ 🇧🇾 БЕЛАРУСЬ
▪️Применение ИИ в рекламе попадает под действие закона «О рекламе» и Закона «О защите прав потребителей».
▪️Категорически запрещено с помощью ИИ клонировать голоса, использовать лица или имена реальных людей без их официального согласия.
▪️Если ИИ генерирует ложные характеристики товара или создаёт фейковые отзывы от клиентов, реклама признается недобросовестной.
▪️Специальной обязательной метки «Создано с помощью ИИ» пока не требует, если рекламное сообщение правдиво.
❕Маркировка «Реклама» и пометка «Создано с помощью ИИ» решают разные задачи. Первая помогает определить рекламный характер сообщения, а вторая раскрыть происхождение контента.
📌
ИИ в рекламе США: когда маркировка обязательна, а когда можно без неё?
Чек-лист для маркетологов и креаторов по использованию ИИ в рекламе в ЕС (гайд EASA);
#LawAndDisorder #UXWatch
————
@pattern_ai | AI ACT_GDPR_bot
410
ИИ в рекламе США: когда маркировка обязательна, а когда можно без неё?
За сгенерированным контентом в рекламе следит Федеральная торговая комиссия (FTC), основываясь на принципе предотвращения обмана потребителей. Отдельное внимание сейчас приковано к политической рекламе, где ИИ-генерации кандидатов стали массовым трендом и поводом для громких расследований (например, по материалам NBC News было распространено 220 ИИ-роликов стоимостью 137 млн.$).
1️⃣Запрещены недобросовестные и вводящие в заблуждение рекламные практики (Section 5 of the FTC Act) и не имеет значения, отредактировано ли фото в Photoshop или сгенерировано в Midjourney.
Для этого задавайте два ключевых вопроса:
- Вводит ли ИИ-контент разумного потребителя в заблуждение относительно существенных (material) свойств товара или услуги?
- Повлияло бы знание того, что это ИИ, на решение о покупке?
2️⃣ Маркировка СТРОГО ОБЯЗАТЕЛЬНА для:
▪️Виртуальных и ИИ-инфлюенсеров (Synthetic Influencers)
Если виртуальный персонаж или ИИ-модель рекламирует продукт, FTC требует двойную маркировку: факт рекламы/спонсорства + факт того, что персонаж является виртуальным/созданным ИИ (поскольку аудитория может принять его за реального человека). Например: «Это виртуальный персонаж, созданный с помощью ИИ. #ad [Название бренда]»▪️Отзывов и рекомендательных писем (Testimonials & Reviews)
Генерация фейковых отзывов от «довольных покупателей» через ИИ полностью запрещена. Вступившее в силу правило FTC предусматривает штрафы до $53 088 за каждое нарушение.▪️Клонирования голоса и дипфейков реальных людей
Использование ИИ-копий реальных спикеров или знаменитостей без согласия запрещено. Если согласие есть, требуется четкая плашка: «Голос/образ сгенерирован ИИ».▪️Демонстрации результата (Before/After)
Нельзя показывать эффект от косметики, кремов или процедур на ИИ-модели с идеально нарисованной кожей без прямого указания на генерацию ИИ, т.к. это прямая фальсификация эффективности товара.▪️Политической рекламы
Использование ИИ в предвыборных гонках для создания фейковых фото и видео кандидатов привело к тому, что штаты (Калифорния, Техас и др.) и платформы ( Google, TikTok) ввели жесткое правило, что реалистичный ИИ-контент в политике обязателен к маркировке или блокируется.3️⃣ Когда маркировка НЕ НУЖНА: ▪️Косметические правки (цветокоррекция, удаление шума, кадрирование). ▪️Очевидная фантастика и абстракция (мультяшная графика, фантастические миры, стилизованный 3D-арт, где никто не спутает изображение с реальной съемкой). ▪️Черновой ИИ-копирайтинг (создание вариантов заголовков или текстов рекламных постов (если они не подаются как личный отзыв реального человека)). 🔍Регулирование: Помимо FTC, в США действует законодательство штатов (напр., Калифорния SB 942 / AB 3211), по которому вводятся требования к разработчикам генеративного ИИ вшивать невидимые метки/водяные знаки (C2PA metadata), а платформам автоматически их считывать и маркировать. Плюс сами правила платформ ( YouTube, TikTok и т.п.) обязывают авторов ставить метки «Made with AI» на реалистичный контент под угрозой бана или теневого бана. ✏️ Золотой стандарт дисклеймеров "Clear and Conspicuous": ▪️Не прятать метку в мелкий шрифт или после кнопки «Ещё / See more». ▪️Текст должен быть понятным: «AI-generated image» или «Created with AI» (без сложного жаргона). ▪️На видео метка должна появляться в первые секунды (3-5 сек) или присутствовать на протяжении всего ролика. ▪️Четкое голосовое предупреждение («Voice synthesized by AI») прямо в аудиоспот. ▪️для спонсируемого контента двойное раскрытие: - коммерческие отношения (контент представляет собой рекламу, спонсируемый пост или платное партнерство), - участие ИИ.
Одна метка не охватывает оба аспекта. Сообщение, помеченное хештегом #ad, не соответствует требованию о раскрытии информации об ИИ. Сообщение, помеченное как "сгенерировано ИИ", не соответствует требованию о коммерческих отношениях. Оба аспекта должны присутствовать и быть четко обозначены.Максимальный штраф за нарушения правил раскрытия информации до 53 088 долларов за каждое нарушение. Каждая публикация, не соответствующая требованиям, считается отдельным нарушением, а это значит, что кампания из 100 публикаций теоретически может превысить 5 млн долларов штрафов. 📌 Trade Regulation Rule on the Use of Consumer Reviews and Testimonials; FTC Business Guidance Endorsements, Influencers, and Reviews; Полное руководство для маркетологов; C2PA Technical Specification; A warning letter (or ten) for businesses: comply with the FTC’s Consumer Review Rule. #AIShelf #LawAndDisorder #UXWatch ———— @pattern_ai | AI GDPR Navigator
410
+1
Чек-лист для маркетологов и креаторов по использованию ИИ в рекламе в ЕС (гайд EASA)
Если используете ИИ в создании рекламы, то есть наконец-то официальный гад от Европейского альянса по стандартам рекламы (EASA), который помогает разобраться, когда и как нужно маркировать контент, созданный или измененный с помощью ИИ.
В нем даны примеры и схемы.
👀 Разбираем по пунктам, как оценить ваш креатив на безопасность, прозрачность и соответствие стандартам:
1️⃣Проверьте суть, т.е. не вводит ли реклама в заблуждение?
Сама по себе плашка «Сделано с помощью ИИ» не спасает от обвинений в обмане.
Если реклама изначально вводит потребителя в заблуждение (например, преувеличивает свойства товара или обещает нереалистичный результат), она останется незаконной даже с маркировкой.
Проявите повышенную осторожность, если ваша реклама нацелена на детей, подростков или пожилых людей, так как у них ниже уровень цифровой грамотности.
2️⃣ Оцените необходимость маркировки по 3 критериям.
Посмотрите по схеме принятия решений:
▪️степень использования ИИ.
Если минимальная обработка (удаление шума, цветокоррекция, черновые зарисовки), то маркировка не нужна. Если полная генерация или тяжелая модификация, то повод задуматься о плашке.▪️правдоподобие сюжета.
Если в рекламе фантастика, мультяшные герои или абсурдные элементы, которых не бывает в жизни, то маркировка не нужна. Если показаны реальные люди, места или события, неотличимые от правды (дипфейки, реалистичные фото), то маркировка нужна.▪️значимость для потребителя.
Если ИИ изменил ключевые характеристики товара или внешность модели (и это может обмануть покупателя), то маркировка обязательна ( например, идеальная кожа от крема, созданная ИИ) Если ИИ сгенерировал незаметный фон или размытую массовку вдалеке, то маркировка не нужна.3️⃣Определите уровень воздействия: ▪️Низкий уровень (зеленая зона): Минимальный ИИ, абстракция, фоновые детали. Маркировка не нужна. ▪️Средний уровень (желтая зона): Частичная генерация, стилизация под реальность. Применяется индивидуальный подход или рекомендация как мера предосторожности. ▪️Высокий уровень (красная зона): Тяжелая генерация, реалистичные синтетические актеры, влияющие на восприятие продукта. Маркировка строго рекомендуется. 4️⃣ Выберите «КАК, ГДЕ и КОГДА» разместить маркировку. Если маркировка необходима, она должна быть сразу заметной, понятной и не портить креатив: ▪️Что писать/показывать:
Используйте понятные иконки или текстовые метки (например, аббревиатуру «AI» или «ИИ» на местном языке) без сложного юридического жаргона. Для онлайн-рекламы можно добавить ссылку «в один клик» на детали о создании контента.▪️Когда показывать:
- Для статичных картинок сразу при первом взгляде. - Для видео и роликов в самом начале или в момент появления сгенерированного элемента (дипфейка). - Для аудио (радио/подкасты) четкое голосовое упоминание или звуковой сигнал в течение рекламного спота.▪️Где размещать:
На самом баннере, в непосредственной близости от рекламного сообщения или в интерфейсе плеера так, чтобы это не мешало восприятию творческого замысла.❕Этот документ носит рекомендательный характер и призван помочь рекламным ассоциациям и участникам рынка ЕС внедрить прозрачные правила использования ИИ. ‼️ Прошлые посты: 🔹 ЕС запускает систему маркировки контента, созданного ИИ; 🔹Знак ЕС для маркировки контента, сгенерированного ИИ; 🔹Как маркировать аудио, созданное ИИ?; 🔹Еврокомиссия и AI Board признали Кодекс прозрачности эффективным способом соблюдения AI Act; 🔹Рекомендации по статье 50 AI Act; 🔹Какой дипфейк считается вымышленным?; 🔹Когда ИИ-текст нужно маркировать по AI Act?; 🔹Что такое "проверка человеком" текста по AI Act?; В следующих постах разберем правил рекламы на других рынках. #AIShelf #LawAndDisorder #UXWatch ———— @pattern_ai | AI GDPR Navigator
410
Руководство EASA по раскрытию информации о рекламе, созданной или улучшенной с помощью ИИ, рассматривает:
▪️ нормативно-правовую базу,
▪️ критерии и принципы, по которым определяется необходимость раскрытия ИИ.
▪️ практические форматы плашек и дисклеймеров для разных медиа.
▪️ ссылки на действующие руководства регуляторов и платформ.
#AIShelf
————
@pattern_ai | AI GDPR Navigator
410
Law for Computer Scientists and Other Folk | Oxford Academic
Для тех, кто еще любит читать книги, но еще точнее для разработчиков и инженеров (будь то специалисты по машинному обучению, блокчейну или другим технологиям), создающих вычислительные системы, для всех, кто выводит такие системы на рынок или управляет их распространением.
Книга не стремится превратить программистов в профессиональных юристов.
Если кратко, то внутри домены киберправа (конфиденциальность и защита данных), киберпреступность, авторское право в киберпространстве, границы права в онлайн мире, юридическая ответственность для ИИ (вопросы правосубъектности, искусственных агентов и гражданско-правовой ответственности), Legal by Design, разграничение и концептуальная взаимосвязь между правом, кодом и этикой, а также роль верховенства закона.
#AIShelf
————
@pattern_ai | AI GDPR Navigator
410
ИИ в медицине: где взять данные и кто ответит за ошибки
Продолжим про медицинский ИИ. Естественно, что для развития таких систем нужны большие объёмы качественных медицинских данных. А значит у всех возникают вопросы: на каком основании их можно использовать, как защитить медицинскую тайну и кто будет отвечать за последствия применения алгоритмов.
👀Европейский парламент опубликовал аналитический доклад In-depth Analysis on the Use of Data in Public Health как раз посвящённый возможностям медицинского ИИ и правовым препятствиям, которые мешают его ответственному внедрению. В конце есть таблица с предложениями автора.
1️⃣ Медицинские данные нужны не только для лечения.
Регламент о Европейском пространстве медицинских данных (EHDS) создаёт правовую основу для вторичного использования электронных медицинских данных , например, для научных исследований и обучения, испытания и оценки алгоритмов ИИ.
Однако доступ к данным не означает, что их можно использовать без ограничений. Необходимо учитывать требования GDPR, в том числе правовые основания обработки, правила работы с особыми категориями персональных данных и меры защиты информации.
2️⃣ Фреймворки EHDS, GDPR и AI Act в ЕС должны работать совместно, но их взаимодействие порождает вопросы.
Например,
что считать научным исследованием, если разработка медицинского ИИ финансируется коммерческой компанией,
когда допустимо использовать данные о здоровье,
как соотносятся правила вторичного использования данных с исключениями для исследований, предусмотренными AI Act.
Различия в национальном законодательстве и практике могут затруднять обмен данными между странами ЕС и создавать неравные условия для исследователей.
3️⃣Обезличивание непростая задача.
EHDS предусматривает предоставление обезличенных данных для вторичного использования. Доступ к псевдонимизированным данным допускается, если цель нельзя достичь с помощью обезличенных данных.
При этом важно различать эти понятия. Псевдонимизированные данные остаются персональными, если человека можно повторно идентифицировать с использованием дополнительной информации. Поэтому необходимы не только технические решения, но и правовые, организационные и технические гарантии защиты.
4️⃣Кто отвечает, если ИИ ошибся.
Ответственность медицинского работника связана с соблюдением профессионального стандарта оказания помощи. Если врач использует ненадёжную систему, возникает риск, что применение ИИ не снизит, а увеличит его юридическую нагрузку.
Поэтому системе недостаточно демонстрировать высокую точность в испытаниях. Она должна быть надёжной в реальных условиях, а её применение соответствовать требованиям безопасности пациентов.
📝Что предлагается изменить:
▪️уточнить правовые основания использования медицинских данных и взаимодействие европейских регламентов,
▪️уменьшить административную нагрузку на организации, предоставляющие данные,
▪️ разработать единые рекомендации по защитным мерам и обеспечить более согласованный подход государств ЕС.
▪️информировать пациентов о значимых медицинских находках, обнаруженных в ходе исследований, и выработке единых подходов к передаче такой информации врачам и пациентам.
❕ Ждем условий, при которых развитие ИИ действительно будет приносить пользу пациентам.
#LawAndDisorder #AIShelf
————
@pattern_ai | AI GDPR Navigator
410
ИИ диагностирует точнее врачей, но готов лечить пациентов
В журнале Science вышло исследование, показывающее прогресс применения ИИ в медицине.
👀 Microsoft представила MAI-DxO, систему, способную последовательно разбирать клинические случаи, запрашивать дополнительные сведения, выбирать обследования и пересматривать диагностические гипотезы.
Результаты впечатляют.
▪️ На 304 сложных клинических случаях система достигла точности 83,2%. У врачей общей практики этот показатель составил 36,1% с использованием интернета и справочных материалов.
▪️ На данных пациентов отделений неотложной помощи MIMIC-IV-ED точность системы составила 80,3% против 46,8% у врачей.
▪️ Система также учитывала стоимость обследований и искала способы получить диагностически значимый результат с меньшими затратами.
▪️ ИИ не просто выбирал диагноз из списка готовых вариантов. Это агентная система, где агенты собирали информацию, определяли, какие исследования нужны дальше, спорили и обновляли свои предположения по мере получения результатов.
😳Но другие исследования показывают, почему результаты тестирования ещё не означают, что медицинский ИИ готов к повседневной практике:
1️⃣ Правильный ответ не гарантирует безопасного применения.
Cпециалисты проверили, насколько хорошо молодые врачи распознают ошибки и вымышленные сведения в ответах GPT-4o.
Врачи выявили лишь 15,8% обнаруженных исследователями ошибок. Причём частота выявления не увеличивалась даже тогда, когда ошибки представляли более высокий клинический риск.
Это ставит под сомнение распространённое предположение, что достаточно оставить врача в контуре принятия решений, и он обязательно заметит опасный ответ ИИ.
2️⃣ В реальной клинике важна не только точность.
В исследовании, посвящённом применению системы поддержки решений в отделении неотложной помощи, наблюдали за 1 138 пациентами в течение четырёх недель.
Несмотря на положительную экспертную оценку 99 из 100 проверенных ответов системы, использование инструмента врачами снизилось с 68% до 30%.
Банальные причины: рабочая нагрузка и сложности интеграции в клинический процесс.
Продолжительность пребывания пациентов в отделении также не изменилась.
Авторы подчёркивают, что результатов пока недостаточно, чтобы обосновать широкое клиническое внедрение системы.
3️⃣Как сделать медицинский ИИ безопаснее.
Исследование Mount Sinai охватило 20 моделей и более 10 миллионов ответов. Краткое напоминание о безопасности уменьшило число потенциально опасных решений у 19 моделей.
Инструкции и контекст способны влиять на поведение ИИ, однако улучшение результатов в эксперименте не заменяет независимой клинической проверки.
Мнения и подходы регуляторов:
🔹Американский регулятор FDA опубликовал документ для дискуссий о медицинских изделиях с генеративным ИИ и предложил возможную модель оценки таких систем, включающую два этапа: проверку компетентности на основе испытаний вне клинической практики и клиническое подтверждение того, что система работает в соответствии с заявленным назначением. Также рассматривается оценка рисков и мониторинг после выхода изделия на рынок, в том числе применительно к базовым моделям и ИИ-агентам.
🔹В ЕС для программного обеспечения, предназначенного для медицинских целей, необходимо оценить применимость Регламента о медицинских изделиях (MDR) и AI Act. Если система подпадает под категорию высокорисковых, для неё предусмотрены специальные требования, включая управление рисками, качество данных, документирование, человеческий надзор и оценку соответствия.
❕Медицинский ИИ следует оценивать не только по тому, насколько часто он ставит правильный диагноз. Не менее важно, способен ли врач обнаружить его ошибку, улучшает ли система реальные результаты лечения и сохраняется ли её безопасность при повседневной нагрузке.
Между успешными тестами и безопасной медицинской практикой еще остаётся дистанция, которую предстоит преодолеть.
#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator
410
Кому принадлежит авторское право на произведения, созданные ИИ
Исследовательская служба Европейского парламента опубликовала обзор Copyright and artificial intelligence-generated outputs, сравнивающий подходы в ЕС, США и Китае и их судебную практику.
👀 Изображения, тексты, музыка и видео, созданные ИИ, всё чаще неотличимы от произведений человека. Но это не означает, что они автоматически получают авторско-правовую защиту.
В разных юрисдикциях формируется консенсус о том, что контент, созданный исключительно с помощью ИИ, с минимальным или полным отсутствием человеческого творчества, не подлежит защите авторских прав.
Специального правового режима для таких результатов нет.
Произведения, созданные с использованием приложений ИИ, могут по-прежнему пользоваться защитой авторских прав, если в них был проявлен существенный человеческий творческий потенциал. Достигнут ли этот порог, необходимо оценивать в каждом конкретном случае.
Распространение ИИ-контента усиливает конкуренцию с произведениями людей и ставит под вопрос привычные способы получения дохода авторами и другими правообладателями.
#AIShelf #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator
410
Умные очки и GDPR: кто отвечает за данные случайных прохожих
Европейский совет по защите данных (EDPB) выпустил Statement 1/2026 on smart glasses.
1️⃣ Производители и поставщики ИИ-сервисов не могут переложить ответственность на пользователя.
Производитель очков и поставщик связанного приложения или ИИ-сервиса могут быть самостоятельными или совместными контролёрами в зависимости от того, кто определяет цели и средства обработки. Даже если человек использует очки исключительно в личных целях и подпадает под исключение из GDPR, обязанности компаний сохраняются.
2️⃣Принцип прозрачности должен сохраняться все время ( работать в момент записи).
Обычного уведомления в приложении недостаточно, если прохожий не знает о сборе своих данных. EDPB рекомендует сочетать заметные светодиодные индикаторы, звуковые сигналы, уведомления на смартфонах и особенности дизайна, позволяющие распознать умные очки. Технические сигналы должны быть эффективными, их должно быть трудно обойти или отключить. При этом они дополняют, а не заменяют предусмотренное GDPR информирование.
3️⃣ Сложность выбора основания обработки
Получить действительное согласие людей, которые не пользуются устройством и не взаимодействуют с поставщиком сервиса, зачастую сложно. Согласие, полученное после сбора данных, не подходит в качестве правового основания для уже начавшейся обработки.
Законный интерес также требует тщательной оценки. Особенно сложно обосновать дальнейшее коммерческое использование записей или обучение ИИ, если люди не ожидали такой обработки. При использовании этого основания необходимо обеспечить право человека возражать против обработки.
4️⃣ Принципы приватности нужно закладывать в устройство и сервис.
EDPB рекомендует минимизировать непрерывную запись и сроки хранения, по возможности размывать лица прохожих непосредственно на устройстве, отключать постоянное хранение аудио и видео по умолчанию, а в чувствительных местах применять географические ограничения. Среди дополнительных мер задержки перед публикацией записей в социальных сетях, позволяющие снизить риск необдуманного распространения.
5️⃣ Проверять другое применимое законодательство
Умные очки могут затрагивать не только GDPR, но и национальное уголовное, гражданское и трудовое законодательство.
Особую осторожность следует соблюдать в школах, медицинских учреждениях и на рабочих местах, где возникают дополнительные риски для детей, сотрудников и конфиденциальной информации.
❕Если ваш продукт записывает окружающих или анализирует изображения и звук с помощью ИИ, необходимо оценивать каждую операцию обработки, определять роли участников, обосновывать правовое основание и проектировать прозрачность и защиту данных с самого начала.
#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator
410
Anthropic предлагает свой собственный законопроект о безопасности ИИ
Представители Anthropic втайне представили законодателям проект закона, регулирующего безопасность и защиту передовых технологий ИИ.
👀 Ключевые моменты:
🔹 Область применения: модели, обученные с использованием более (10^{25}) FLOPs, включая последующее дообучение и обучение с подкреплением. Это числовой порог, используемый и в AI Act ЕС для оценки системных моделей общего назначения, но правовые критерии и последствия различаются.
🔹 Два уровня обязанностей. Базовые требования прозрачности распространяются на всех охватываемых проектом разработчиков. Расширенные обязанности предусмотрены для крупных компаний: доход от ИИ свыше $500 млн в год либо расходы на разработку ИИ свыше $1 млрд.
🔹 Узкий перечень рисков: биологическое оружие, выход модели из-под контроля разработчика или пользователя, наступательные кибероперации и автоматизированные исследования и разработки ИИ, способные существенно усилить эти угрозы.
🔹 Отчётность. Публикация рамок безопасности, отчёты об оценке рисков не реже одного раза в 180 дней и уведомление о критических инцидентах в течение 15 дней. Если возникает непосредственная угроза смерти или тяжёлого вреда здоровью, срок сокращается до 24 часов.
🔹 Независимая оценка. Крупные разработчики должны привлекать внешних экспертов, предоставлять им глубокий доступ к моделям и внутренним материалам и публиковать результаты проверок. Оплата оценщиков допускается, но не может зависеть от выводов проверки.
🔹 Защита осведомителей. Проект предусматривает защиту нынешних и бывших работников и подрядчиков, сообщающих о нарушениях или существенной угрозе общественной безопасности. Договорные условия, лишающие их этих прав, включая арбитражные оговорки, не будут иметь юридической силы.
🔹 Приостановка модели. Министерство торговли США сможет просить федеральный суд о приостановке разработки, выпуска или внутреннего использования модели при непосредственной угрозе массового вреда. Первоначальный срок судебного запрета до 45 дней; предусмотрены процессуальные гарантии и возможность обжалования.
🔹 Приоритет федерального регулирования. Проект ограничивает полномочия штатов устанавливать собственные требования к раскрытию информации разработчиками, независимой оценке и уведомлению об инцидентах. При этом нормы штатов о защите потребителей, несовершеннолетних, гражданских правах и конфиденциальности в целом сохраняются.
❕Проект сочетает обязательные проверки безопасности и независимую оценку с достаточно высоким порогом для государственного вмешательства в работу модели. Одновременно он предлагает заменить часть разрозненных требований штатов единым федеральным режимом. Однако это пока рабочий текст, его окончательная редакция и перспектива внесения в Конгресс не определены.
#LawAndDisorder
————
@pattern_ai | AI GDPR Navigator
