Борис_ь с ml

MLSecOps #ml_для_иб У моего знакомого, Никиты (ведет свой канал, кстати), вышла интереснейшая статья на Хабре по введению в вопросы безопасного машинного обучения. Рассказано о том, что такое MLSecOps, почему важно, и как изменяется пайплайн разработки моделей при учете аспектов защиты. Непременно прочитайте, написано все по делу) 🔗Ссылка: https://habr.com/ru/companies/jetinfosystems/articles/832288/

💡Обратная связь Привет, уважаемые читатели) Понравился ли вам формат обзора докладов с конференции Turbo ML? Удобно ли в текстовом виде воспринимать эту информацию, или то же самое, что смотреть презентацию, или видеозапись выступления? Или, может, слишком длинная статья вышла? Приглашаю обсудить) Если будет понятно, что это оказалось для вас полезно, то могу продолжить выкладывать такие материалы. У меня накопились отчеты по 10-15 докладам с прошедшего PHDays, и несколько отчетов по конференции "Технологии Доверенного ИИ". Итоги подведем в конце недели, после дождичка в четверг) 🌧

Репортаж с Turbo ML Conf 2024 #ai #ml_для_иб Побывав на конференции, я посетил некоторое количество докладов. И некоторые из них меня настолько впечатлили, что возникла мысль рассказать об этих передовых исследованиях в канале. Однако они ценны не только с точки зрения мысли машинного обучения, но и в своем прикладном приложении. В частности, они окажутся невероятно полезны в задачах информационной безопасности. Какие доклады? 1️⃣ "Тайны трансформерной персонализации", Кирилл Хрыльченко. Подробно о том, как использовать историю взаимодействий пользователя с некими объектами для построения рекомендательной системы. В работе показано, как векторизовать как содержание действий, так и всю историю пользователя целиком, обучить на этом модель предсказания релевантности какого-то объекта данному пользователю. В кибербезопасности аналогичные проблемы решаются при работе с кластеризацией пользователей на основе запускаемых ими программ, взаимодействий с файлами и так далее. 2️⃣ "Строим сильную базовую LLM на основе открытых моделей", Анатолий Потапов. Презентация, на которой была представлена модель T-lite. В докладе подробно описана причина вообще создания собственной модели, и какие проблемы было зафиксировано решить. Докладчик представил характеристики данных, а также детали в целом процесса дообучения исходной LLM для улучшения ее качества на русском языке и на конкретных кейсах их бизнеса. И более того, модель была доработана как архитектурно, так и с точки зрения механизма дообучения, что тоже внесло вклад в итоговое качество на бенчмарках, которые тоже были показаны. Для информационной безопасности это значимо тем, что этим способом можно обучить и специфическую доменную модель для задач, например, реагирования на инциденты, анализа TI-отчетов, и много чего еще. Буквально руководство к действию. 3️⃣ "Генерация синтетических временных рядов для решения задачи поиска аномалий", Владислав Власов. Здесь рассказывается о том, как повысить качество модели прогнозирования аномалий во временных рядах не на основе model centric новшеств, а благодаря формированию более качественного датасета. И делается это при помощи генерации синтетических данных, в которые авторы закладывают все необходимые закономерности и паттерны, присущие натуральным данным. Подход может быть полезен для кибербезопасности при поиске аномалий в сетевом трафике и потоке системных событий, где редко можно найти богатую и точную разметку, чтобы решать не задачу Anomaly Detection, а supervised classification, что точно повысит качество модели. (Не обязательно делать одно вместо другого, но такой классификатор будет неплохим дополнительным экспертом в большом наборе других моделей). Подробнее о содержании докладов я написал в своей новой статье на Хабре: https://habr.com/ru/articles/832072/

#праздное Прекрасная вчера прошла конференция от Т-Банка! Организация, содержание, вкусное мороженное - оставили отличное впечатление, спасибо) На днях сделаю статью о трех запомнившихся мне докладах. А пока предлагаю вам немного отвлечься и взглянуть на закаты прошедшего дня. Камера: Sony a77 II.

T-Lite 8B #ai Анонсирована опенсорс LLM от Т-Банка! Основа - Llama 3 8B Очень интересно ее погонять теперь) Судя по названию, будет и не lite... https://www.dropbox.com/scl/fo/jjlmimtq6rt2j35odm4d9/AKEPAi7zzYO517dH-7y4wMI?e=1&r=qr&rlkey=09ni535jnmqtd1t0ub4drgmui&st=97cy1lff&dl=0 P.S. В комментах немного подробностей о том, как эту модель создали

Всем привет! Если кто участвует в конференции, откликайтесь) Будем знакомиться 🔥

Исследование McKinsey "The state of AI in early 2024" #ai #иб_в_ml Еще одно исследование, но на этот раз от головной компании McKinsey (прошлое было от Яков и П. - бывшую McKinsey в России), касающееся сегодняшних вызовов и нюансов развития генеративного ИИ. В том числе касающихся вопросов безопасности организаций, применяющих эту технологию. Данные получены в результате опроса 1363-х компаний в период с 22 февраля по 5 марта этого года. - 72% респондентов полностью внедрили ген. ИИ как минимум в одной бизнес-функции - 64% просто используют его как минимум в одной бизнес-функции. При этом для корректировки различий в уровнях отклика данные были взвешены с учетом вклада каждой страны респондентов в мировой ВВП. Наблюдения ❗️Была проведена оценка рисков в двух разрезах: определение наиболее релевантных организации, и определение рисков, обработкой которых организации уже занимаются. Топ-3 рисков составили галлюцинации моделей, нарушение прав интеллектуальной собственности и кибербезопасность. Больше половины компаний считают, что риск ИБ вследствие использования ген. ИИ актуален для их организации, треть организаций работают над его смягчением. ❗️Галлюцинации и неточность моделей - главная проблема генеративного ИИ. 23% компаний уже понесла ущерб вследствие реализации данного сценария риска, это самый большой показатель. Следующим идет риск нарушения кибербезопасности из-за этой технологии, компаний, столкнувшимися с его реализацией - 16%. ❗️В отчете отмечают, что в первую очередь передовики внедрения ген. ИИ используют его в задачах управления рисками, правовой сфере и в комплаенсе. Передовиками (high performers) в отчете зовутся те, кто сказал, что не менее 11% их EBIT относится к использованию генеративных моделей. Ключевой вывод - кибербезопасность при использовании ИИ действительно актуальна, подтверждений этому все больше. Ссылка на отчет. Также ниже приложу файл отчета.

Пока я пишу оставшиеся 2 поста - я хочу сообщить, что недавно мы с Борей и Алисой записали подкаст, где поговорили о разном в ИБ, в том числе есть часть и про AI-safety. Подкаст получился довольно вайбовым и экспериментальным(да-да). Ребята - хорошие участники))). Этот подкаст имеет исключительно аудио версию. Чуть попозже этот пост обновится и будут ссылки не только на ютуб, но и на другие площадки - любители спотифая будут в восторге. Всем хорошего дня)) https://youtu.be/Q_JcFJoEGj4

Яков и Партнёры и Яндекс выпустили исследование рынка "Искусственный интеллект в России – 2023" #ai #иб_в_ml Ключевые моменты отчета Евгений привел в своем посте. Я отмечу лишь те фрагменты, что касаются информационной безопасности. 1️⃣Дана занятная статистика по количеству сценариев с использованием генеративного ИИ в ключевых функциях: по управлению персоналом 20, по продажам 17 кейсов, а безопасности - 1. Далее указывается перечень отдельных примеров таких сценариев, и среди них есть "генерация документации, а именно формирование технологических инструкций и карт безопасности". Насколько это относится к безопасности, не уверен, но однозначно на место кейса применения ИИ в ИБ подходит LLM-автопилот для поддержки аналитика SOC. 2️⃣При спонтанном опросе 9/15 компаний отметили, что под высоким приоритетом находится решение задач компаленса с помощью ИИ, и 7/15 - тренинги сотрудников по специально отобранным материалам (то есть awareness, переводя на язык ИБ). Актуальные идеи для вендоров продуктов категории SGRC. 3️⃣И самое интересное - более двух третей компаний (68%) видят риск информационной безопасности при использовании ИИ, и это самое распространенное опасение. Это означает, что все актуальнее вырисовывается запрос на обеспечение безопасности технологий ML/AI, и скоро будет появляться все больше вакансий, и проектов и, в конце концов, решений по этому направлению. Ссылка на отчет.

Эксперты Совбеза предлагают защищать ИИ от иностранных технологий В научном совете при Совете безопасности прошло заседание на тему влияния развития технологий искусственного интеллекта на внутренние угрозы безопасности. Особый интерес вызывают предложения экспертов. Во-первых, предлагается внедрять в российские технологии некое программное обеспечение для «противодействия деструктивной информации, экстремистской и террористической преступности». Что конкретно имеется в виду, пока не уточняется. Во-вторых, экспертов беспокоит зависимость ИИ в России от заграницы, в этой связи предлагается сокращать использование иностранных информационных технологий и оборудования в этой сфере. Вот абзац целиком: «Эксперты выработали ряд дополнительных мер, направленных, в частности, на внедрение в отечественные информационно-телекоммуникационные технологии программного обеспечения в целях противодействия деструктивной информации, экстремистской и террористической преступности. Предложено также сократить объемы использования иностранных информационных технологий и телекоммуникационного оборудования, посредством которых реализуются возможности искусственного интеллекта». Судя по тому, что это уже третья встреча научного совета по искусственному интеллекту в этом году, Совбез активно занимается темой. В мае эксперты рекомендовали госорганам «проработать вопрос о создании специализированного межведомственного центра исследований» по информационной безопасности ИИ. А в январе — определили направления научных исследований по обеспечению безопасности ИИ и обсудили подготовку соответствующих кадров. Помимо Совбеза о рисках, связанных с иностранным искусственным интеллектом, беспокоится МИД. Месяц назад официальный представитель министерства Мария Захарова заявила на презентации учебника «Международная безопасность в эпоху искусственного интеллекта», что «воспитанные на западных исходных данных модели даже без стороннего вмешательства будут действовать в чуждой нам смысловой и идеологической парадигме». Всё это возможные предвестники новых инициатив в сфере регулирования развития ИИ, которое пока остаётся весьма мягким.

Доверенный ИИ в Сингапуре #иб_для_ml #ai Model AI Governance Framework for Generative AI Краткий обзор Обширный документ, рассматривающий множество факторов, влияющих на все этапы жизненного цикла создания и внедрения продуктов на основе технологии безопасного/доверенного ИИ. Говорится как про практики разработки и развертывания моделей ИИ, так и до, например, механизмов регистрации инцидентов с ИИ и даже каких-то способов реагирования на них (правда, уже пост-инцидентного по большей части). Раздел Incident reporting Авторы предлагают обратить внимание на три вещи: 1️⃣Информирование сообщества о найденных уязвимостях. Сделать аналог CVE, и с помощью Bug Bounty собирать базу уязвимостей ИИ-систем. Без конкретики. 2️⃣Определение "серьезных" инцидентов. Здесь авторы ссылаются на отчет Организации Экономического Сотрудничества и Развития (o_O), OECD, под названием "Defining AI incidents and related terms". В целом определение что просто инцидента, что обычного инцидента - это событие, которое приводит к смерти человека, серьезному ущербу здоровью, нарушению работы критической инфраструктуры или серьезным нарушениям прав и собственности. Разница только в величине урона, например травма/смерть человека. При этом формулировка почти такая же, как в EU AI ACT, на который OECD и ссылается. 3️⃣Информирование сообщества о произошедших инцидентах в каком-то утвержденном формате. Тут предлагается перенять практику "Центров обмена информацией и анализа" (ссылка, ссылка; центры в США и Европе по типу НКЦКИ, только в виде частных НКО под отдельные отрасли, например FS-ISAC, Health-ISAC, и т. д.). В целом все понятно: обнаружил серьезный AI-инцидент по определению выше - в течение 15 дней (прописано в EU AI ACT, опять же) уведомляешь какой-то аналог ISAC для AI. Раздел Security Тут более техническая сторона освещена. 0️⃣Надо применять принципы безопасной разработки (SDLC). и при этом не забывать помнить, что к ИИ нужен свой подход. Во-первых, отслеживать чистоту данных на обучение и на вход, что особенно сложно, если ИИ-система мультимодальна. И во-вторых учитывать вероятностную природу ИИ, что накладывает доп. сложности на отслеживание состояния системы. 1️⃣Как избежать проблем? Первое - детектить небезопасные входные данные (промпт-инъекции, вредоносный код и т. д.). Второе поинтереснее - проводить специальную ИИ-форензику данных для реконструкции инцидента, и, возможно, для извлечения вредоносного кода, введенного каким-то образом в модель. Тут мне лично не понятно, что все это значит, если есть идеи - пишите в комментах. 2️⃣Моделировать угрозы, используя MITRE ATLAS. Обошлись без фантазий. В заключение - полезный документ, чтобы с нуля начать въезжать в тему безопасности ИИ. Но конкретики и пользы для прикладных специалистов в фреймворке немного.

OpenAI - новый вектор развития? #ai #иб #mil Источник

Today, Retired U.S. Army General Paul M. Nakasone has joined our Board of Directors. A leading expert in cybersecurity, Nakasone’s appointment reflects OpenAI’s commitment to safety and security, and underscores the growing significance of cybersecurity as the impact of AI technology continues to grow.

Кто такой Пол Накасоне? Официальная биография ➡️Окончил 5 профессиональных образовательных учреждений, 3 из которых - военные. Профиль - командование и разведка. ➡️От офицера до штабного руководителя и рук. служб киберразведки, работал с заданиями в Южной Корее, Ираке, Афганистане. ➡️Руководил АНБ и киберкомандованием армии США до 2 февраля 2024. Какие задачи он может выполнять в OpenAI? 1. Кибербез как услуга? Вряд ли. То есть создание системы анализа данных для решения задач ИБ, поддержки принятия решений (СППР) для специалистов SOC и CISO. Было бы вероятно, если бы не два фактора. На рынке, в том числе от Microsoft, есть уже решения класса СППР: MS Security Copilot, Google Chronicle Duet AI, IBM QRadar Advisor with Watson, Crowdstrike Charlotte AI, и прочие. И второе - это специфика задачи анализа данных с помощью трансформеров. Она заключается в том, что каждый вид табличных данных можно сравнить с новой модальностью, новым языком для модели - будь то логи событий, сетевого трафика, или телеметрия действий пользователей в системе (DLP). И под каждую задачу нужно обучать свой трансформер. Я думаю, эта игра для OpenAI не будет стоит свеч. 2. Кибербез своей компании? Вряд ли. Слишком мелкая для генерала история. У них уже есть для этого Head of Securirty, Matt Knight. Который, кстати, заявлял как-то про сотрудничество с DARPA. Да и Накасоне не строил никогда SOC, он offensive-специалист. 3. Разработки в военной сфере. Мультимодальные модели для управления роботизированной военной техникой - наилучшее решение одного из главных вызовов человечества сегодня. Этим занимаются уже по всему миру, как Россия и ее союзники (танк, вертолет), так и Китай (турель), например. Можно еще вспомнить пример с Тheranos и министром обороны США Джеймсом Мэттисом (ссылка). Он вошел в совет директоров компании, после чего министерство заключает с ней контракт, и CEO компании Холмс становится самой молодой женщиной-миллиардером. В случае с OpenAI, конечно, нет причин ожидать каких-то коррупционных действий, а вот новые военные контракты - вполне. При чем есть ведь не только США, есть еще НАТО, например. В заключение могу только выразить уверенность, что это лишь еще одна разыгранная карта в большой партии.

Новый канал Я завел отдельную ленту новостей, куда буду выкладывать по мере ресерча ссылки и документы. Будет полезно для ml-разработки как таковой, ml в иб, безопасности ml, и других окрестных тем. Чего здесь будет мало, так это материалов по аппаратным и программным уязвимостям. Фокус на материалах по атакам через манипуляцию данными (и моделями, если повезет). 🔗@mlsecfeed

Искусственный Интеллект: от мифов к реальности #ai #технологии 🔗Ссылка🔗 🔖В соавторстве со Львом Палеем (@WMXWAS) и Анной Олейниковой вышла моя статья про ИИ. Какая разница между ИИ и ML, чем принципиально характеризуется его применение на практике? Какие он несет риски для людей и общества, какие угрозы от него вызывают страх?.. Про все это мы подробно расписали в статье, вышедшей сегодня на CyberMedia. Анонсы интересностей внутри: ➡️Что такое парадокс Джевонса сегодня, и каким он был сто и двести лет назад? ➡️Как с помощью LASER можно контролировать ИИ?.. (я про это уже немного писал тут и тут, кстати) ➡️Проблемы энергетики двух подходов к супер-ИИ в цифрах (про это тоже был когда-то у меня пост) ➡️И еще множество различных фактов и ссылок. С радостью приму ваши отзывы в комментариях!

Фиксируем технические проблемы и поступают жалобы пользователей о сбоях в работе сервисов Steam. Служба мониторинга работы сайтов, приложений и веб-сервисов.

#праздное Полная профдеформация - это когда о сбоях работы Steam'а ты узнаешь из канала ГосСОПКи...

Визуализация в ИБ #visual #иб Рассказать историю, донести мысль, подвести человека к идее. Всегда в общении пригождается искусство донести всю суть своего толкования так, что собеседник не просто приложит усилия его запомнить, но запомнит, обдумав и поняв ключевую мысль вашего доклада, сообщения или речи в диалоге. И каналом общения, лучше всего подходящим под такую задачу, является зачастую не аудиальный (восприятие на слух), а визуальный. Важно отметить, что выделяется отдельно дискретный канал (визуальный, но через цифры и текст) - он слишком характерно отличается от остального визуала. Так что же такое визуальный канал передачи информации - графики, дашборды и просто графическое оформление мыслей? Как им пользоваться наиболее эффективно, и на каких принципах он основан? А также - в каких случаях в информационной безопасности необходимо применять знания этих принципов? Я со своей коллегой из Security Vision выпустили в блоге нашей компании статью на Habr, где подробно разобрали эти вопросы. Приглашаю... к прочтению) https://habr.com/ru/companies/securityvison/articles/817011/

#праздное Фотки вокруг и внутри форума