ML&|Sec Feed

На карте российских разработчиков ГенИИ самыми узкими сферами оказались сервисы для генерации кода, картинок и видео Эксперты компании «Технократия» составили карту российских разработчиков решений на основе генеративного искусственного интеллекта, а также сопутствующих инструментов. Все элементы на карте распределены по 13 категориям: большие языковые модели (LLM), ИИ-агенты, голосовые помощники, генераторы кода, генераторы изображений, генераторы видео, генераторы аудио, облачная инфраструктура для ИИ, кибербезопасность, бенчмарки и др. В некоторых категориях указаны компании, а в других — названия непосредственно решений. Ключевые выводы: • активнее всего на карте представлены компании из сфер автоматизации технической поддержки и разработки ИИ-агентов. Наиболее узкими сферами являются сервисы для генерации кода, изображений и видео; • среди разработчиков больших языковых моделей составители карты выделяют «Яндекс» и «Сбер», которые представлены на рынке решениями YandexGPT и GigaChat. Отдельно отмечены решения Open Source Saiga LLM и «Вихрь LLM» (Vikhr), которые адаптировали под русский язык иностранные LLM; • разработчиков ИИ-агентов авторы карты разделяют на поставщиков решений White Label на основе собственных продуктов (JustAI, «Битрикс CoPilot», Sistemma и др.) и разработчиков кастомных ИИ-агентов (R77AI, Napoleon IT, Naumen и др.); • сервисы для генерации изображений, видео и кода также в основном представлены решениями от «Яндекса» и «Сбера», однако компанию им составил сервис для генерации кода от МТС (Kodify); • в качестве поставщиков облачной инфраструктуры для ИИ были представлены компании, которые сдают в аренду вычислительные мощности с GPU. Среди таких компаний авторы выделили Selectel и «Рег.ру», которые могут поставлять видеокарты NVIDIA A100; • эксперты также отмечают, что широко представлен рынок бенчмарков для русскоязычных LLM; • компании из сферы кибербезопасности давно и активно используют ИИ в своих продуктах. Лидерами в этой сфере можно считать «Лабораторию Касперского» и Positive Technologies. Рассмотреть карту → #информационная_безопасность #искусственный_интеллект #генеративный_ИИ #бенчмарк #NLP

An Attentive Graph Agent for Topology-Adaptive Cyber Defence https://arxiv.org/abs/2501.14700 https://github.com/IlyaOrson/CyberDreamcatcher

🐋 DeepSeek cтановится партнёром одной из топовых 💻ИБ-компаний 360 в 🇨🇳Китае 🤔А вот это уже интересно [1,2,3]. Один из главных мастодонтов ИБ в Китае компания 360 Digital Security Group объявила о полномасштабной интеграции своей безопасной ИИ-модели с платформой DeepSeek. Суть интеграции заключается в том, что DeepSeek будет использоваться как базовая платформа нового поколения систем киберзащиты, объединяющих передовые алгоритмы машинного обучения с гигантским массивом данных 360. Главная цель заключается в создании так называемой «автопилотируемой» системы безопасности, которая сможет в реальном времени анализировать и нейтрализовать киберугрозы без участия человека. Ранее основатель 360 Group Чжоу Хунъи пообещал предоставить DeepSeek безвозмездную 🛡комплексную защиту на фоне участившихся кибератак. Если верить заявлениям, то 360 выявила три фазы кибератаки на DeepSeek — первая включала в себя лёгкие HTTP-прокси-атаки. Вторая — рост интенсивности прокси-атак. В третьей фазе в процесс вмешались крупные ботнеты, включая RapperBot и HailBot, которые предоставляют DDoS-услуги по модели «атака как сервис». У многих DeepSeek просто лёг и не мог отвечать на запросы пользователей. Примечательно, что кибератаки внезапно появились после того, как топовые компании в США потеряли почти $1 триллион на NASDAQ. Стоит отметить, что 360 стала первой цифровой компанией в 🇨🇳 Китае, подключившей свой ИИ к DeepSeek. Уже сейчас решения 360 внедрены в критически важные отрасли — государственные учреждения, финансовый сектор, стратегические предприятия, телекоммуникации, образование и здравоохранение. Утверждается, что ИИ от 360 зачастую способен в считаные минуты блокировать атаки шифровальщиков и пресекать сложные целевые кибератаки различных 🥷APTшек. Кроме того, 360 использует концепцию 🤖«ИИ против ИИ» для выявления уязвимостей в больших языковых моделях. Недавно компания провела аудит и обнаружила порядка 40 критических брешей в безопасности ИИ-систем. ===== 🇹🇼♋️ Кстати, Тайвань полностью запретил правительственным учреждениям использовать сервис DeepSeek AI из соображений безопасности, следует из заявления, опубликованного в понедельник на сайте Исполнительного Юаня (правительство) Тайваня. ✋ @Russian_OSINT

#machine #learning #ai #cyber #security Очень объёмный материал на тему использования машинного обучения в кибербезопасности. https://www.researchsquare.com/article/rs-4791216/v1

Вышло свежее исследование от Anthropic про новый метод элаймента LLM Давненько антропики не выпускали крутых ресерчей, а тут сразу очень объемная статья с крутыми результатами, да еще и Ян Лейке (бывший ключевой ученый OpenAI) в соавторах. Разбираемся, что показали 👇 Начнем с того, что стартап уже давно занимается в частности изучением джейлбрейков – техник «хитрого» промптинга, которые позволяют обходить ограничения моделек. В ноябре, например, у них выходила статья (наш разбор) про метод обнаружения новых методов джейлбрейка. Сейчас они тоже показывают что-то похожее: Constitutional Classifiers, то есть систему классификации для защиты LLM. В основе метода safeguard классификаторы, которые обучают полностью на синтетических данных. Такие данные генерируются на основе набора естественно-языковых правил, которые определяют, какие запросы допустимы, а какие должны блокироваться. Эти правила называются конституциями, потому метод и зовется Constitutional. При этом так фильтруются не только выходы LLM (как происходит традиционно), но еще и сами запросы. И такой рецепт в совокупности с качественной генерацией синтетики сработал ну очень хорошо. Надо сказать, что обычно основная проблема таких систем – это то, что они плохо приспосабливаются к новым методам промптинга. Но тут в ходе тестирования не нашлось ни одного промпта, которым бы удалось стабильно сломать защищенную таким методом систему. А тестирование, чтобы вы понимали, было действительно масштабное: Anthropic провели целый хакатон, на котором предлагали до 15к долларов за успешные джейлбрейки. В нем приняли участие 405 человек, включая профессиональных red teamer’ов (это типа белые хакеры в мире LLM). Плюс внутренние тесты стартапа, конечно: у них есть собственная red team. При этом по словам Anthropic процент false positive остается достаточно низким (до 0.5%), так что моделька получается даже не слишком пугливой. В общем результаты крутые, правда. Полностью статью читайте тут: arxiv.org/abs/2501.18837

🔥 DocETL — это инструмент с открытым исходным кодом, предназначенный для создания и выполнения ETL-процессов (извлечение, преобразование и загрузка данных), особенно подходящий для сложных задач обработки документов! 🌟 Он предлагает интерактивный пользовательский интерфейс под названием DocWrangler, который помогает разработчикам итеративно разрабатывать конвейеры обработки данных, экспериментировать с различными запросами и пошагово строить свои процессы. После завершения разработки конвейера его конфигурацию можно экспортировать для использования в производственной среде. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Foundational Challenges in Assuring Alignment and Safety of Large Language Models - обзорная статья, где в параграфе 3.6 Vulnerability to Poisoning and Backdoors Is Poorly Understood раскрыты проблемы отравления трейна и приведены ссылки на исследования такие

Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models - статья с двумя ключевыми положениями. Первое - диффузионные text2image модели, не смотря на миллиарды объектов в претрейне, знания о конкретной концепции или промптом, извлекают на основании всего нескольких тысяч объектов. И это делает их уязвимыми к оставлению бэкдоров на специфичные промпты. Второе - отравленные данные можно крафтить так, чтобы максимизировать устойчивость бэкдора и минимизировать размер отравляющей инъекциию Самый прямой пример атаки отравления претрейна, что я

Любишь ходить на конференции чтобы получить халявный мерч больше информации о современных трендах в мире ИБ? Тогда лови подборку конференций, которые будут проходить в Москве в 2025 году🔥 ➡Февраль 🟣4-5 февраля — Международный форум iFin-2025 «Электронные финансовые услуги и технологии» 🟣5-6 февраля — Большой Национальный форум информационной безопасности ИНФОФОРУМ-2025 🟣11-13 февраля —Юбилейный ТБ Форум 2025 - международный форум «Технологии безопасности» 🟣12 февраля — ИТ-приоритеты 2025 🟣14 февраля — Федеральный форум «Корпорации в цифре» 🟣20 февраля — Информационная безопасность 2025 ➡Март 🟣4-5 марта — Информационная безопасность АСУ ТП КВО 🟣13 марта — Флагманы цифровизации-2025. Технологии — высокие, цели — прагматичные 🟣18-21 марта — Конференция «РусКрипто 2025» 🟣20 марта — Стратегия и тактика информационной безопасности 🟣21 марта — GLOBAL TECH FORUM | Цифровая трансформация и автоматизация бизнеса ➡Апрель 🟣3 апреля — Третья конференция по ИБ АСУ ТП 🟣7-8 аперля — DevOpsConf 2025 🟣10 апреля — Место силы для лидеров информационной безопасности CISO-FORUM 2025 ➡Май 🟣22-24 мая — PHDays 2025 ➡Октябрь 🟣16 октября — Сохранить всё. Безопасность информации ➡Даты уточняются 🟣OFFZONE 🟣SOC Tech 🟣SOC-Forum Не упусти возможность посетить мероприятия, связанные с ИБ, и стать частью большого коммьюнити😎 Если ты знаешь классное мероприятие, связанное с ИБ, но мы не внесли его в наш список, то обязательно напиши о нем сюда⬅️ P.S. Мероприятия в данном сообщении будут дополняться и актуализироваться, а также мы дополнительно будем уведомлять о каждом ключевом мероприятии