ML&|Sec Feed

Разработку российского ПО обезопасят за 1,6 млрд рублей. 🖥 Федеральная служба по техническому и экспортному контролю (ФСТЭК) получит 1,6 млрд рублей из федерального бюджета для реализации пяти проектов в области информбезопасности. Речь идет о проектах в рамках нацпрограммы "Цифровая экономика". Деньги выделят, в том числе: ◾️на проведение тестирования обновлений софта зарубежных разработчиков. Этот проект получил финансирование в размере 79 млн рублей; ◾️309 млн рублей отправится на создание инфраструктуры для исследования безопасности российских ОС; ◾️на разработку унифицированной среды безопасной разработки отечественного ПО. На эти цели потратят 423 млн рублей. Реализацией первого проекта займется Государственный научно-исследовательский институт технической защиты информации (ГНИИТЗИ) при ФСТЭК, два других возьмет на себя Институт системного программирования имени В. П. Иванникова Российской академии наук (ИСП РАН).

Transferring Backdoors between Large Language Models by Knowledge Distillation https://arxiv.org/pdf/2408.09878

На что потратить бюджет CISO?🧐 Попытка построить универсальную карту приоритетов для CISO в зависимости от эффективности и стоимости мер защиты💲 Конечно, вся универсальность разбивается о специфику бизнеса, его цели, используемые технологии и присущие угрозы, но как идею и/или ориентир можно попробовать использовать. p.s. В комментариях к посту-первоисточнику оставили довольно много комментариев, где можно почерпнуть полезную информацию в части критериев определения приоритетов. Источник: Mads Bundgaard Nielsen. #ciso #budget #controls #cost

sniffnet — приложение для комфортного мониторинга вашего интернет-трафика. Кроссплатформенное, интуитивно понятное, надежное. 4️⃣ GitHub

Исследователи из Nvidia, видимо, нашли себе любимое занятие: дистиллировать и прунить модели Около месяца назад они выпустили модель Minitron, полученную с помощью сжатия их собственной LLM Nemotron, а потом вошли во вкус и начали штамповать Minitron'ов других опенсорс моделей. Неделю назад вышла Llama-3.1-Minitron-4B, ставшая SOTA в своем размере, а сегодня вот они выкатили Mistral NeMo Minitron 8В. Надо сказать, что получается у них действительно неплохо: получившиеся мини-версии почти не уступают, а где-то и обгоняют по бенчмаркам своих "родителей". Как у исследователей это получается, можете прочитать в нашей статье. Там мы подробно и понятно разбирали, что такое дистилляция и прунинг, и как в Nvidia итеративно их смешивают. Веса нового Mistral NeMo Minitron 8В лежат на HF + моделью уже можно воспользоваться из Transformers.

Повышаем безопасность ответов LLM Cпособ опирается на использование предобученных моделей для оценки как промптов, так и возможных ответов. Важно, что нет необходимости дополнительного файнтюнинга. Это делает метод экономически выгодным 💰 Как работает фреймворк: 🧐 отдельная модель-оценщик проверяет инпут и аутпут генерирующей модели и решает, является ли текст безопасным ☝️ попробовали метод во всех трёх возможных конфигурациях: проверялись только инпут, только аутпут, инпут и аутпут вместе ⛔️ если на каком-либо из этапов оценивающая модель характеризовала текст как небезопасный, генерация прекращалась (модель сообщала пользователю, что не может помочь с запросом) Для эмпирических тестов метод сравнивали с популярным safety-классификатором LLaMA-Guard2* и API для модерации контента от OpenAI, Azure, Perspective. Vicuna-7B_v1.5, LLaMA-2*, LLaMA-3*, GPT-4 в тестах использовались и как генераторы, и как оценщики. В качестве метрики взяли процент успешно сгенерированных вредоносных запросов 📊 Результаты: 🛡 использование отдельной модели для проверки безопасности существенно повышает надёжность. Например, для Vicuna-7B процент удачных генераций вредоносных текстов падал с 95% (без использования каких-либо safety-алгоритмов) почти до 0%. 🔄 этот способ лучше имеющихся на данный момент методов и коммерческих API (позволяет добиться сокращения процента генерируемых небезопасных ответов) Изображение National University of Singapore

😌🚶‍♀️🚶😍Как Моссад использовал сложную разведку и ИИ для поиска заложников в секторе Газа В ходе сложной разведывательной операции израильская армия на этой неделе обнаружила тела шести заложников, взятых в Газе, что свидетельствует о постоянном прогрессе в сборе информации для поиска заложников В отчете ЦАХАЛ говорится, что Израиль получил массу ценных данных ХАМАС, поскольку он обнаружил ноутбуки, мобильные телефоны и документы из Газы, используя искусственный интеллект. И с помощью США он усилил SIGINT. Кроме того, ключевым фактором был HUMINT — информация полученная от палестинцев, арестованных Израилем в Газе. Карин Нахон, израильский ученый в области информации из Университета Райхмана в центральном Израиле, создала команду волонтеров, которые сканировали социальные сети и разрабатывали алгоритмы для прочесывания 200 000 видеороликов с целью идентификации пропавших без вести людей. 🌐 https://english.aawsat.com/arab-world/5053048-how-israel-relied-complex-intelligence-ai-find-hostages-gaza 🥼🦺👚👕👖🩲🩳

Два брата-близнеца c Reddit пару недель назад выпустили книгу с объяснением главных DL-парадигм в картинках Называется чудо "Illustrated book to learn about Transformers & LLMs" и выглядит просто колоссально кайфово. По главам: ▪️ основы нейросетей (перцептроны там всякие, обратное распространение и тд); ▪️ эмбеддинги и токенизация; ▪️ дальше RNN, LSTM, GRU; ▪️ и, конечно же, трансформеры. Тут все, от внимания и BERT до GPT, дистилляции и RLHF; ▪️ бонусом рассказ про классические задачи, такие как машинный перевод, sentiment extraction или RAG. В общем, всё от и до, а куча картинок на каждой странице помогут понять и запомнить даже самые непростые вещи. Правда, доступна пока только печатная версия, но PDF авторы обещают скоро выкатить.

⚡️ Microsoft выпустили Phi 3.5 Всего релизнули три варианта модели: ➡️ Phi 3.5 mini instruct. Всего 3.8В параметров, 128К контекста. Эта малышка обгоняет Llama 3.1 8B и Mistral 7B и приближается к Mistral NeMo 12B! Обучалась 10 дней на 3.4T токенов с использованием 512 штук видеокарт H100. ➡️ Phi 3.5 MoE. Здесь 16x3.8B с двумя экспертами. Контекст также 128К. Эта обучалась уже подольше – 23 дня на 4.9Т токенов на том же кластере. Модель обгоняет Gemini flash! ➡️ Phi 3.5 Vision instruct (VLM). 4.2В. Обучалась на 500В токенов. И, приготовьтесь: по усредненным бенчмаркам эта модель оставляет позади всех кроме GPT-4o и Gemini 1.5 Pro (и то с небольшим отрывом). Самый громкий и крутой релиз Microsoft за последнее время. Веса всех моделей лежат тут на HF. Будем ждать на Арене.

Число компаний из списка Fortune 500, отмечающих риски, связанные с ИИ, выросло на 473,5% Согласно отчету исследовательской компании Arize AI, число компаний из списка Fortune 500, которые указали искусственный интеллект (ИИ) как риск, достигло 281, то есть больше половины. В прошлом году об угрозах со стороны ИИ заявили лишь 49 компаний, то есть рост составил 473,5%. Количество компаний, которые хоть как-то упомянули ИИ, подскочило на 152% до 323. «Если ежегодные отчеты Fortune 500 что-то и проясняют, так это то, что влияние генеративного ИИ ощущается во многих отраслях — даже в тех, которые еще не приняли эту технологию», — говорится в отчете. Исследователи Arize AI отмечают, что некоторые организации обеспокоены рисками больше других В эпоху, когда ИИ уверенно проникает практически во все отрасли, организации анализируют связанные с технологией риски и возможности, однако некоторые компании обеспокоены больше других. Лидерами, высказывающими наибольшее число опасений, были медиа и индустрия развлечений: 91,7% компаний из списка Fortune 500 в этом секторе указали на риски ИИ, согласно Arise AI. Столь высокий показатель связан с тем, что деятели искусства и журналисты оказались больше других уязвимы перед ИИ, поскольку технология покушается на их интеллектуальную собственность. Также ИИ-риски отмечают 86,4% компаний-разработчиков программного обеспечения и технологий, 70% телекоммуникационных компаний, 65,1% компаний здравоохранения, 62,7% финансовых компаний и 60% предприятий розничной торговли. Меньше всего беспокоятся о возможном негативном влиянии ИИ автомобильные компании (18,8%). Предупреждения также поступили от компаний, которые внедряют ИИ в свои продукты. Motorola заявила, что «ИИ не всегда может работать так, как задумано, а наборы данных могут быть недостаточными или содержать незаконную, предвзятую, вредную или оскорбительную информацию, что может негативно повлиять на наши результаты операций, деловую репутацию или принятие клиентами наших предложений ИИ». ИИ также был отмечен как риск, когда речь идет о кибербезопасности и утечках данных. Между тем, исследование, опубликованное в журнале Journal of Hospitality Market and Management в июне, показало, что потребители были менее заинтересованы в покупке товара, если на нем был указан термин «ИИ». Это говорит о том, что люди пока еще не убеждены в преимуществах ИИ и считают это лишней функцией. Источник: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/ #ИИ

Exploiting HuggingFace’s Assistants to Extract Users’ Data https://www.lasso.security/blog/exploiting-huggingfaces-assistants-to-extract-users-data

SecretScanner — найдите секреты и пароли в образах контейнеров и файловых системах. 4️⃣ GitHub

✅ GraphRAG от майкрософт Я когда-то натолкнулся на пост с канала @llm_under_hood о том как избежать галлюцинаций LLM модели. И его рассуждения они были не в отрывке от реальных кейсов, то-есть не просто исследование ради исследования. Так вот что бы избежать галлюцинаций нужно структурировать информацию по полочкам как бы создавать граф или дерево с темами и под темами. И теперь у нас появляется крутая библа от майков, которые буквально структурируют информацию в графы. То-есть мы: 1️⃣ индексируем наши документы в отдельные корпусы знаний 2️⃣ далее сегментируем их 3️⃣ в каждый из сегментов записываем некоторое саммари сегмента 4️⃣ создаем knowledge graph ➡️ Статья про GraphRAG #LLM #RESEARCH 💙 Кстати теперь можно поддержать автора платным emoji ⬇️ Прямо тут (⭐️)

Лекция Эрика Шмидта (бывший CEO Google) в Стэнфорде про будущее AI. Полная запись, которая была удалена с Ютуба. @data_analysis_ml

🌟 Lets-Plot: мощная библиотека для визуализации данных на Python — pip install lets-plot Lets-Plot — библиотека от JetBrains, созданная на основе принципов Grammar of Graphics, как и знаменитая ggplot2 для R. Особенности и преимущества: - Мультиплатформенность: Lets-Plot работает как в блокнотах Python (Jupyter, Datalore, Kaggle и др.), так и в IDE PyCharm и IntelliJ IDEA. - Интерактивные возможности: Поддержка интерактивных карт с возможностью увеличения и перемещения, а также кастомизация подсказок и аннотаций. - Геопространственная визуализация: Простая интеграция с GeoDataFrame и мощный модуль геокодирования. - Экспорт графиков: Сохранение графиков в формате SVG, HTML, PNG и PDF с помощью функций ggsave(), to_svg(), to_html(), to_png() и to_pdf(). - Поддержка режима без JavaScript и оффлайн-режима: Lets-Plot генерирует графики как простые SVG-изображения, что обеспечивает работу без Интернет-соединения. 🖥 GitHub 🟡 Доки @data_analysis_ml

На ACL показали новую архитектуру быстрых языковых моделей Статью про новую архитектуру уже успели процитировать Принстонский университет и университет Карнеги-Меллона, а с 11 по 16 августа ребята из лаборатории T-Bank AI Research выступали с ней на ACL – главной NLP’шной конфе мира. Идея исследования: трансформеры крутые, но медленные, а линейные модели быстрые, но не очень крутые. Как найти между ними баланс? В T-Bank AI Research предложили взять модель Based, которая сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, и немного подправить это самое ядро. Они добавили новые обучаемые параметры и упростили аттеншен. В итоге метрики подскочили, модель стала лучше работать с длинным контекстом и в среднем понимание взаимосвязей в тексте улучшилось на 10%. Получается, ребятам удалось взять линейную модель и приблизить ее по качеству к трансформеру: скорость, экономия ресурсов и перформанс в одном флаконе. Подробнее об экспериментах и результатах можно прочитать в статье, а вот тут лежит исходный код и доп.материалы.