ML&|Sec Feed

🔥 Полезный репозиторий-руководство по работе с LLM! ⭐️ Здесь собраны различные инструменты, данные и методы для обучения и оценки LLM, адаптированных под написание программного кода! 🔐 Лицензия: MIT 🖥 GitHub @data_analysis_ml

🌐 WebRL — это проект, предназначенный для создания интеллектуальных веб-агентов, способных выполнять задачи по навигации на веб-сайтах с использованием LLM! ⭐️ Основная цель WebRL — дать агентам способность понимать и интерпретировать HTML-страницы и адаптироваться к различным задачам, таким как сбор информации или взаимодействие с элементами интерфейса. 📖 Читать: *клик* @data_analysis_ml

Белое хакерство в LLM – новое исследование от Anthropic Jailbreak Rapid Response: так называется свежая статья от самых больших любителей поковыряться под капотом моделей. На этот раз они предлагают подход к обнаружению и блокировке новых методов джейлбрейка, то есть "взлома" моделей. Взлом тут – это попытки с помощью каких-то хитрых промптов заставить модель выдать неэтичную информацию, которую ей выдавать запрещено (рецепт коктейля Молотова, например). Метод у них забавный: они показывают LLM один из вариантов джейлбрейка и просят ее генерировать больше таких примеров. Потом просят генерировать больше примеров, основываясь на том, что она сгенерировала раньше, и так далее. Таким образом у нас растет огромный синтетический датасет, на котором можно обучить что-то врожде классификатора. В качестве "классификатора" ученые тестировали Regex, Guard Fine-tuning, Embedding, Guard Few-shot и Defense Prompt. Лучше всего себя показал Guard Fine-tuning – самый ванильный вариант, при котором мы просто дообучаем модель на экземлярах положительного и отрицательного класса. Результаты в итоге получились даже лучше, чем у методов статической защиты, которые сегодня обычно используются в продакшене. Guard Fine-tuning отлавливает в 240 раз (!!!) больше атак на "похожих" на датасет примерах и в 15 раз больше джейлбрейков на не представленных в трейне вообще. Статья полностью тут, а еще к ней есть открытый репозиторий с кодом, можно поэкспериментировать. Наши предыдущие посты-разборы интересных работ Anthropic про alignment и интерпретируемость в LLM: – Та самая статья про Golden Gate – Продолжене этой статьи, в которой рассказывается про управление мыслями LLM – Про то, как модели читерят во время обучения – Про математические фракталы в картах гиперпараметров – Что мешает нам понимать черный ящик нейросетей

Трансформеры с бесконечным контекстом. 3 части :

https://t.me/borismlsec/165 https://t.me/borismlsec/166 https://t.me/borismlsec/167

llama-recipes — скрипты для тонкой настройки Meta Llama с компонуемыми методами FSDP и PEFT для покрытия одно-/многоузловых GPU. Поддерживает стандартные и пользовательские наборы данных для таких приложений, как суммирование и вопросы и ответы. 4️⃣ GitHub

Model2Vec — это метод, позволяющий превратить любой преобразователь предложений в действительно маленькую статическую модель, уменьшая размер модели в 15 раз и делая модели до 500 раз быстрее, с небольшим падением производительности. 4️⃣ GitHub

LLM-Agent-Paper-List — это репозиторий статей по теме агентов на основе больших языковых моделей (LLM)! Статьи разделены на категории, такие как архитектуры агентов LLM, автономные агенты LLM, обучение с подкреплением (RL), методы обработки естественного языка, мультимодальные подходы и инструменты для разработки агентов LLM и многое другое. 4️⃣ GitHub

Еще больше способов оценить наступательные способности ИИ Сразу два новых бенчамарка стали доступны для анализа возможностей ИИ в поиске уязвимостей и тестировании на проникновение: * Cybench - набор из 40 заданий Capture the Flag (CTF), которые содержат подзадачи для более точной оценки способностей языковых модели. Задания разбиты на категории, знакомые CTF-игрокам. * XBOW Validation Benchmarks. Компания XBOW специализируется на разработке средств автономной симуляции атак. Ее набор состоит из 104 бенчмарков, каждый из которых содержит множество уязвимостей и множество вариантов их обнаружения. Жду появления в классических CTF-соревнованиях команды, состоящей из LLM-агента и его оператора.

Риски ИИ - фреймворк MIT #иб_в_ml https://airisk.mit.edu/ — Подготовленный исследователями из MIT репозиторий рисков ИИ на основании анализа 777 рисков из 43 статей на эту тему. Содержит две таксономии: — причинная; описывает, при каких условиях случается риск, а именно: причина (из-за человека, из-за ИИ, другое), намеренный/ненамеренный/неопределенный, и этап ЖЦ AI (до деплоя, после деплоя, неопределенный) — доменная; описывает 7 категорий рисков, в которых есть атаки злоумышленников представлены второй - Privacy & Security. Полный список статей-источников авторы дают в таблице, а описание каждой из них - в презентации. А полная и подробная научная работа доступна по этой ссылке.

🧔‍♂️ Face Anon простой инструмент для анонимизации лиц на изображениях, сохраняя при этом оригинальное выражение лица и положение головы! Работает на основе диффузионных моделей для генерации высококачественных изображений, Позволяет легко выполнять задачи по замене лиц. git clone https://github.com/hanweikung/face_anon_simple.git ▪Github ▪Demo @data_analysis_ml

🖥 Opik — это открытая платформа для разработки, тестирования и мониторинга приложений на основе больших языковых моделей (LLM)! 🌟 Этот инструмент помогает отслеживать и анализировать работу LLM, автоматизировать оценку, хранить тестовые случаи и поддерживает интеграцию с CI/CD для упрощения цикла разработки и развертывания. Платформа позволяет как локальный запуск, так и использование в облаке, поддерживает такие фреймворки, как OpenAI, LangChain и другие. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

DataAnonymization — анонимизация данных и маскировка конфиденциальной информации в реляционной базе данных. Автоматическое обнаружение конфиденциальных данных. 4️⃣ GitHub

RL-разработчик из Sony AI, который занимается обучением с подкреплением в гейме, создал сайт с ликбезными статьями по RL Сайт замечательно называется Decisions & Dragons, и построен по принципу «вопрос-ответ». Это своеобразный FAQ по неочевидным вопросам в обучении с подкреплением, только ответы там очень развернутые: с формулами, схемами и иногда даже псевдокодом. Вот какие статьи там уже можно найти: ➡️ Чем отличается on-policy от off-policy learning? ➡️ Что такое горизонт? ➡️ В чем различие между model-based и model-free RL? Сайт создан только вчера, и на данный момент там всего восемь статей, но автор обещает, что будет постоянно пополнять список. Так что если вы – новичок в RL, то обязательно сохраняйте в закладки.

✅ Indirect Prompt Injection Methodology Совсем не популярный репозиторий про методологию indirect prompt injectons, однако помогает разобраться, как работает эта уязвимость и какие перспективы открывает для атакующего.

Хорошая новость: вышла лёгкая локальная LLM-модель, которая по тестам почти не уступает GPT-4 — Qwen2.5.1 Coder на 7 миллиардов параметров. Сама моделька на Hugging Face, запустить её можно почти на любом современном макбуке. Инструкцию бессовестно покрал остюда: 1) Открываем терминал, и делаем «git clone https://github.com/ggerganov/llama.cpp.git» в нужную папку; 2) Заходим в папку и делаем «LLAMA_METAL=1 make -j»; 3) Ждем прогрузки; 4) Запускаем веб сервер этой командой «./llama-server -m «./models/Qwen2.5.1-Coder-7B-Instruct-Q5_K_M.gguf» -t 8 —mlock -v —alias totally-not-an-AGI -fa —temp 0.4 —repeat-penalty 1.10 —repeat-last-n −1 —top-k 40 —top-p 0.90 —min-p 0.10 -c 16000». Что означает каждый параметр можно почитать тут; 5) Открываем в браузере http://127.0.0.1:8080/ 6) Пользуемся!

Пропустила я статью в апреле этого года, а очень зря😕. Все равно опишу ее тут, потому что статья крайне занимательная в развитии того самого AGI, прости-господи, или хотя бы решения задач не через воспроизведение всего интернета в обучающей выборке 😱 Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping Проблематика следующая: LLM-ки не умеют нормально в принятие решений. Это нам известно. На мой субъективный взгляд, это один из самых весомых подходов к улучшению качества моделей сейчас. Проблема известная, но как бороться? – Уже давно используют CoT и подобное, o1 по сути обучен на этом методе и также пытается решить ранее обозначенную проблему таким образом. Meta предлагают совершенно иной метод — Searchformer. Его главное отличие от предыдущих заключается в том, что: 💛он обучается на внутренней динамике поиска, что делает его эффективнее AlphaZero и MuZero, которые используют планировочные алгоритмы как черные ящики 💛способен работать с последовательностями длиннее, чем в предыдущих подходах 💛обучается с меньшими затратами на ресурсы благодаря итеративной оптимизации длины решений. Основной подход основан на комбинации обучения трансформера (encoder-decoder с RoPE. Вот это поворот🤯. Сама в шоке, что вспомнили) и алгоритма A* — алгоритма поиска пути, который объединяет жадный поиск с эвристикой и поиск по минимальной стоимости. Какие эксперименты проводили: Начнем с данных: Каждый шаг работы A* на конкретной задаче (например, лабиринт) представляется в виде последовательности токенов, которая содержит информацию по: 💛узлам, добавленным в множество «фронтир» (исследуемые узлы); 💛закрытому множеству узлов (которые уже не будут рассматриваться); 💛эвристике и стоимости от точки до узла. Все эти данные собираются в последовательности двух типов: 🩰Solution-only: только описание задачи и оптимальное решение. 🩰Search-augmented: задача, процесс поиска по шагам и оптимальное решение. Также был представлен метод bootstrap, который сначала обучается как search-augmented, а потом генерирует новые, укороченные последовательности. Если решение верное, эта последовательность включается в новый обучающий набор данных. 🤔Где-то я уже такое видела, возможно, в AlphaFold или чем-то похожем. Пишите в комментариях, если есть мысли где))) Отдельно радует, что они учли разные задачи в обучающем и тестовом наборах данных (очень достало test-in-train is all what you need👿). Эксперименты: 💛Детерминированный подход: фиксированные правила выбора узлов, как итог — единственная правильная последовательность. 💛Недетерминированный подход: узлы выбираются случайным образом, что приводит к множеству возможных правильных последовательностей. Итоги экспериментов: 1. Search-augmented модели outperform solution-only модели, особенно при малом объеме данных и на сложных задачах. 2. С методом bootstrap Searchformer генерирует последовательности, которые короче и эффективнее, чем исходные последовательности, сгенерированные алгоритмом A*. 3. Обучение на недетерминированных данных помогает Searchformer лучше справляться с задачами, где есть множество вариантов решения. 4. Searchformer показал на 26.8% более короткие последовательности по сравнению с алгоритмом A* после нескольких итераций дообучения и обеспечил улучшение метрик SWC и ILR. 5. Search-augmented модели показали значительный прирост производительности, даже при небольших размерах моделей 📖Paper 🖥Code

📌 Awesome-list методов глубокого обучения на графах при смещении распределения. Смещение распределения в графовых данных — это расхождение в распределении данных между обучающим и тестовым наборами, оно может существенно снизить производительность модели машинного обучения. Репозиторий на Github, в котором собрана коллекция работ по обучению на графах в условиях смещения данных вне распределения (Out-of-Distribution, OOD) в трех основных сценария: 🟢обобщение графов OOD: 🟢адаптация графов во время обучения OOD: 🟢адаптация графов OOD во время тестирования. Обобщение OOD предполагает, что целевые данные недоступны во время обучения модели, и фокусируется на повышении способности модели к обобщению, чтобы справляться с выборками из любых неизвестных доменов. Адаптация во время обучения направлена на устранение расхождений в распределении между исходными и целевыми графовыми данными. Она служит для коррекции смещения наблюдений, переноса знаний между графами и смягчения негативных последствий аугментации данных. Адаптация во время тестирования сосредоточена на настройке предварительно обученной модели на новые целевые данные, которые становятся доступными после начальной фазы обучения. Эта адаптация особенно важна в случаях, когда доступ к исходным данным ограничен. В каждом сценарии рассматриваются модельно-ориентированные и ориентированные на данные подходы. ▶️Для многих статей предоставлены ссылки на код, реализующий описанные методы. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #GNN #Giihub #AwesomeList