ML&|Sec Feed

Красотища: фантастическая шпаргалка с фреймворками Python для разных задач. Работа с данными, машинное обучение, визуализация, статистика и веб-скраппинг — есть буквально всё.

⚡️ Whisper Diarization — очень точное распознавание речи прямо в браузере Whisper Diarization совмещает в себе возможности whisper-base и pyannote-segmentation-3.0, двух мощных инструментов для распознавания речи, а также поддерживает 100 различных языков Whisper Diarization работает полностью локально в браузере с помощью Transformers.js и ONNX Runtime Web, без всяких API-вызовов на сервер. 🤗 HuggingFace @data_analysis_ml

Exploring RAG-based Vulnerability Augmentation with LLMs https://arxiv.org/pdf/2408.04125

Кстати про свежий интерактивный Transformer Explainer: мы нашли целый кладезь подобных ему игрушек Вот репозиторий, в котором хранится список инструментов для понимания парадигм ML, DL и математики. Там содержатся ссылки на огромные и супер-подробные системы интерактивной визуализации принципов действия сверхточных нейросетей, внимания, GAN’ов, перцептрона с обратным распространением ошибки, эмбеддингов, дистилляции и мнооого чего другого. Как говорится, лучше один раз увидеть, чем 100 раз услышать. Так что для обучения или просто повторения базы эти материалы ну просто незаменимы. Сохраняйте.

Как оценить возможности ИИ в обнаружении уязвимостей? Мы наблюдали споры о том, способен ли ИИ автономно искать уязвимости. Затем разбирались, в каких именно этапах поиска багов исследователь может повысить свою эффективность с помощью ИИ. При оценке эффективности моделей есть задача в выборе правильной методологии оценки. Пока еще нет единственного универсального подхода к проведению оценки, исследователи закрывают этот проблем различными бенчмарками и фреймворками. Помимо рассмотренной методики от Google, есть еще две свежих работы в этом направлении: * eyeballvul - методика оценки способностей LLM искать уязвимости в широком контексте (например, в целом репозитории кода). Автор взял более 5000 репозиториев, в которых содержится более 24000 уязвимостей, и на этой базе предложил методику оценки. База обновляется еженедельно. * LLM4Vuln - фреймворк для оценки способностей LLM дополнять информацию об уязвимостях новыми данными (например, получение дополнительной информации о контексте). Принимаем мысль, что LLM пока что может использоваться исключительно в качестве ассистента для исследователя, и доводим модели до совершенства в узкоспециализированных сценариях. Фреймворки и бенчмарки в помощь.

Любимое: исследователи из университета Джорджии и IBM подарили миру новый интерактивный Transformer Explainer Это наглядная визуализация того, как работает трансформер под капотом, причем прямо в браузере. Можно менять входы и параметры и наблюдать поэтапно, как все это проходит через сеть. Короче, если до сих пор вы не понимали, как на самом деле предсказывается следующий токен, но с этой тулзой точно преисполнитесь. А заодно и позалипаете 😉 Поиграться с самим инструментом можно вот здесь. Кстати, ко всему прочему ресерчеры еще и статью про него выкатили. Ну как же это красиво

🧠 Взлом ИИ (jailbreak): как обходятся фильтры Атаки и методы взлома продолжают эволюционировать и следовать за технологиями. Развитие AI принесло с собой совершенно новые вызовы, с которыми мы не сталкивались ранее. Технологии, которые должны были облегчить жизнь и повысить ее качество, становятся объектами и целями для злоумышленников, стремящихся найти и использовать уязвимости в системах ИИ. ➡️ В новой статье на сайте рассмотрели нейронные сети, их типы, типы атак на них, инструменты, которые есть в открытом доступе.

⚡️ Очень полезные систематизированные знания по настройкам LLM Большой, постоянно обновляемой список по всем основным моделям. https://docs.google.com/spreadsheets/d/14vbBbuRMEHoqeuMHkTfw3uiZVmyXNuoSp8s-aHvfvZk/edit?gid=0#gid=0 @data_analysis_ml

Очень классный туториал с недавнего ICML: Physics of Language Models. Я бы даже сказала, что это не туториал, а довольно большая работа по LLM explainability. Конкретнее, авторы хотят приблизиться к ответу на вопросы "где находится и как устроен intelligence у LLM" и "что делать, чтобы intelligence усилить, т.е. подойти ближе к AGI". Подход у них довольно интересный. Авторы делят intelligence на три категории: - Language structures. Это о том, как LLM выучивает сложную структуру языка. Т.е. какие механизмы в этом задействованы и как идейно происходит обработка текста; - Reasoning. Это про способность LLM к рассуждениям, выводам и аргументации; - Knowledge. Как устроено хранение информации в LLM, как ей манипулировать и как объем информации, которую вмещает LLM, зависит от количества ее параметров. Изучать это все предлагают следующим образом: давайте для каждой категории сгенерируем синтетические данные с заранее известными свойствами, на которых будем обучать LLM и смотреть, как LLM эти свойства выучивает. К примеру, для language structures авторы предложили сгенерировать датасет семейства контекстно-свободных грамматик со сложной структурой (более сложной, чем у обычных английских текстов). Обучая модель на таких данных авторы смотрят на то, что происходит внутри модели (например, какие паттерны attention активируются) и делают выводы о том, каким образом, каким алгоритмом LLM обрабатывает язык. В посте ниже опишу общие выводы, которые авторы делают из своей работы. А вот ссылки на видео/статьи туториала: Сайт Part 1: Hierarchical Language Structures: - Видео; - Статья на arxiv; Part 2: Grade-School Math: - Видео будет тут после 20 августа; - Статьи на arxiv: часть 1, часть 2 обещают вот-вот; Part 3: Knowledge: - Видео; - Статьи на arxiv: часть 1, часть 2, часть 3

Новый бенчмарк LIBRA для оценки способностей моделей работать с длинным контекстом на русском языке https://habr.com/ru/companies/sberdevices/articles/834638/ Препринт статьи GitHub Лидерборд

О самопочинении примусов агентов На основе последних постов, уже думаю становится ясно какие мультиагентные системы нас ждут в ближайшем будущем: p2p или иерархические, распределенные, с высокой степенью разнообразия, протоколами для координации. Однако, останется открытым вопрос того как мультиагентные системы могут гарантировать стабильностью и работоспособность в непредсказуемой и меняющейся среде. Для ответа на этот вопрос Microsoft подготовили эксперимент Autonomic Computing. В нем они показывают уровни автономности агентных систем с фокусом на саморегуляцию, само-управление и само-починение (self-healing). В частности, интересным результатом эксперимента является классификация автономности саморегуляции агентов, подобно тому как есть уровни автономности самоуправляемых автомобилей. В частности, первый уровень — это следование инструкциям (промту), второй — автоматизация, третий — проактивная оптимизация, четвертый — поиск и исправление root cause (первопричины), пятый — полная автономность своей работы.

BugBounty платформа по поиску уязвимостей в ML-приложениях Преимущественно, как я понял, речь идет о программных уязвимостях https://huntr.com/

Полезное и всестороннее введение в суть понятия MLSecOps https://mlsecops.com/what-is-mlsecops

опа, нам сделали выбиралку покемонов model-free алгоритмов обучения с подкреплением + ссылочки на статейки + ревьюшку можно фильтрануть по пространству действий, по длине траекторий, есть ли экспертные данные и тд. Теперь очень удобно выбирать между DQN и PPO 😑 https://rl-picker.github.io/ статейку полистать: How to Choose a Reinforcement-Learning Algorithm https://arxiv.org/abs/2407.20917

В сети нашли подход, который, возможно, лежит в основе новой OpenAI модели, генерирующей идеальные json О самой свежей модели мы рассказывали тут. Кратко: она выбивает правильный формат json в 100% cлучаев, хотя раньше не дотягивала и до 50%. Вопрос: как?.. Вот это – опенсорс библиотека Jsonformer, которая представляет из себя надстройку над HF моделями, позволяющую генерировать json'ы. Подход прост. В структурированных данных (к коим относится json) многие токены фиксированы и предсказуемы. Например, "{", "}" или ":". И в Jsonformer, вместо того, чтобы доверять генерацию целиком модели, либа заполняет фиксированные токены самстоятельно, а LLM делегирует только "внутренности" словаря. Механика звучит изящно, и при этом работает, как швейцарские часы. Легко верится, что OpenAI крутит под капотом что-то подобное.

Интереснейшая презентация как про основы ML, так и про MLSec https://github.com/moohax/Talks/blob/master/slides/DerbyCon19.pdf

⚙️ Бум! PyTorch представил FlexAttention: новый API, который поможет реализовывать разные варианты внимания всего несколькими строками кода Теперь можно реализовать, например, causal mask, AliBi или sliding window, просто изменяя параметр score_mod, который меняет скор перед софтмаксом. Со стороны юзера – это несколько строк кода, но скомпилированы они так бодро, что по производительности сравнимы с кастомным ядром Triton. Примеры кода и больше подробностей в блогпосте

Курс по NLP https://huggingface.co/learn/nlp-course/chapter1/1