ML&|Sec Feed

Attention Heads of LLM — A survey Трансформеры это всё ещё чёрный ящик или уже нет? За последние несколько лет мы сильно приблизились к пониманию функций отдельных компонент языковых моделей, лучше понимаем, как они приходят к тому или иному выводу, и главное — как можно влиять на процес их "размышений", редактировать отдельные факты в памяти и многое другое. В этой статье собрали в кучку всё, что известно о функциях голов внимания в LLM с очень красивыми схемами и таблицами. Вот только небольшая часть: - Associative Memories Head - Truthfulness Head - Semantic Induction Head - Global Retrieval Head - Subword Merge Head Поэтому, если хотите погрузиться в интерпретируемость трансформеров — очень рекомендую полистать этот обзор. Статья

Гляди, запись доклада тRAGедия LLM выложили в ВК ТГ ☄️

✔️ Книга+практика : Understanding Deep Learning Книга “Understanding Deep Learning” посвящена идеям и принципам, лежащим в основе глубокого обучения. Подача материала построена таким образом, чтобы читатель мог понять материал настолько эффективно, насколько это возможно. Для читателей, желающих углубиться в изучение, в каждой главе приведены соответствующие задачи, записные книжки по Python и подробные справочные материалы. В первой части книги представлены модели глубокого обучения и обсуждается, как их обучать, измерять их производительность и улучшать эту производительность. В следующей части рассматриваются архитектуры, которые специализируются на изображениях, тексте и графических данных. Для свободного понимания этих двух глав требуется понимать принципы линейной алгебры, матанализа и теории вероятностей. Последующие части книги посвящены генеративным моделям и методике обучения с подкреплением. Эти главы требуют больших знаний в области теории вероятностей и математического анализа. В последней главе обсуждается этика искусственного интеллекта и призыв к практикующим инженерам задуматься о моральных последствиях своей работы. Автор книги: Simon J. D. Prince - почетный профессор информатики в Университете Bath (Великобритания) , со-автор более 80 опубликованных исследований в области ML. Научный сотрудник, специализирующийся на искусственном интеллекте и глубоком обучении, он руководил группами ресерча в Anthropics Technologies Ltd, Borealis AI и других компаниях. Дополнительно, на отдельном сайте книги, читателям доступны: 🟢ответы на наиболее частые вопросы студентов; 🟢ipynb - ноутбуки для практических занятий по материалам книги; 🟢интерактивные иллюстрации по темам; 🟢презентации по каждой главе для преподавателей, которые захотят построить свое обучение на содержимом книги; 🟢большой список статей по 12 направлениям для продолжения обучения после прочтения книги: AI Theory, Transformers & LLMs, Unsupervised learning, Natural language processing, Computer vision и др. ▶️Дата последней актуализации книги : 28 августа 2024 года. 📌Стоимость: бесплатно 🟡Сайт книги 🖥Github @ai_machinelearning_big_data #AI #ML #Book

Вышло два интересных обзора от НИУ ВШЭ: 1. ИИ для кибербезопасности: тренды и востребованность 2. Как повысить безопасность разработки и использования ИИ? Первый обзор опирается на исследование InfoWatch, посвященное утечкам данных. Фишинг выходит на новый уровень, и не зря в CyberSecEval 3 первые две категории риска посвящены этой же теме. В отчете "ИИ для кибербезопасности" указаны тренды по разработке блокировки ботов через GenAI, исследования в области анализа кода на уязвимости через LLM, а также растущий интерес компаний к адаптации ИИ-решений для кибербезопасности. Второй отчет описывает различные этапы подготовки ИИ-решений и затрагивает уже актуальные проблемы: отравляющие атаки, очистку данных, фильтрацию данных на выходе из модели и т.п. Также из отчета узнал, что недавно был принят закон о страховании рисков от применения технологий ИИ для разработчиков, работающих в экспериментальном правовом режиме. В мае при поддержке Минцифры был создан консорциум, который занимается вопросами безопасности ИИ. Вероятно, новый проект ФСТЭК будет также рассматриваться в этой экспертной группе. Всё больше профильных работ привлекают внимание к теме AI Security, что помогает адаптации новой технологии.

https://github.com/elder-plinius/L1B3RT45 про этого я так понял речь

Для тех, кому интересно покопаться в сравнении разных LLM Artificial Analysis запилили большой отчет со сравнительным анализом ведущих моделей. Тут есть сравнение по чему только хочешь: от цены и длины контекста до скорости инференса, способности кушать PDF-файлы, наличия интерпретаторов кода и качества создания диаграмм. И графики, конечно, в отчете тоже присутствуют. МНОГО графиков. Кстати, интереснее всего выглядит картинка со сравнением длин эффективных контекстных окон. Аналитики утверждают, что тестировали этот аспект вручную, и что только Claude Pro выдерживает больше, чем 40к токенов: у остальных после этой отметки якобы сильно падает перформанс. Отчет полностью можно посмотреть здесь

✔ xLAM: семейство больших моделей действий для расширения возможностей систем агентов ИИ Серия больших моделей действий от Salesforce, предназначенных для задач агентов ИИ. Включает пять моделей с плотной и смешанной экспертной архитектурой, варьирующейся от 1B до 8x22B параметров. По использованию инструментов превосходит GPT-4, Claude-3 и многие другие модели. ▪Статья: https://arxiv.org/abs/2409.03215 ▪Модели: https://huggingface.co/collections/Salesforce/xlam-models-65f00e2a0a63bbcd1c2dade4 @data_analysis_ml

Real-Time-Voice-Cloning — клонируйте голос за 5 секунд, чтобы генерировать произвольную речь в реальном времени 4️⃣ GitHub

Поняла, что уже почти год мы с командой занимаемся рекомендательными системами, в которые включаем различные дополнительные представления. В основном ориентируемся на текст, поэтому активно исследуем применение LM-ок в рексисе. За это время я почти не делилась своими мыслями об этом экспириенсе в канале. Недавно, читая очередную статью про рексис на трансформерах с MoE (некоторые идеи в статье показались спорными — 50 звёзд, и я пишу следующий пост, где объясню почему))), выделила несколько ключевых моментов, которые, на мой взгляд, важны для развития рекомендаций с внедрением мультимодальной информации о контенте и товарах Краткое повторение, как строится рексис на трансформерах: 🧢Базово — ID товара становится токеном в словаре. То есть это координата по оси x в embedding-слое. Каждый ID уникален. Не хотите увеличивать размерность по мере роста товаров? Хотите добавить текст? Окей, есть способы адаптировать словарь, но сегодня не об этом 😑Сегодня я хочу поделиться выводами, которые вынесла за время работы с рекомендациями: 1️⃣ Использование текстовой информации как дополнения никогда не заменит работу с ID контента. Поэтому либо держите отдельную модель для текста в инфраструктуре, либо комбинируйте. 1️⃣.1️⃣. Использование ID как дополнительной информации, а не основной фичи, может дать хорошие результаты 2️⃣. Можно улучшить модели-кандидаты, применяя подходы из текстовых моделей (но не забывая про первый пункт). Предобучение и последующий alignment показывают хорошие результаты в исследованиях 3️⃣. Корреляционные матрицы к таргету для учёта фичей по-прежнему остаются важным элементом успеха. Важно загружать в модель действительно полезную информацию 4️⃣. Продвинутые методы оптимизации количества параметров (PEFT, MoE) работают по тем же правилам, что и в текстовых моделях, так что можно смело опираться на существующие исследования

Зацените, что нашёл: любое видео на YouTube можно превратить в простой текстовый чат 🤔 Работает просто: перед ссылкой на ролик вставляем ссылку study.new/ — вас перекинет в чат, ИИ подгрузит видео, даст краткое саммари и предложит начать диалог. Самое кайфовое — это ещё и бесплатно.

PostgREST предоставляет полностью RESTful API из любой существующей базы данных PostgreSQL. Он обеспечивает более чистый, более соответствующий стандартам, более быстрый API, чем тот, который вы, вероятно, напишете с нуля. 4️⃣ GitHub

Sweet-Viz — визуализируйте и сравнивайте наборы данных, целевые значения и ассоциации с помощью одной строки кода. 4️⃣ GitHub

Speedml — это пакет Python для ускорения запуска проектов машинного обучения. 4️⃣ GitHub

Наш слоняра, Три Дао. Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили. @ai_newz

Очередной LLM-поисковик по реддиту вышел - https://thegigabrain.com/