Data Secrets

Самое грустное расставание этого года: PyTorch больше не будет выпускать пакеты для Anaconda 💔 Из-за неоправданно высоких затрат на обслуживание PyTorch больше не будет делать отдельные сборки для conda (то есть такие, которые зависят от предустановленных в анаконде библиотек). Вместо этого любителям конды разработчики предлагают перейти на wheel или conda-forge пакеты pytorch-cpu и pytorch-gpu.

У Meta FAIR вышло новое исследование про декодирование в трансформерах В чем исходная проблема декодирования? На выходе LLM генерирует набор токенов и вероятностей выбора этих токенов. А дальше из этой выборки токены выбираются с помощью параметров Temperature, Top-k и Top-p. Это инференсные переменные, то есть они задаются уже на этапе генерации. Например, их можно указать в API OpenAI и других вендоров. Все они, в целом, отвечают за одно и то же: насколько разнообразной с точки зрения токенов будет генерация. Мы можем выбирать больше токенов с меньшей вероятностью, и тогда генерация получится более креативной, но повышается риск галлюцинаций. Или наоборот, и тогда ответ будет более точным и кратким, но, возможно, что также получится слишком унылым и сухим. Если хотите подробнее – почитайте этот наш пост. Ну а что, если мы хотим выбор этих параметров убрать и автоматизировать декодирование? Можно ли сделать так, чтобы LLM сама регулировала свою креативность в зависимости от того, с чем работает? Эту задачу и попытались решить в Meta. Они предложили добавить в трансформер еще один слой, который обучается оптимизировать скрытые предпочтения пользователя (почти как на этапе RLHF). Для этого используется ревард модель. Получается, что таким образом модель учится как раз тому самому поиску баланса между фактологией и разнообразием. Исследователи проверяли модель на разных бенчмарках, требующих разных подходов. Оказалось, что такой подбор параметров работает лучше любого статического выбора (см. графики). А самое интересное, что метод-то, получается, подходит для подбора любых гиперпараметров, а не только температуры и вот этого всего. Оригинальная статья тут

В октябре в Италии прошла RECSYS 2024 – крупнейшая в мире ML-конференция, полностью посвященная рекомендательным системам. Какие самые интересные работы на ней показали? Об этом уже через неделю подробно расскажут ребята из AI VK. Они устраивают митап с разбором самых занятных и полезных из представленных на конфе статей. В программе интересные доклады и время для нетворкинга. Все это в ламповом итальянском настроении в офисе VK 🤌 Если хоть немного интересуетесь рекомендациями, обязательно приходите: будут затронуты и базовые темы (классическеие модели, семантические эмбеддинги), и более продвинутые топики вроде глубоких рекомендательных сетей. В качестве приятного бонуса о своих работах расскажут также исследователи из русскоязычного комьюнити, чьи статьи были приняты на конференцию в этом году. Встречаемся 21 октября в офисе VK. Не пропустите регистрацию!

В этот раз праздник к нам приходит вместе со сгенерированной рекламой от CocaCola Зрители, конечно, недовольны. Многие пишут в Твиттере, что это «мусор» и «уродство», а CocaCola обленилась. Ага, а вы попробуйте сами такое запромптить 🧐

Google DeepMind покинул Франсуа Шолле: он собирается открывать собственную компанию Шолле – один из ведущих исследователей Google (был им) и создатель Keras. Если не знаете его – то вот тут мы писали о его недавнем интервью, а вот здесь собирали некоторые его мудро-забавные цитаты. Он написал, что будет продолжать участвовать в развитии фрейворка, а роль руководителя проекта передает Джеффу Карпентеру. Сам Шолле вместе с другом начинает работу по открытию компании и скоро обещает поделиться новостями.

Яндекс приглашает на «Ночь опенсорс библиотек» — ивент для тех, кто интересуется открытым кодом На мероприятии вы сможете законнектиться с мейнтейнерами крупных опенсорс проектов и внести свой вклад в их развитие, даже если это ваш первый коммит. А еще будет возможность познакомиться с кейсами оптимизации обучения с помощью CatBoost и YaFSDP. Там же будут мини-хакатоны, лекции, воркшопы, экскурсии и генеративная визуализация с лайфкодингом под живую музыку. Узнать о других активностях и зарегистрироваться на ивент можно на сайте до 4 декабря.

Как работают SSM – главные конкуренты трансформеров? SSM (State space models) были изобретены еще в 60-е годы. Тогда они использовались для моделирования непрерывных процессов. Но не так давно было придумано, как использовать SSM в глубоком обучении, и теперь они – главные кандидаты на роль новой серебряной пули архитектур. Например, Mistral недавно сделали на основе SSM модель Codestral, которая на метриках разбила почти все другие открытые модели. Понятная схема того, как работает архитектура – наверху. Если присмотреться, то станет понятно, что SSM – это умный вариант RNN, а матрицы А, В, С и D – аналоги гейтов забывания, входного состояния и выходного состояния из LSTM. Но главная прелесть SSM в том, что она построена на стыке двух мощных архитектур: сверточных нейросетей и рекуррентных. Да, все обучаемые параметры можно собрать в единое ядро и использовать его для свертки. Получается, что мы можем использовать все плюсы (и в частности линейность) рекуррентных нейронных сетей, но при этом представлять их как сверточные, которые в свою очередь можно распараллелить. Если хотите немного подробнее прочитать об SSM – загляните в нашу статью про конкурентов трансформерам. Там найдете и понятное объяснение принципа работы RNN, и пошаговую экскурсию по SSM, и даже про самые свежие Mamba и Hawk сможете почитать.

OpenAI обсуждают строительство датацентра стоимостью $100 млрд Компания уже поделилась своими планами с правительством США. Этот проект напоминает старую историю с суперкомпьютером Stargate. Еще в начале своего сотрудничества с Microsoft стартап обсуждал его строительство со спонсорами, но тогда денег не дали 😭 Сейчас в OpenAI возвращаются к давней мечте и обещают, что мощность нового датацентра достигнет 1 гигаватт. Это примерно в 7 раз больше самых больших существующих на данный момент кластеров.

Ночью Google появилась на Arena со своей новой экспериментальной моделью Gemini-Exp и… забрала первое место, стрельнув даже выше o1 и 4о Ждем от OpenAI мощную ответку

Небольшая подборка мемов на вечер в догонку к нашей статье про YOLO. Пояснительную блигаду ищите тут

История YOLO: новая большая статья от нашей редакции YOLO или You Only Look Once – это, пожалуй, самая известная архитектура компьютерного зрения. Она знаменита своей скоростью, качеством, а еще богатой историей. Первая версия YOLO вышла еще в 2016 году, в последняя, одиннадцатая, всего месяц назад. За 8 лет YOLO пережила много сюжетных поворотов и технических прорывов. Об этом – наша новая большая статья, в которой вы узнаете: ⚪️ Что представляет из себя задача детекции, чем она отличается от других задач компьютерного зрения и как ее решали до YOLO ⚪️ Как работала самая первая YOLO (будет много деталей и схем!) ⚪️ Какие технические новшества помогли второй версии вырваться в SOTA ⚪️ Почему отец-основатель архитектуры ушел из проекта и какие последние изменения он внес ⚪️ Что не так с YOLOv5 или почему Ultralytics пришлось два года отмывать свою репутацию ⚪️ Почему все обожают YOLOv8 ⚪️ И что происходит с моделью сейчас Если давно хотели погрузиться в CV – это ваш шанс. Так что присаживайтесь поудобнее (ну или сохраняйте ссылку на будущее): https://datasecrets.ru/articles/20

Красивая идея для петпроекта от Roboflow: CV-тулза для спортивной аналитики Относительно недавно компания сделала анонс своей новой линейки моделей sports, а сейчас вот активно приглашает участников сообщества контрибьютить. С чем возникают особенно большие проблемы по словам авторов и за какой вклад они будут особенно благодарны: ⚙️ Мяч. Из-за его небольшого размера и быстрых движений отслеживать его трудно, особенно на видео высокого разрешения. ⚙️ Номера на футболках. Игроки постоянно закрывают друг-друга, оборачиваются, бегают и так далее. Поэтому с точным считыванием информации с футболок тоже пока неидеально. ⚙️ Сами игроки. Тут проблема такая же, как с футболками. Для точного определения оффсайдов и подобного точность должна быть очень высокой, а игра постоянно находится в динамике и FPS запредельный. ⚙️ Повторная идентификация игрока. Игроки в одинаковой форме часто визуально похожи, особенно издалека, а камеры двигаются. Поэтому отдельные трудности вызывают ситуации, когда некоторые игроки покидают и снова входят в кадр. ⚙️ Калибровка камеры. Это одна из самых сложных технических проблем подобных инструментов: все из-за динамической природы спорта и меняющихся углов обозрения. Так что если хотите поэкспериментировать или знаете, как такие проблемы решать – советуем: отличная возможность попрактиковаться, забрать крутой проект в резюме, да еще и получить ачивки от крупной компании.

Бывает: Google Gemini словил выгорание и выпустил пар прямо с диалоге с ничего не подозревающим юзером 100% понимания 🍊

Белое хакерство в LLM – новое исследование от Anthropic Jailbreak Rapid Response: так называется свежая статья от самых больших любителей поковыряться под капотом моделей. На этот раз они предлагают подход к обнаружению и блокировке новых методов джейлбрейка, то есть "взлома" моделей. Взлом тут – это попытки с помощью каких-то хитрых промптов заставить модель выдать неэтичную информацию, которую ей выдавать запрещено (рецепт коктейля Молотова, например). Метод у них забавный: они показывают LLM один из вариантов джейлбрейка и просят ее генерировать больше таких примеров. Потом просят генерировать больше примеров, основываясь на том, что она сгенерировала раньше, и так далее. Таким образом у нас растет огромный синтетический датасет, на котором можно обучить что-то врожде классификатора. В качестве "классификатора" ученые тестировали Regex, Guard Fine-tuning, Embedding, Guard Few-shot и Defense Prompt. Лучше всего себя показал Guard Fine-tuning – самый ванильный вариант, при котором мы просто дообучаем модель на экземлярах положительного и отрицательного класса. Результаты в итоге получились даже лучше, чем у методов статической защиты, которые сегодня обычно используются в продакшене. Guard Fine-tuning отлавливает в 240 раз (!!!) больше атак на "похожих" на датасет примерах и в 15 раз больше джейлбрейков на не представленных в трейне вообще. Статья полностью тут, а еще к ней есть открытый репозиторий с кодом, можно поэкспериментировать. Наши предыдущие посты-разборы интересных работ Anthropic про alignment и интерпретируемость в LLM: – Та самая статья про Golden Gate – Продолжене этой статьи, в которой рассказывается про управление мыслями LLM – Про то, как модели читерят во время обучения – Про математические фракталы в картах гиперпараметров – Что мешает нам понимать черный ящик нейросетей

Много новостей от OpenAI этим утром. Насобирали целый дайджест! ➡️ Самое главное: по словам инсайдеров, в январе OpenAI запускает ИИ-агента Operator, который сможет автономно управлять компьютером и выполнять какие-то действия за человека: писать код, бронировать путешествия и тд. Сообщается, что это не единственный проект компании, в котором они работают над ИИ-агентами. Напоминаем, что агенты – следующая ступень развития ИИ по мнению Альтмана, и в недавнем интервью он говорил, что выйдут они на нее уже очень скоро. ➡️ На сайте OpenAI опубликовали крутое руководство пользователя ChatGPT для студентов. Это, по сути, полезные советы о том, как использовать GPT так, чтобы учеба стала проще и приятнее. Из интересного: советуют прослушивать свои эссе в голосовом режиме бота, чтобы найти недостатки; использовать дедуктивные способности GPT, чтобы проверять свои решения; поиграть с ИИ в Сократовский метод и попытаться его переспорить, чтобы найти пробелы в своих аргументах. ➡️ Еще один сотрудник немного злобно покинул стартап. В Твиттере он пассивно-агрессивно написал, что у компании проблемы с безопасностью (но это мы и без него знали) и с отношением к сотрудникам. Ждем от стартапа релизов и искренне надеемся, что на момент выхода GPT-5 в нем не останется один Альтман

Похоже, у Amazon большие планы: они ставят все на разработку собственного железа и в следующем месяце планируют выпустить чип Trainium 2 Компания вкладывает в это 75 миллиардов долларов, и это не включая 110 миллионов на Build on Trainium – новую программу грантов на ИИ-исследования. Вероятно, победителям Amazon тоже будут «нативно» предлагать свои облачные серверы.

Папа-ветеринар 🥰

Нашли на архиве забавный препринт, в котором исследователи с помощью LLM-симуляции предсказали победу Трампа Сразу скажем: дата сабмита – 3 ноября, за три дня до объявления результатов. А вообще, исследование касалось не только выборов: ученые выясняли, способны ли LLM в целом моделировать поведение общественности и, главное, людей с определенными социальными качествами. В начале проверяли, может ли LLM правдоподобно предсказывать мнение людей в вопросах этического характера исходя из их национальности, пола, возраста и прочего. Для этого использовали WVS, то есть данные Всемирного исследования ценностей. Оказалось, что смоделированная выборка достаточно точно отражает различия и показывает общие тренды, и исследователи пошли дальше. Они заставили агентов голосовать на выборах 2016, 2020 и 2024 года. Но при этом LLM думали не "за себя", а опять же за людей с определенными характеристиками, роль которых как бы играла модель. А чтобы выборка получилась репрезентативная, данные о респондентах брали из ANES (Американских национальных избирательных исследований). В итоге LLM-респонденты предсказали победу Трампа с результатом 300/538. Реальные результаты, тем временем, 312/538. На картинках сверху сперва симуляция, потом реальные результаты по штатам. Посмотрите, как похоже 😲 P.S. Возможно, в ближайшем будущем люди действительно будут использовать LLM в качестве моделирования настоящих социальных исследований? Подвижки в эту сторону уже были (пост про подобное исследование #1, и #2). А вы как считаете?

Кто-то приходит, значит кто-то уходит – в OpenAI все стабильно The Information, видимо, нашли бодрого информатора из OpenAI. Они выпускают уже третью статью про стартап за неделю. На этот раз пишут о том, что Мира Мурати начала успешно хантить исследователей в свою компанию. Точно известно, что к ней, как минимум, ушла разработчица из команды safety, которая отвечала за пост трейнинг, – Миана Чен. Еще говорят, что Мира заполучила Баррета Зофа и Люка Метца. Это тоже бывшие ключевые сотрудники отдела alignment’a. Кроме того, инсайдер сообщает, что OpenAI собирается выпустить полную версию o1 до конца года. Возможно даже на ближайшем devday в конце ноября.

🔎 Системный аналитик с опытом? Добро пожаловать на Weekend Offer от ДОМ.РФ — программу, благодаря которой пройти собеседование и получить оффер можно за одни выходные! Целых три причины, почему вам стоит прийти: — почувствуете уверенность в своем будущем: к офферу прилагаются рыночная з/п, ДМС, компенсация спорта и изучения языков, а также другие плюшки. — сможете работать middle- или senior-аналитиком в крупной компании, где все задачи амбициозные — например, общение с заказчиками, разработка ТЗ для разработчиков и контроль качества; — попадете в дружное комьюнити с яркими ивентами и реальной заботой о сотрудниках. Задачи, стек технологий и подробности на сайте — регистрируйтесь! 🏢