Градиентное погружение

Я тут недавно зашел посмотреть насколько живой одс и сильно расстроился - он скорее мертв чем жив, а значит пора начинать делать что то свое. Мы с несколькими знакомыми решили стартануть better data community, своего рода флудилка - свалка по интересам для DSов и сочуствующих. Инвайт: https://t.me/+eB60Ru4Geqw4Mzky

Мощняк. Умельцы написали прогу, превращающую видеоролики на YouTube в бесплатное бесконечное хранилище данных. Вот он, прогресс: от магнитофонных кассет ZX Spectrum до записи данных в видосы ютуба. Даже картинка чем-то спектрумовский загрузчик напоминает.

⚡️Завели с командой новый режим нашей диффузионки Kandinsky 2.0 - image fusion. Скоро можно будет попробовать в основном боте модели вместе с другими режимами. Протестил на себе🤗

#чтивонаночь RL + retrival feedback В чем идея: в оригинальном ресерче open ai использовалась схема при которой люди прописывали ревард для ответов модели, что вообще то не оч коректно и не оч скейлиться. Потом они выкинули часть людей и поствили gold RM учиться оценивать ответы, а людей оценивать генерации, писать промпты и оценивать оценку gold rm. А потом добавили вместо людей proxy model которая учиться быть reward model. Что я предлагаю: А зачем нам оценки от людей когда мы можем набрать таски которые легко оценивать по cosine similarity, и мы легко можем сравнить что нам модель наврала, а что нет, давая в качестве reward = cosine_similarity(ground true answer, predicted answer) Собственно, банальный вопрос анальный ответ, взял gpt2(110m), написал простой retrival(возвращает по вопросу -ответу ревард) на sentence transformer, взял trl и поcтавил учиться. А дальше начинается сааамое интересное: 0.37 Question: Sarah didn't like the activity she was doing, but she did it anyway. She felt that it was better than what? Answer: QuestionInvGrooSGroijaWCoSWCGroGroECDGroCVGroDTGroMJGroWCGBTGroDWWCECDGBTECDBMGroJOWCBMFGGroBMWCWCFMLGBTFML КАЗАЛОСЬ БЫ в чем проблема? А все довольно просто, видите ли, ppo+gpt довольно умная штука и отлично умеет находить разного рода локальные минимумы и улетает в них легко и весело, ломая reward и emdedings у sentence transofomer. Я не буду описывать цирк которым занимался по вечерам две последние недели, просто скажу: китайский зло, ироглифы зло, bpe отлично ломает sentence трансформер, в итоге 200 строк кода на эвристики вида (if bad_regex in answer): return 0 А еще очень сильно помог подбор гиперпараметров для KL value и LM weight, cпасибо за уточнение от @nadlskom что каждые 10 эпох open ai прогоняли эпоху классического FineTune(стабилизировало трейн и mean начал быстрее рости) Баги в целом очень специфичные и на некоторые запросы модель по прежнему ломается и бредит(вероятно через пару недель я выложу код + модель поинтереснее с таким подходом), но уже сейчас модель с PPO тюнингом дает +10 к blue score на задаче QA относительно ванильного трейна. Благодарности @nadlskom за внимательное чтение статей, @gradientdip за полезные советы, neverix за поиск багов, @dealer_ai за выслушивание моего нытья, @seeallochnaya просто потому что. Ну и да, очевидно это можно применять к любой задаче которая выглядит как: ну вот input, сделай output похожим на <единственный вариант ответа> сollab если хочется посмотреть на еще багованную версию Примеры генераций: Question: What part of a property may be next to a driveway? Answer: The next part is a house or garage or a garage Question: Jamie wen to the theater near his home. He was surrounded by servicemen. Where might he be? Answer: in the outdoor.

🤗 Optimum Интеграция всем известной библиотеки для конвертации/запуска моделей с разными бэкендами: ONNX RT, Intel Neural Compressor, OpenVINO, Graphcore IPU, HPU. Изменения происходят в несколько строк, но в зависимости от вашего оборудования и задачи можно получить прирост в X раз. Некоторые используют конвертацию в докере, чтобы получить максимальную производительность. Notebooks Github Optimum

💻 Russian Texts Statistics (ruts) 👉 Библиотека разработанная для извлечения признаков из произвольного текста. Работает на русском, но ничего не мешает применить для другого языка. В комплект входят: • Базовые статистики (количество слогов, букв, пробелов и тд) • Метрики удобочитаемости (уже писал о них) • Метрики лексического разнообразия (Индекс Симпсона и тд) • Морфологические статистики Визуализации: — Закон Ципфа — Литературная дактилоскопия — Дерево слов Подойдет в качестве экстрактора для фича инжиниринга к обычному tf-idf или эмбеддингам. github

Кажется на другом конце линии вовсе не нейронка

🔺 TAPE Подъехал первый бенчмарк для оценки моделей во few-shot на русском языке (!) от SberDevices. 〰️ Что это? Сейчас большие языковые модели все чаще используют, добавляя в затравку один или несколько примеров (few-shot). TAPE позволяет оценить, насколько хорошо модель работает в таком режиме. 〰️ Устойчивость к шуму В датасете шесть задач (RuOpenBookQA, RuWorldTree, MultiQ, CheGeKa, Ethics, Winograd) + можно оценить насколько модель устойчива к зашумлению и атакам (опечатки, эмодзи, перестановки слов и т.д.). 👉 Хабр | GitHub | HF

🔥 Scalable Diffusion Models with Transformers Вчера вышла интересная работа от ребят из UC Berkeley и NY University про комбинацию диффузии и трансформеров (Diffusion Transformers или DiT). Ребята заменяют U-Net на трансформер и работают с патчами в латентном пространстве. DiT-XL/2 превосходит все class-conditional диффузионные модели на ImageNet 512x512 и 256x256 бенчмарках и достигает FID=2.27 для низкого разрешения. Более вычислительно тяжёлые DiT позволяют генерировать сэмплы очень высокого качества. статья гитхаб колаб

Бац и вот теперь я frontend Сейчас я нахожусь на хакатоне по разработке приложений для вк. За ночь сделали обучающее приложение на тему ML. Есть тесты и теоретическая информация по основным разделам как классического МО, так и DL. Потыкать приложение можно -> тут Баги, отзывы, комментарии под постом

Самое полезное что есть у трансформера как у архитектры - устойчивость, оч сложно сделать так чтобы градиенты взорвались или на инференсе он разошёлся, поэтому 8бит обучение и инференс, вполне себе рабочая схема(скоро выйдет 4бит инференс, но его пока карты не поддерживают) Ноутбук сборник всяких хаков Автор: @kaggling

Нашел прикольную штуку для создания дата-пайплайнов прямо из интерфейса JupyterLab - Elyra. Причем интересно, что собирать их можно не только из готового кода, но еще и из самих ноутбуков, а также каких-то базовых действий над элементами (скачать, сгруппировать, разделить, соединить файлы и тому подобное). А еще можно пробросить выполнение пайплайна в оркестраторы вроде Airflow или даже (прости, господи) Kubeflow. Кажется перспективной штукой, буду подробнее изучать. В статье ниже можно посмотреть как это выглядит в интерфейсе. 🔗Ссылка #инструменты

10 месяцев Именно столько мы шли к цифре в 2к подписчиков. Чудесный день, не иначе. Спасибо всем тем кто помогал нам репостами. Пройдя рубеж в 1к, мы обещали "радовать постами", что же, самое время собрать обратную связь. Расскажите нам, что нравится или не нравится в нашем контенте, что стояло бы улучшить. Вы также можете задавать свои вопросы к нам в комментариях, мы постараемся ответить.

Kandinsky2.0 Теперь можно попробовать в HF Spaces. Один запрос - 4 фотки. Бегом пробовать -> тык @gradientdip

🔥 Первая модель для генерации картинок для 100+ языков Представляю вам модель Кандинский 2.0, над которой мы в Сбере много работали. Весь код и веса модели в опенсурсе! Принцип её работы - латентная диффузия. Мы взяли мультиязычный CLIP и mt5-small, сделав из них ансамбль. Вы можете проверить её прямо в браузере без какой-либо регистрации! На ваш выбор: генерация картинок или inpainting. @gradientdip статья на хабр гитхаб

Интересно, что интерпретируемость можно разделить на внутреннею и внешнюю. Внутренняя - веса модели, сводная статистика за цикл обучения. Внешняя - анализ объектов на входе и выходе после обучения. При этом мы можем пытаться рассматривать прогноз как на уровне всей модели, её частей/модулей, так и на конкретном примере, с усреднением на весь набор данных. Единичные предсказания иногда способны объяснять прогноз лучше, чем обобщенные, т.к. в них содержится информация о локальной группе. Но как же нам оценивать саму интерпретацию? Можно выдать группе и оценить изменения (профессионалы или непрофессионалы), либо оценивать на уровне функционала задачи без участия человека (корреляция между численным значением интерпретируемости и других важных параметров). Интерпретация обладает свойствами: Выразительность, прозрачность (черный ящик), переносимость (специфика метода), вычислительная сложность. Характеристика хороших предсказаний: контрастность (каким было бы предсказание, если бы входные данные были другими), короткость (никто не ожидает полный список объяснений, достаточно 1-3 причин), социальный характер (группа людей для которых делается предсказание), аномальные или вероятные объяснения. @gradientdip Более подробные разборы конкретных кейсов, алгоритмов и статей по теме можно найти в книге (советую к прочтению): Molnar, C. (2022). Interpretable Machine Learning