Awesome DL

Не проплаченной рекламы пост) Год близится к концу и я захотел поделиться подборкой ТГ каналов по машинке и глубокому обучению. С многими из них многие из вас уже, полагаю, знакомы, но некоторые среди них могут стать для кого-то открытием. Список не имеет четкого порядка и элементы ниже в том порядке, в каком доставались из сознания автора: 1) gonzo-обзоры ML статей Классный канал с детальными и подробными разборами, во многом вдохновивший меня на создание собственного канала. Кроме того там публикуются новости из мира AI, математики, философии и всякая сборная солянка. 2) Abstract DL Короткие разборы и анонсы разных вкусностей из мира CV, NLP. 3) Concise Research Краткий, но исчерпывающий рисерч в области компьютерного зрения и не только. Если хотите в компактной форме, но при этом в достаточном содержании понять суть статьи - вам сюда. 4) Сиолошная Новости из мира NLP, где иногда разьясняют всякие прикольные штуки и фишки в современном NLP. Новости из мира AI и еще про космос. 5) Что-то на DL-ском Классный блог с аннотациями статей по NLP, CV, находками автора и обзором полезных инструментов и хаков. 6) Love, Death, Transformers Классная подборка всякой всячины из мира AI, от образовательных статей до социальных и житейских моментов. Культура, мемы, веселье. 7) Voronkov_AI_RU_public: ChatGPT, langchain, LLM Анонсы и новости из мира глубокого обучения и AI. Преимущественно про NLP, но не только. Сборник новостей, образовательных и обучающих материалов с разных источников. 8 ) grokaem себя Милый и уютный канал, где время от времени появляются хорошие статьи, проясняющие тот или иной концепт из области NLP. Саморазвитие, опросы, разьяснение и разбор распостраненных и не очень ошибок. Классные истории из жизни с счастливым концом. 9) Machine Learning Краткие анонсы и ссылки на разные новинки в области машинного обучения. Преимущественно прикладного толка и с ориентацией на репозитории, где есть разные красивые демки. 10) Awesome DL Отличный канал с разборами статей из разных областей DL разной длины, в том числе и с видеоразборами. 11) Kali Novskaya Преимущественно про NLP, но и не только. Подборка новостей из разных областей. Мемы, культура, искусство. 12) эйай ньюз Просто самый лучший канал.

Наша статья в Daily Papers на HF https://huggingface.co/papers/2312.03511

В далеком 2019 году после завершения стажировки в Тинькофф в качестве риск-аналитика, я решил начать свой путь в области глубокого обучения. Тогда я ничего не знал о глубоком обучении - фреймворки, модели, задачи - все было для меня в новинку. Поэтому я совершил прыжок в неизвестность, начав проходить стажировку в лаборатории МФТИ. Мне пришлось освоить TensorFlow (к счастью, уже был TF2.0, с меньшим числом проблем), изучить GAN (для их сходимости приходилось носить шаманский бубен) и все это для того, чтобы научиться решать задачу восстановления замаскированных изображений (Image Inpainting). В результате за 3 месяца мы разработали небольшое решение, которое было более легковесным и эффективным восстановлению изображений зданий по сравнению с конкурентами. После этого я продолжил изучение других аспектов глубокого обучения в течение двух лет, пока не стал студентом Виктора Лемпицкого, где вернулся к исходной задаче восстановления изображений (inpainting). Нам не удалось поработать долго вместе и мой путь продолжился уже на других задачах. Полгода назад я столкнулся с экзистенциальным кризисом на проекте - понял, что проблемы мультимодальности оказались не такими простыми, как я думал, и решил попробовать другой проект. И, я вернулся к задаче восстановления изображений (Image Inpainting), к которой всегда испытывал особый интерес. За эти 6 месяцев я приобрел богатый опыт работы с обучением больших моделей, подготовкой данных и погружением в одну из моих любимых тем. Во многом мне пришлось разбираться самостоятельно, но я получил отличную поддержку от коллег. Результат моей работы — модель Kandinsky 3.0 Inpainting. Это была увлекательная задача, в которую я вложил много сил и энергии (чего стоил созвон на Арбате в 11 часов вечера с авторами Adobe Inpainting). Я доволен результатам и предлагаю вам самим опробовать мою модель на сайте fusionbrain.ai. P.S. Подробнее со всеми нововведениями модели Kandinsky 3.0 вы можете ознакомиться в посте Желаю всем удачи 🤗

Сейчас идёт конференция AIJ. Интересна она тем, что многие коллеги приурочивают к ней релизы своих наработок, над которыми работали в течение года. Сегодня и завтра расскажу вкратце про наиболее понравившиеся. Kandinsky 3 Да, ребята доучили третью версию модели для генерации изображений. Помимо архитектуры заморочились с данными, чтобы лучше рисовались мелкие детали и сеть улавливала больше культурных нюансов из промта, типа Чебурашки и балалаек. Промпт: Чебурашка ломает небоскребы как Годзилла, photo, artstation. 👉 Хабр | tg-бот

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks 🥱 TLDR: Авторы обучили диффузионную модель решать задачи компьютерного зрения: segmentation/object detection и т.д. 🤯 Мотивация Существует класс моделей Image Editing, которые по инструкции меняют изображение. Например, по запросу "Смени время года на зиму" можно получить точно такое же изображение, но появится снег на изображении. Таким образом можно очень естественно выстроить работу с изображением — говоришь, что сделать, и модель выполняет. Авторы озадачали себя следующим вопросом:

Можем ли мы применять диффузионные модели для решения задач компьютерного зрения, подобно редактированию изображений?

😎Реализация Обучение происходит следующим образом: 1. Берем предобученную модель text2image диффузии. 2. Модифицируем архитектуру модели, чтобы она могла принимать изображения на вход. 3. Дообучаем диффузии на датасете триплетов (исходное изображение, инструкция и финальное изображение) Создание датасета триплетов происходит следующим образом: - Для задач сегментации/детекции отрисовываем полупрозрачные маски сегментации bbox и пишем инструкции ("Обведи кота синей маской"). Полученную картинку используем как финальную в триплете. - Для задач редактирования изображения они создали свой датасет + использовали готовые датасеты по редактированию изображений. 📈Результаты: Модель не сравнивали на классических бенчмарках, поэтому непонятно насколько она близка к SOTА, но авторы отмечают способность обученной модели к обобщению — модель хорошо показывает себя на новых доменах и при решении open vocаbulаry segmentаtion. 🤓Выводы - Сложность работы в сборе хорошего датасета, что подчеркивают авторы. У них вышло собрать только 1M картинок на все задачи, что очень мало и честного сравнения с SOTА не получится. - Создание универсальной модели для изображениями звучит как далекое будущее, но теперь можем ожидать появления модели, способной решать множество задач как в текстовой, так и визуальной доменах. 🔗 Link 💻 Code 🌐 Page

📄 A Picture is Worth a Thousand Words: Principled Recaptioning Improves Image Generation 🏷 Tags: #text2image 🔗 Link: https://arxiv.org/pdf/2310.16656.pdf Проблема обучения больших Text-to-image моделей в том, что соответствие между картинкой и её описанием на собранных из Интернета данных часто очень плохое Авторы предложили очень простую систему для генерации качественной разметки: 1️⃣ Берем предобученную Image-to-text модель и поддатасет тех данных, на которых хотим учится 2️⃣ Делаем качественную разметку поддатасет и дообучаем Image-to-text разметчик 3️⃣ Используем разметчик для получения новой разметки и учим text-to-image модель Число успешных промптов (промпт соответствует изображению) увеличилось на 50+% процентов на human evaluation FID упал с 16 -> 11 на ImageNet 🤔 Мысли автора Это уже не первая идея за последнее время по генерации синтетических данных для обучения генеративных моделей (в текстах и на картинках). Похоже, что мы всё ближе к тому моменту, когда модели будут создавать данные для моделей 🤖 📄 In-Context Learning Creates Task Vectors 🏷 Tags: #llm 🔗 Link: https://arxiv.org/pdf/2310.15916.pdf На больших языковых моделях хорошо работает подход In-Context Learning (ICL) - модели на вход подают несколько примеров с их решение, а затем просят дать ответ на задачу такого же виде (1+1=2; 2+2=4; 3+3=?). Авторы статьи обнаружили, что в ICL модель за счет примеров подаваемых на вход модель выучивает некоторый аналог task vector, который вместе с поданным запросом решает предложенную через демонстрации задачу. Таким образом, если подать на вход ваш запрос и task-vector, то получите +- такое же качестве, что и при полноценном ICL! Протестировали на простых алгоритмических задачах и простых языковых задачах (переведи слово в прошедшее время) и увидели, что такие вектора задач четко можно отделить друг от друга! 🤔 Мысли автора: 1️⃣ Создание некоторых банка решений задач выглядит очень перспективно. Не нужно писать огромный подробный промпт для ChatGPT при каждом запросе. Можно использовать заготовки из банка, решение будет практически мгновенным по времени 😱 2️⃣Интересная параллель с работой TabFPN, где авторы напрямую учили модель делать предсказания, демонстрируя весь датасет. Однако у такого подхода есть очевидный недостаток - большие датасеты не засунуть в модель. Соответственно, если эффективно находить вектора под нужный датасет, то можно решать задачи с минимальным обучением на любом домене!

🥳 Незаметно для меня, на этом канале наступил небольшой праздник – у нас уже 200 крутых участников 😎! Для меня это действительно огромное достижение. Год назад я даже не представлял, что столько людей заинтересуются моим каналом. Мне по кайфу 😎 делиться с вами интересным контентом и создавать новые материалы! 🤔Чтобы продолжать развиваться мне интересно узнать ваше мнение о том, что бы вы хотели видеть на канале? Поэтому предлагаю вам пройти опрос ниже, а также поделиться своим мнением в комментариях 😇 😊Спасибо за вашу поддержку и вдохновение!

У 🤗 месяц назад вышел пост по оптимизации LLMов. Квантизация, FlashAttention, KV-cache, Multi-Query-Attention, Grouped-Query Attention. Это мы читаем/сохраняем. https://huggingface.co/blog/optimize-llm

В Pytorch 2.1 завезли 2:4 semi-structured sparsity! Напомню, что произвольный паттерн неструтурированного прунинга не поддерживается на GPU, но начиная с поколения Ampere реализована аппаратная и программная поддержка 2:4 паттерна, где на 2 позициях из 4 стоят ненулевые веса. В общем случае N:M sparsity N ненулевых весов из M. До недавних пор, чтобы воспользоваться 2:4 sparsity нужно было напрямую использовать ядра из cuSparse или CUTLASS или пользоваться скомпилированной с --sparsity моделью в TensorRT. Но теперь semi-structured sparsity доступна почти всем желающим. Примечание 😐. 2:4 sparsity работает только на Ampere / Hopper. Не ожидайте ускорения на колабовской T4. Теоретическое ускорение и сжатие, которое дает такой паттерн, 16/9 для half precision и 16/10 для int8. Но на практике, увы не все так радужно. Реальное ускорение инференса в районе 10-30% (в хорошем сценарии). Сжатие в 2:4 без дообучения обычно заметно просаживает качество (за исключением совсем больших моделей). Но его можно быстро восстановить, дообучая на целевой задаче. В приведенном примере c BERT качество сжатой модели такое же как у и исходной после дообучения. При маленьких батчах инференс BERT c 2:4 sparsity работает медленее, чем dense матричные операции, но с ростом батча выигрыш от разреженности становится заметным и стабилизируется в районе 20-30%. Заметим, что в BERT сравнительно небольшие матрицы, и на условной Llama выигрыш будет наблюдаться уже на батче с 1-2 последовательностями. Документация в торче Туториал с прунингом BERT Статья Nvidia про 2:4