AI - Arseny Ivanov

С Новым годом, чат! Побольше вам счастья и достижений в Новом Году! Творите и сочиняйте ❤️

Чуть отчитаюсь за классную встречу, которую удалось организовать ) Провели культурное мероприятие и отметили мой день рождения в бывшей старинной скульптурной мастерской :) Меня очень радует, что у меня есть такие друзья, которые достигают больших целей и творят безумное. Спасибо всем, вы лучшие !! Классно, что удалось встретиться и так хорошо завершить год, люблю вас чуваки!! P.s. Торт с from transformers import Llama - это сильно, спасибо ❤️

Я тут скину свои заметочки которые писал для себя. Может быть будут кому-то полезны 👉👈 #nlp #transformers Building blocks Vanilla Transformer T5 (Text-to-Text Transfer Transformer) BERT (Bidirectional Encoder Representations from Transformers) RoBERTa (Robustly Optimized BERT Pretraining Approach) DeBERTa (Decoding-enhanced BERT with disentangled attention) Text Representations (Embeddings) NLP metrics #mlsystemdesign Recommender System (Movie) Search Ranking Entity Linking System #ml Gradient’s Optimization Methods Behavioral Interview

Я обещал Марку скинуть)) Да и пусть тут побудет, ибо очень классно расписано )

На выходных прошел финал ЛЦТ Якутия, концентрация наших ребят была велика. Хочу очень поздравить всех, кто взял топы лидербордов, это мощно! 5 команд из МИСИС разбомбили ТОП-3 =) Хотелось бы отметить решение моих чуваков, с которыми я участвовал в летнем ЛЦТ, когда мы взяли второе место. У ребят (Peach2Win) 1 место 🏆 Это сервис прогнозирования увольнения на основе вовлеченности сотрудников. А внутри: сиамские нейронки для работы с временными рядами, Windows API для получения данных об активности, почтовые краулеры, кафка и дашборды с использованием Chord-RPC. Ставить звезды сюда https://github.com/dmdin/emplobserver

Презентовали на ДОДе AI Knowledge Club вместе с клубами. Огромное количество абитуриентов и заинтересованных людей! Прикольно поделиться опытом и рассказать о возможностях развития в ДСе начинающим ребятам. Теперь вместо DLS, hse, ods можно рекомендовать наш курс ;) 😎

🖼️ Про VQA и мультимодалки. В ходе моего рисерча LLM-агентов, пришла пора позаниматься мультимодалками. Прочитать про агенты на основе больших языковых моделей можно тут. В целом LLM-агенты могут работать и на тексте, просто получая описание состояния среды в текстовом формате, однако добавление других модальностей расширяет способности к генерализации и ризонингу всей системы. В мультимодальных моделях, наверное одна из главных проблем, это как поженить две модальности так, чтобы, например, вектора текста и картинок были в одном латентном пространстве. Потому что если вы заэнкодите как-то свои картинки, например, вижн-трансформером, а потом подадите контакт векторов в model.generate(), LLMка просто не поймет скаляров от изображений. Собственно, мультимодальными моделями я решил позаниматься решая задачу VQA. Если зайти на HF в раздел multimodal models, можно увидеть большую кучу моделек на вкус и цвет. - Из базированных щас BLIP, BLIP-2, CLIP, VILT. - На хайпе щас LLAVA, kosmos-2.5, ShareGPT4V, Qwen-VL, OpenFlamingo2. Хорошо структурированая мистраль Nous-Hermes-2-Vision - Mistral 7B. - Можно пробовать не брать что-то готовое, а работать с каждой модальностью по отдельности. Например для текстов брать любую encoder BERT-like модель, для изображений, например, ViT и его разновидности и дальше скрещивать. Задача лмки в VQA - отвечать на поставленный вопрос по изображению. И вот тут для валидирования и оценки качества можно использовать разные метрики. Если у вас бинарная или многоклассовая классификация, можно взять обычные классификационные метрики, если вы смотрите на текст из предикта, то перплексия, WER, Rouge-скоры. Есть и бенчмарки для проверки VQA моделей: новый MMMU - модели нужно выбрать верный вариант ответа. Мой VQA реализован на открытом датасете Balanced Binary Abstract Scenes. Реализованы тюны VILT, BLIP, BLIP-2, и собрал свои кастомные модели RoBERTa+VIT, RoBERTa+DeiT. В ближайшее время постараюсь натюнить LLAVA. 🫦 Реализацию глянуть можно тут: https://github.com/Arseny5/vqa-research

Ребята сделали сайт для ITAM МИСИС! Очень крутая реализация. Отдельный респект Илье за дизайн и Славе за кодинг. ML-клуб там тоже есть, глянуть тут: https://itatmisis.ru/clubs/ai

Трансляция семинара по ссылке, подключайтесь! 👾 Сегодня нас ждет: обсуждение научных достижений этого года, дискуссия и голосование за самую значимую статью 🍿

🔥 Мы завершили наш курс Introduction in ML - Course 2023 🥳 Ураа, проделана большая работа. Наше DS коммьюнити развивается, мы растем и прем, как слоны. Привлекаем студентов из других ВУЗов. И вот с большой радостью можно сказать, что основная активность нашего клуба в этом году завершена - мы провели курс по введению в машинное обучение для участников нашего объединения. 📰 Наш курс полностью открытый. Мы проводили лекции очно, в нашем университете МИСИС. При этом мы и запарились над инфраструктурой курса. Во-первых, есть возможность посмотреть все лекции в записи, а также ощутить атмосферу наших встреч!) Во-вторых, на сайте AIKC мы публиковали все материалы, включая блокноты семинаров и домашек, так что проходить его могут все желающие когда угодно. 💻 В курсе мы затронули все темы базовых алгоритмов ML. И по итогу содержание вышло такое: 1) Введение в ML и про домены - Мы 2) Начало линейных моделей - Сергей Братчиков 3) Линейные модели продолжение - Даниил Стрижаков 4) Метрические методы - Максим Афанасьев 5) Кластеризация и понижение размерности - Я собсна 6) Деревья решений и бустинги - Лев Новицкий 7) Advanced методы в Machine Learning - Николай Калязин ❤️ Более 280 человек на курсе!!! Конечно же ничего бы этого не было без наших учеников, которые активно приходили на лекции, участвовали в движухах, и шерили его среди знакомых - спасибо вам за это) 👾 По завершению курса в партнерстве с VK Education мы провели соревнование, где можно было применить все знания с курса. Борьба была не хилая. Подробнее про наше партнерство и совместные проекты с VK я напишу позже в отдельном посте) В планах продолжение курса с рассказом про DL, нейронки, свертки, трансформеры, с упором на ML-ops и трендовые ресерчи. Уже сейчас наша команда растет, сложно представить насколько крутым будет наш следующий курс. Возможно мы пойдем на Stepik, попробуем составить конкуренцию на Stepik Awards некоторым курсам )) 😈❤️ Плейлист лекций Сайт с материалами