Mashkka про Data Science

⏩ML Professional webinar playlist (part2) 💭Новая подборка вебинаров Otus, на этот раз с курса ML Professional от меня и моих коллег. ➖Линейная регрессия - ваша первая модель - Игорь Стурейко ➖Дерево решений - простой и интерпретируемый ML-алгоритм - Мария Тихонова ➖Случайный лес - мощная техника ансамблирования в ML - Мария Тихонова ➖Один в поле не воин: методы ансамблирования в машинном обучении - Мария Тихонова ➖Кластерный анализ данных - Мария Тихонова ➖Ищем выбросы методами ML - Мария Тихонова ➖Метод главных компонент для снижения размерности - Мария Тихонова А если хотите поглубже разобраться в подобных вещах и освоить продвинутые методы ML, то записывайтесь на наш курс ML Professional, старт уже 29 июля. @mashkka_ds #otuswebinarplaylist #ml

Открыт прием заявок на Лето с AIRI!⚡️ В этом году мы запускаем Школу совместно с Передовой Инженерной Школой ИТМО. Программа пройдет в Санкт-Петербурге с 20 по 30 августа. 🗓 Подать заявку можно по ссылке до 23:59 14 июля 2024 года. Школа включает в себя лекции, семинары и практическую работу по направлениям: — Мультимодальные архитектуры и генеративный ИИ в промышленности — Модели воплощенного ИИ и обучение с подкреплением в робототехнике — Искусственный интеллект и химия — Доверенный искусственный интеллект 📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд. Подавайте заявки и делитесь постом с друзьями и коллегами!

⚡️AuraFlow v0.1 — новый open-source text-to-image проект на базе диффузионных трансформеров (по сути имплементация ставшей уже закрытой StableDiffusion 3 с некоторыми архитектурными изменениями) Из интересного: 📍заменили в большинстве случаев MMDiT блоки (как в SD3) на простые DiT, что сократило затраты на обучение 📍заменили параметризацию на maximal update parametrization, что позволило повысить предсказуемость поведения loss функции при скейлинге архитектуры (при стандартной параметризации можно учить маленькую модель, скажем с Adam’ом, вполне нормально, но при увеличении размеров модели можно получить взрыв градиентов) 📍Recaption everything — подчеркивает важность текстовых описаний в обучении, авторы пишут, что это дало серьёзный буст в качестве 📍Исследуя параметризацию, авторы пришли к оптимальному размеру модели при скейлинге — 6.8B параметров Модель уже есть в diffusers, откуда её можно просто забрать и поиграться на выходных:

from diffusers import AuraFlowPipeline

Модель показывает SoTA на бенчмарке GenEval — 0.703 (с учётом prompt enhancement) Пока это v0.1 и, судя по всему, скоро нас будут ждать новые версии модели, возможное даже с MoE подходом. А пока предлагаю поиграться с моделью (сам тоже хочу посмотреть степень понимания текстового описания — пишут, что модель очень хорошо ему следует) — черрипики в закрепе как всегда прекрасны😉 🟢Блог 🟢Веса модели @complete_ai

#пятничныемемасы Я точно выберу клубничку, так как от синий веет противным мятным вкусом

⚡️Свежий апдейт LLaVA-NeXT LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models LLaVA-NeXT — опенсурс мультимодальная диалоговая модель для работы с картинками и текстом. Основной контрибьют — добавили разные режимы «перемешанных» (interleaved) изображений и текстов. Таким образом модель может решать задачи с одной картинкой, несколькими изображениями, несколькими кадрами видео и несколькими ракурсами одного объекта (полезно кстати для задач робототехники и анализа картины мира). Все эти задачи заправлены в новый M4-Instruct сет на 1+M сэмплов. И также есть бенч на этот же спектр задач. Архитектурно — ничего нового. Обучали с модели, которая до этого работала только с одной картинкой, то есть тюн с изменением структуры диалога хорошо ложится поверх VLM (совершенное открытие!). Но безусловно, очень ценны данные и бенч. Статья Код M4-Instruct

🌸Oxford LLM School 2024🌸 #nlp #про_nlp Открыт прием заявок в Oxford LLM School for social sciences! Если у вас гуманитарный бэкграунд, и вы хотите погрузиться в устройство LLM и начать изучать их влияние на общество, то это отличная возможность! В программе: вводные лекции в архитектуру языковых моделей, их применение, оценку, агенты. А ещё практические семинары и коллаборативные проекты! Среди лекторов в этом году Гриша Сапунов и я. Буду читать про оценку LLM и какую-то часть про агенты. Когда: 23-27 сентября 2024 Где: Nuffield College (University of Oxford) Дедлайн подачи заявок: 29 июля! 🟣Сайт школы: https://llmsforsocialscience.net 🟣Подать заявку: https://llmsforsocialscience.net/posts/apply

🌐Digest полезных материалов по Research 💭Советы по Peer Review Подборка материалов по мотивам недавнего paper watch про то, как ревьюить статьи и как проводить peer review. 1️⃣ACL Rolling Review тьюториал 2️⃣Этический код ACL (ACL code of ethics) Anna Rogers про Peer Review (часть 1 и часть 2) 3️⃣Advice on peer review from Mirella Lapata et all 4️⃣Подскаст (работает под VPN!) с Noah Smith про ревью 5️⃣Статья If you can’t be kind in peer review, be neutral #usefullinks

👣По следам вебинара Дерево решений - простой и интерпретируемый ML-алгоритм Делюсь записью открытого урока про деревья решений, а также прикрепляю все материалы к посту. ✅А если хотите освоить другие методы машинного обучения, то записывайтесь на курс ML proffesional, старт уже в июле. 🫥Запись 💭Слайды 🤖Практика #ml #otus

🫥Paper Watch: как ревьюить статьи? В одном из выпусков #paperwatch рассказывала про то, как писать статьи и делать research, а сегодня @alenusch делится опытом peer review. Краткое пособие того, как правильно писать ревью на ARR ACL и других международных конференциях. 💭Запись 🏠Слайды

🤖Уже сегодня, 8 июля, жду вас на открытом ML вебинаре по ML Сегодня, 8 июля в 18.00, на открытом вебинаре в OTUS расскажу про Деревья решения (aka Decision Tree) - удобный и интерпретируемый ML алгоритм. Для участия в вебинаре зарегистрируйтесь по ссылке и приходите в 18.00. ✅А если хотите освоить другие методы машинного обучения, то записывайтесь на курс ML proffesional, старт уже в июле. ⏰Когда: 8 июля в 18.00 🏠Где: после регистрации