Mashkka про Data Science

Открыт прием заявок на Лето с AIRI!⚡️ В этом году мы запускаем Школу совместно с Передовой Инженерной Школой ИТМО. Программа пройдет в Санкт-Петербурге с 20 по 30 августа. 🗓 Подать заявку можно по ссылке до 23:59 14 июля 2024 года. Школа включает в себя лекции, семинары и практическую работу по направлениям: — Мультимодальные архитектуры и генеративный ИИ в промышленности — Модели воплощенного ИИ и обучение с подкреплением в робототехнике — Искусственный интеллект и химия — Доверенный искусственный интеллект 📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд. Подавайте заявки и делитесь постом с друзьями и коллегами!

⚡️AuraFlow v0.1 — новый open-source text-to-image проект на базе диффузионных трансформеров (по сути имплементация ставшей уже закрытой StableDiffusion 3 с некоторыми архитектурными изменениями) Из интересного: 📍заменили в большинстве случаев MMDiT блоки (как в SD3) на простые DiT, что сократило затраты на обучение 📍заменили параметризацию на maximal update parametrization, что позволило повысить предсказуемость поведения loss функции при скейлинге архитектуры (при стандартной параметризации можно учить маленькую модель, скажем с Adam’ом, вполне нормально, но при увеличении размеров модели можно получить взрыв градиентов) 📍Recaption everything — подчеркивает важность текстовых описаний в обучении, авторы пишут, что это дало серьёзный буст в качестве 📍Исследуя параметризацию, авторы пришли к оптимальному размеру модели при скейлинге — 6.8B параметров Модель уже есть в diffusers, откуда её можно просто забрать и поиграться на выходных:

from diffusers import AuraFlowPipeline

Модель показывает SoTA на бенчмарке GenEval — 0.703 (с учётом prompt enhancement) Пока это v0.1 и, судя по всему, скоро нас будут ждать новые версии модели, возможное даже с MoE подходом. А пока предлагаю поиграться с моделью (сам тоже хочу посмотреть степень понимания текстового описания — пишут, что модель очень хорошо ему следует) — черрипики в закрепе как всегда прекрасны😉 🟢Блог 🟢Веса модели @complete_ai

#пятничныемемасы Я точно выберу клубничку, так как от синий веет противным мятным вкусом

⚡️Свежий апдейт LLaVA-NeXT LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models LLaVA-NeXT — опенсурс мультимодальная диалоговая модель для работы с картинками и текстом. Основной контрибьют — добавили разные режимы «перемешанных» (interleaved) изображений и текстов. Таким образом модель может решать задачи с одной картинкой, несколькими изображениями, несколькими кадрами видео и несколькими ракурсами одного объекта (полезно кстати для задач робототехники и анализа картины мира). Все эти задачи заправлены в новый M4-Instruct сет на 1+M сэмплов. И также есть бенч на этот же спектр задач. Архитектурно — ничего нового. Обучали с модели, которая до этого работала только с одной картинкой, то есть тюн с изменением структуры диалога хорошо ложится поверх VLM (совершенное открытие!). Но безусловно, очень ценны данные и бенч. Статья Код M4-Instruct

🌸Oxford LLM School 2024🌸 #nlp #про_nlp Открыт прием заявок в Oxford LLM School for social sciences! Если у вас гуманитарный бэкграунд, и вы хотите погрузиться в устройство LLM и начать изучать их влияние на общество, то это отличная возможность! В программе: вводные лекции в архитектуру языковых моделей, их применение, оценку, агенты. А ещё практические семинары и коллаборативные проекты! Среди лекторов в этом году Гриша Сапунов и я. Буду читать про оценку LLM и какую-то часть про агенты. Когда: 23-27 сентября 2024 Где: Nuffield College (University of Oxford) Дедлайн подачи заявок: 29 июля! 🟣Сайт школы: https://llmsforsocialscience.net 🟣Подать заявку: https://llmsforsocialscience.net/posts/apply

🌐Digest полезных материалов по Research 💭Советы по Peer Review Подборка материалов по мотивам недавнего paper watch про то, как ревьюить статьи и как проводить peer review. 1️⃣ACL Rolling Review тьюториал 2️⃣Этический код ACL (ACL code of ethics) Anna Rogers про Peer Review (часть 1 и часть 2) 3️⃣Advice on peer review from Mirella Lapata et all 4️⃣Подскаст (работает под VPN!) с Noah Smith про ревью 5️⃣Статья If you can’t be kind in peer review, be neutral #usefullinks

👣По следам вебинара Дерево решений - простой и интерпретируемый ML-алгоритм Делюсь записью открытого урока про деревья решений, а также прикрепляю все материалы к посту. ✅А если хотите освоить другие методы машинного обучения, то записывайтесь на курс ML proffesional, старт уже в июле. 🫥Запись 💭Слайды 🤖Практика #ml #otus

🫥Paper Watch: как ревьюить статьи? В одном из выпусков #paperwatch рассказывала про то, как писать статьи и делать research, а сегодня @alenusch делится опытом peer review. Краткое пособие того, как правильно писать ревью на ARR ACL и других международных конференциях. 💭Запись 🏠Слайды

🤖Уже сегодня, 8 июля, жду вас на открытом ML вебинаре по ML Сегодня, 8 июля в 18.00, на открытом вебинаре в OTUS расскажу про Деревья решения (aka Decision Tree) - удобный и интерпретируемый ML алгоритм. Для участия в вебинаре зарегистрируйтесь по ссылке и приходите в 18.00. ✅А если хотите освоить другие методы машинного обучения, то записывайтесь на курс ML proffesional, старт уже в июле. ⏰Когда: 8 июля в 18.00 🏠Где: после регистрации

#вопрос_подпискича (special for @green_zanuda) Помогают ли методы борьбы с галлюцинациями ИИ для борьбы с галлюцинациями интеллекта естественного? Контекст: Вопрос по мотивам очередной веселой опечатки на фото в посте, когда мой естественный интеллект переглюкнул от слова совсем. 🙃Ох, если бы все было так просто! Моя невнимательность — моя боль. Я путаю имена, а иногда и слова. Опечатки преследуют меня всю мою жизнь, самозарождаясь в моих постах, сториз и даже текстах в рилс. 🙃AI, редакторы и фотошоп помогают справляться с собственными галлюцинациями, но неизбежно создают свои, которые бывает еще сложнее отловить. Grammarly может переписать текст так, что вечно компрометирующий меня T9 просто курит в сторонке. Фото, улучшенное с помощью ИИ, подкинет тебе свинью, когда ты уже вставишь его на слайд в презентацию. А потом кто-то из зрителей заметит, что у тебя что-то не то с пальцами или появились странные артефакты в глазах. 🙃Самый надежный метод борьбы с галлюцинациями пока что остается проверять-перепроверять-перепроверять повторно и попросить проверить кого-то из друзей. Вангую, что и в этом тексте самозародились опечатки, если найдете, пишите, пожалуйста, про них, как и про опечатки в любых других постах. Я это очень ценю! 💭#вопрос_подписчика — НЕрегулярная рубрика, в которой я под настроение ВЫБОРОЧНО отвечаю на те вопросы, про которые мне есть что сказать. ❓Если у вас есть что спросить, то пишите свои вопросы/просьбы строго в комментариях к постам этой рубрики и обязательно помечайте тэгом #вопрос_подписчика. Для самых классных и интересных я по мере сил буду стараться писать в ответ посты. @mashkka_ds