Ivan Oseledets’ Channel

Сегодня в рубрике #интересное_в_понедельник новости четверга, потому что вышел новый выпуск «‎Наука для всех» — шоу, в котором ученый объясняет блогеру теорию так, чтобы ее было легко понять и пересказать 💡 CEO Института AIRI, профессор Сколтеха Иван Оселедец вместе с блогером Любой Бич, а также ведущими: комиком Тамби Масаевым и физиком Алексеем Федоровым разбираются в искусственном интеллекте. Смотрите по ссылке 🍿

The Shape of Learning: Intrinsic Dimensions in Transformer-Based Models Препринт нашей новой работы! Оказалось, что языковые модели «упаковывают» свои репрезентации в очень компактное пространство с внутренней размерностью не больше 60. И при этом анизотропия на средних слоях трансформеров-декодеров стремится к единице! Получается, эмбеддинги из середины модели расположены вдоль одной линии. Еще одно интересное наблюдение — обучение LLM делится на две фазы: расширение и последующее сжатие активаций (см. картинку). А перед взрывами лосса их размерность немного подрастает. Статья

Во вторник я был участником международной конференции «‎Нелинейные аппроксимации и дискретизация», посвящённой 70-летию Владимира Николаевича Темлякова в математическом институте РАН. Темляков – это классик по теории аппроксимации функций, профессор университета Южной Каролины, активно работает в России, как руководитель мегагранта и гранта РНФ. 📍 Конференция собрала топовых математиков из России и всего мира: Ronald de Vore, Борис Сергеевич Кашин, Сергей Владимирович Конягин и другие. Нам удалось нащупать целый ряд направлений в ИИ, которые требуют новой математики и новых подходов. Надеюсь, что скоро смогу объявить о конкретных шагах в этом направлении – создании площадки, где «‎чистые»‌‎ математики будут работать вместе со специалистами в области ИИ. Это очень важно в текущих условиях развития технологий. Мое выступление на конференции можно посмотреть по ссылке, таймкод: 5:56:26.

У нас в Институте запустили Портретииста, в котором можно генерить видео в стиле художников на основе фотографий) тоже попробовал с авой канала)

Кстати, сегодня были на хайкинге на 7 километров в гору за классическим Schwarzwalde kirchstorte. Это еще один элемент традиции поездок в Обервольфах. С коллегами из Германии, Италии, Англии и Франции мы обсудили тензорные методы и нейросети. Также поговорили о том, что нужно делать гибридные модели — это может сократить число параметров. Еще, как обычно, было много разговоров об интересной теории. Делюсь фотографиями сегодняшнего дня 📷

Приезд в Обервольфах — замечательный повод вспомнить одноименную математическую задачу! Как я уже упоминал в прошлом посте, организаторы воркшопов и семинаров, проходящих в Математическом институте Обервольфаха, рассаживают гостей во время обедов в случайном порядке, дабы те не общались с одними и теми же знакомыми в течение всего времени. Столы в обеденном зале круглые, но разного размера, а потому вмещают разное число математиков. Собственно задача Обервольфаха формулируется как поиск такого распределения мест за столами, чтобы, с одной стороны, все они были заняты, а с другой — все пары участников встречались за столом только раз. В такой формулировке задача Обервольфаха выглядит как комбинаторная проблема, но ее можно сформулировать более абстрактно, как задачу о покрытиях циклами рёбер полных графов. Для этого мы представляем пары людей во время какого-то конкретного приема пищи с помощью объединения непересекающихся по рёбрам циклов Cₗ определенной длины, где каждому обеденному столу соответствует один цикл. Такие объединения, в свою очередь, представимы через 2-регулярные графы. Если такие графы (назовём их G) имеют n вершин, то задачу можно переформулировать так: всегда ли полный граф Kₙ может быть разложен на непересекающиеся по рёбрам копии графа G? Подробнее с этой формулировкой вы можете ознакомиться в статье Рингеля и Ленца 1991 года. Примечательно, что Рингель изначально сформулировал ее в более простом виде еще в 1967 году, но с тех пор известны только несколько частных случаев задачи Обервольфаха: для одних указанное разложение существует, для других — нет. На картинке, взятой из Википедии, изображено успешное разложение полного графа K₇ на три копии графа C₃ + C₄. Закономерный вопрос: работает ли это на практике? Судя по моим ощущениям, нет — постоянно с одними и теми же приходится сидеть 😄

На этот раз я приехал в Обервольфах — знаменитый математический институт, распложенный в горах региона Шварцвальд, что в Баварии. Это легендарное место, где круглый год проводятся небольшие воркшопы и конференции на 15-40 человек. Здесь все сделано для того, чтобы на неделю отключиться от внешнего мира и перейти в режим активного брейшторма. Похожая концепция появилась у нас в РФ в Сириусе. Обервольфах отличает не только высокий уровень концентрации математической мысли, но и интересные правила и традиции. В первую очередь стоит отметить, что попасть сюда можно только по приглашению дирекции Института и никак больше. Это считается большой честью, а программа воркшопов и семинаров часто прописана на два года вперед. Среди прочих особенностей: полное отсутствие замков на дверях, ограничение Wi-Fi и рандомизированная рассадка гостей за столами во время приемов пищи. Последнее, кстати, стало поводом сформулировать отдельную математическую проблему, которая называется задачей Обервольфаха, но про неё лучше поговорить отдельно. Всё это преследует цель минимизировать барьеры для коммуникации между математиками, а также исключить все факторы, которые могут отвлекать их от дел. Тематика воркшопа, на который я приехал, — аппроксимация функций многих переменных, ключевая задача в машинном обучении. Вчера вечером состоялись coding sessions, где мне пришлось сбросить административные функции и немножко попрограммировать. За первые полдня уже появилось несколько крутых идей!

Сразу после мероприятия в Майкопе я поехал в Москву на конференцию «Электронная торговля-2023» и выступил на пленарном заседании «Адаптируйся или умри! Хорошо, что ученых стали приглашать на такие мероприятия – это радует) Вместе со мной на сцене были генеральные директора и управляющие компаний: HOFF, ECCO, SOKOLOV, Lamoda, Mr Doors, La Redoute, Ostrovok. Сам форум начался выступлением девушек в золотых нарядах и ведущего, но это не смогло отвлечь от серьезности дискуссии. Делюсь рассуждениями спикеров с заседания, в котором принял участие: ▪️Один из главных вызовов — развитие бизнеса в условиях постоянной неопределенности. Это требует гибкости и способности адаптироваться к меняющимся условиям. ▪️Ещё один вызов — нехватка молодых специалистов, компаниям тяжело найти сотрудников. Эту проблему можно постараться решить, если сделать процессы найма проще и быстрее. ▪️И самое важное на мой взгляд: необходимо налаживать связи между бизнесом и наукой. Есть некий разрыв в том, что хочет бизнес, и что могут предоставлять институты, требуется движение навстречу друг другу для минимизации разрыва в ожиданиях. Хорошая новость в том, что ни у кого нет сомнений, что новые технологии на основе ИИ являются неотъемлемой частью преодоления возникающих вызовов. Об этом я и рассказывал во время своего выступления. Как обычно, шерю ссылку на презентацию своего доклада 📎 ❓После доклада меня спросили: насколько мы можем доверять ИИ, если тот все еще совершает ошибки? Это правильный вопрос, и ответом на него является грамотная стратегия работы с ожиданиями. ИИ всегда будет иметь ненулевую вероятность допустить ошибку. К этому нужно подходить прагматично: минимизация рисков ошибок это, прежде всего, вопрос цены ошибок и их количества, на который нужно дать взвешенный ответ при планировании внедрения.

Планирую рассказывать больше про те конференции, в которых я принимаю участие. Сейчас я в Майкопе. Здесь проходит III Конференция Математических центров России, которую организует Кавказский математический центр Адыгейского государственного университета. Это очень крутое событие, и вот почему: ▪️Во-первых, это одно из немногих сегодня мероприятий, куда съезжаются математики не только из обеих столиц, но и из Сочи, Екатеринбурга, Нижнего Новгорода и многих других городов. В этом году в обмене опытом участвуют 260 человек — представители 4 математических центров мирового уровня и 11 региональных математических центров, а также 42 университета страны. Это хорошо, потому что сейчас очень важный момент в развитии математики для ИИ, когда в короткий срок появляется множество свежих идей. Благодаря таким встречам, эти идеи могут тут же распространяться по научному сообществу. И что немаловажно, сюда приехало много молодежи. Доклады и выступления очень интересные, особенно у коллег из регионов. Тот факт, что жизнь кипит не только в Москве, очень радует. ▪️Во-вторых, конференция просто очень здорово организована. На открытии для нас выступала группа адыгских танцоров, а во время кофе-брейка играет живая музыка. Вчера я делал пленарный доклад под названием «Вычислительные технологии решения многомерных задач, искусственный интеллект, нейросеть ChatGPT». Рассказывал про то, что ИИ сейчас очень нужна новая математика и призывал своих коллег включиться в работу в этом направлении. Приятно, что несколько человек из других областей подключились к обсуждению. Делюсь фотографиями со своего выступления, а также ссылкой на презентацию 📎

А вот и одна из первых ласточек популяризации достижений наших исследований – статья про Кандинского, которая «завирусилась» и стала Trending Paper на Hugging face 🔥 Это значит, что совместная статья исследователей AIRI с коллегами стала лучшей за день в одном из крупнейших мировых комьюнити исследователей и ML разработок Hugging Face. Теперь ждем, что хайп перейдет в реальное использование и цитирование этой реально крутой модели. Делюсь постом от одного из авторов статьи Андрея Кузнецова, читайте по ссылке 📎

Делюсь хорошими новостями: у нас приняли две статьи на конференцию NeurIPS 2023 📄 Это очень приятная новость, поскольку в этот раз из 12 343 заявок на главный трек было отобрано всего 26,1%. Попасть лично в этом году на NeurIPS 2023 не так просто, ведь конференция пройдёт в Новом Орлеане. Буду подаваться на визу, так что, возможно, увидимся с коллегами лично) ▪️Первая статья называется «Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning». Она посвящена такой молодой области машинного обучения, как самообучение (Self-Supervised Learning). В ней мы пытаемся разобраться с современными подходами к этой проблеме в контексте matrix completion. ▪️Во втором исследовании под названием «PROTES: Probabilistic Optimization with Tensor Sampling» мы разработали новый метод для решения задачи оптимизации чёрного ящика. Он основан на вероятностной выборке из функции плотности вероятности, заданной в формате низкопараметрического тензорного поезда, и демонстрирует очень хорошие результаты, превосходя существующие методы в экспериментах. Поздравляю соавторов и коллег, работы которых приняли на NeurIPS в этом году!

⚡️Стартовал AIJ Contest – соревнование по ИИ, на которое мы в AIRI подготовили 2 задачи: ▪️Strong Intelligence – задача про мультимодальных чатботов, в ней нужно создать мультимодальную модель, которая обыгрывает знатоков интеллектуальных викторин и покажет высокий уровень эрудиции. Задача помечена на сайте как «суперсложная», так что ловите пост с подробностями от Антона Разжигаева. ▪️Rescue AI – задача про детекцию хромосомных перестроек по Hi-C картам, в ней нужно разработать модель, способную определять изменения в геноме человека. Сложность средняя, пост от Ольги Кардымон с описанием по ссылке. Призовой фонд 11 000 000+ ₽ 🏆 Счастливых вам Голодных игр соревнований, и пусть удача всегда будет с вами 😁

⚡️Всем привет! Это Иван Оселедец — доктор физико-математических наук, профессор РАН, CEO Института AIRI и профессор Сколтеха. Я создал личный канал, в котором буду рассказывать про интересное из мира искусственного интеллекта, комментировать новости и освещать важные инфоповоды. В науке я с 2003 года, закончил МФТИ в 2006, защитил кандидатскую в 2007 и докторскую в 2012 (обе в ИВМ РАН им. Марчука) под руководством Е.Е. Тыртышникова. Тема работ — линейная алгебра, матрицы, потом перешел к многомерным массивам (тензорам). Самый известный научный результат — тензорный поезд («tensor train»), который оказался очень интересным способом сжимать данные. В 2019 за него получил премию Президента для молодых ученых. С 2013 года работаю в Сколтехе, где основной темой стали алгоритмы для глубокого обучения, а в 2023 возглавил Институт искусственного интеллекта AIRI, где мы будем заниматься сильным искусственным интеллектом: мультимодальными и мультиагентными системами. Делюсь ссылками на несколько моих недавних статей: на ICML, на NeurIPS. Все статьи — Google Scholar. Также я частый гость научно-популярных проектов, например, вот недавнее видео проекта "Homo Science". Подробнее про меня и мои исследования можно прочитать на Википедии и в интервью ТАСС. В свободное время я люблю путешествовать, играть в шахматы и проводить время с семьей: женой, которая является к.ф.-м.н., Assistant Professor в Сколтехе и руководителем группы «ИИ в моделировании», и дочкой Настей. Чаще всего работа не отпускает меня даже на отдыхе, что иногда сильно не нравится моей семье :) Подписывайтесь, будем вместе следить за наукой в России и мире! @Ivan_Oseledets