Ivan Oseledets’ Channel

5 апреля участвовал в панельной дискуссии «GPT-5, как догнать и перегнать западных конкурентов в российских реалиях» в рамках конференции GIGA R&D DAY. В сессии мы были вместе с техлидом проекта GigaChain SDK Константином Крестниковым, тимлидом R&D NLP GigaChat Валерием Терновским, руководителем проекта Kandinsky и научным консультантом AIRI Денисом Димитровым, а также старшим научным сотрудником ИЯ РАН Татьяной Шавриной. Модератором дискуссии выступил руководитель исследовательской программы GigaChat и R&D Сергей Марков. Также мы обсуждали, какие есть у российских научных групп пути конкуренции с иностранными компаниями в области искусственного интеллекта и, в частности, в области создания больших языковых моделей. Учёные сошлись во мнении, что необходимо сделать ставку на новые эффективные алгоритмы, которые требуют меньше вычислительных ресурсов, чем прямой брутфорс. → Ссылка на запись трансляции

О результатах и трендах → Качественное изменение в работе языковых моделей напоминает ситуацию с ImageNet. Сейчас мы выходим на плато, когда разница в несколько процентов не так значима, как было на заре популярности ChatGPT. Весь прошлый год прошел под знаком развития текстово-картиночных ответов диалоговых моделей, и ключевой тренд ближайшего будущего — объединение модальностей, понимание различных форматов данных одновременно. → Необходим поиск альтернативных, более устойчивых архитектур, чтобы переходить с большого количества GPU на CPU. → Чтобы партнерские проекты были эффективными, нужно повышать узнаваемость ученых и чаще говорить о практической пользе фундаментальных достижений. Обучая, например, ИИ-помощник врача, ученые получают от одной клиники-партнера много медицинских снимков и мало описаний, а от другой — наоборот. Данные и текстовые описания в разных системах не связываются. Это классическая задача переноса данных, и в ее решении помогут результаты работы Александра Коротина по изучению нейронного оптимального транспорта. О людях и красоте → ИИ отличается от классической математической науки, потому что ИИ это не только научный процесс, но и менеджмент высокого уровня. В центрах ИИ возникли ученые-менеджеры, которые умеют объединять экспертов из разных областей для решения практических задач. Исследования важны, но исследователи — важнее! Помимо интеллектуальных систем, необходимо уделять внимание обучению людей осознанной и эффективной работе с ними. → При наличии бюджета и ставок в компаниях начинается активный найм студентов на первых двух курсах. Часто в результате ребята теряют время и в университетах, и на работе, в итоге оставаясь на линейных позициях. Нужно поощрять осознанное поступление в аспирантуру. Если бизнес заберет всех студентов, он сам же пострадает. → 90% идей появляются внезапно. Этот момент — то, ради чего ученые всей этой ерунд... деятельностью занимаются! Красота науки — это идея. Ее не видят люди. → Физически обоснованный ИИ имеет существенные преимущества над «просто ИИ» в контексте решения сложных научных задач о природодостоверном моделировании процессов. Об этом мы много говорили на сессии ML+Физика с Александром Корсунским. → Увидеть примеры инженерной красоты можно в работах Он-квока Ли.

Вчера мы с коллегами из AIRI целый день провели на конференции Data Fusion. Я принял участие в 3 дискуссиях, одну из которых промодерировал, а еще прочитал лекцию об ИИ и математике. → Записи трансляций уже выкладывают в группу VK, их можно посмотреть по ссылке. Ниже делюсь основными мыслям насыщенного дня, которые хотелось бы зафиксировать.

Вчера поучаствовал в сессии «Высокотехнологичное комбо. Квантовые вычисления и искусственный интеллект» на форуме «Открытые инновации» в технопарке «Сколково». По традиции делюсь основными мыслями и идеями, которые звучали во время обсуждения: → Искусственный интеллект требует вычислительной мощности. Сейчас прогресс идёт полным ходом, но рано или поздно сообщество столкнется с естественным технологическим пределом. Чтобы его преодолеть, придётся пересмотреть саму модель вычислений. То, как работают квантовые компьютеры, вполне может дать подсказку, куда двигаться. → Одна из проблем, которую понадобится при этом решить — налаживание мостов между разработчиками алгоритмов и создателями железа. Первые привыкли к удобству, библиотекам, фреймворкам и всему тому, что позволяет запустить алгоритм нажатием одной кнопки. → Каждый вкладывает в понятие «квантовый искусственный интеллект» что-то своё. Для кого-то это квантовый со-процессор в большом классическом процессоре, для кого-то — обучение на данных с квантового компьютера. → Бывают и «квантово-вдохновленные алгоритмы» — это когда классический алгоритм строится с оглядкой на квантовые процессы. Кстати, тензорные разложения, которыми я занимаюсь более 10 лет, тоже можно считать квантово-вдохновленными, а можно линейно-алгебраическими — хорошесть алгоритма от этого не страдает. → Как ИИ может быть полезен для квантовых вычислений? Мы обсудили несколько вариантов. Это, например, оптимизация железа, частичная или полная аппроксимация при моделировании квантовых процессов, кросс-валидация разных физических теорий на сложных данных. Сессия получилась действительно интересной, а еще на 0:51:39 я рассказываю анекдот, запись тут.

Утром принял участие в панельной дискуссии «Технологии — ключ к суверенитету» на форуме «Открытые инновации» в технопарке «Сколково». Делюсь основными тезисами, которые звучали во время дискуссии: → В своем выступлении я подчеркнул, что наиболее перспективным направлением применения искусственного интеллекта в ближайшие три года должно стать развитие технологий генеративного проектирования. Они могут применяться не только в индустрии развлечений, но и в промышленности, что позволит кратно увеличить количество выпускаемой продукции. → Первый заместитель Председателя Правления Сбербанка Александр Ведяхин развил эту мысль примером Kandinsky. Сегодня аудитория этой генеративной модели насчитывает 12 миллионов человек, большинство из которых дизайнеры. Есть стартапы, которые используют "Кандинского", чтобы зарабатывать, значит — есть готовый продукт. Дальнейший шаг — совмещение дизайнерской генерации и инженерной мысли. После дизайна идёт длинная инженерная стадия, когда готовится документация. Теоретически, ничего не мешает сделать это максимально быстро с помощью ИИ, чтобы от дизайна автомобиля до документации проходили не месяцы, а часы или дни. Эта задача больше, чем то, что может дать Кандинский, но без него тут никуда. Это то, что надо делать однозначно. → Министр экономического развития России Максим Решетников отметил, что введенные правительством меры в рамках технологической повестки дают свои плоды. Компании из недавно введённого реестра малых технологических компаний растут в среднем в три раза быстрее, чем весь сектор малого и среднего бизнеса, значит, создаваемые институты поддержки работают. → Первый заместитель Председателя Правительства Российской Федерации Андрей Белоусов очертил круг направлений, которые будут в приоритете в ближайшие годы. В первой тройке ИИ, медицинские технологии и полупроводниковая электроника. Следом идут зеленые технологии, электромобили и накопление энергии. Запись дискуссии и прямую трансляцию мероприятия можно посмотреть на сайте.

Сегодня мы опубликовали исходный код OmniFusion 1.1, включая веса модели и скрипты для обучения. → Все ссылки (веса и Хабр) собраны в посте Института. Также делюсь статьей в Forbes. От себя хочу добавить, что мы стремимся внести вклад в сообщество исследователей ИИ и поспособствовать дальнейшему развитию мультимодальных архитектур, созданию новых приложений на их основе. Кроме того, мы уже начали эксперименты, которые помогут обучить ее понимать видео и 3D-контент. Также наши исследователи активно сотрудничают с коллегами-учеными из области медицины. Надеемся, что в будущем эти изыскания приведут к созданию принципиально новых инструментов для помощи врачам.

Прошел первый отбор на программу Data Science в Сколтехе, где я являюсь руководителем. Была проделана большая работа по подготовке: больше 50 человек, 5 комиссий из профессоров. На мой взгляд, уровень поступающих достаточно высок. 10 апреля в среду будет еще один День открытых дверей, где я, в том числе, расскажу про DS программу. На мероприятии можно будет познакомиться профессорами и узнать больше о лабораториях Скотеха, а также поговорить с представителями приемной комиссии, которые помогут разобраться в процессе прохождения отбора и подготовки документов. → Регистрация на сайте Сколтеха

Отметили 3 года Института! Сегодня все сердца поста — команде AIRI ❤️

Делюсь хорошей статьей на Хабре, которую написал наш научный сотрудник Антон Разжигаев. В статье — про то, как устроено пространство, в котором думают языковые модели. Публикация попала в топ-5 лучших публикаций за сутки на всем Хабре. → Наша научная статья, про которую написан Хабр, уже опубликована на EACL 🎉

На прошлой неделе побывал на III геофоруме СВФУ в Якутске — это важное и масштабное мероприятие. Участвовал в двух сессиях: круглый стол по ИИ, где обсудили, в том числе, кадровую воронку, про которую я говорил на Дне ИИ на выставке «Россия». На форуме познакомился со многими интересными людьми, договорились о новых проектах. Также послушал лекцию про образовательную программу Сколтеха "Data Science". Кроме меня, две лекции прочитали профессора Сколтеха — Екатерина Муравлева и Александр Михалев. Несколько человек уже собираются податься на программу. К сожалению, в течение длительного времени Сколтех уделял недостаточное внимание различным регионам России, вместо этого отдавая предпочтение некоторым международным направлениям, таким как, например, Тайланд. По моему мнению, крайне важно активно привлекать талантливых студентов из различных регионов РФ. → Делюсь заснеженной фотографией Национального парка «Ленские столбы» в -25°, возраст которого 530 млн. лет.

Вчера побеседовал с главным редактором радиостанции Business FM Ильей Копелевичем. Поговорили про сильный ИИ, машинное зрение и ChatGPT. → Послушать можно тут: https://www.bfm.ru/podcast/547046

Недавно выступил на всероссийской конференции IT Purple Conf, где рассказал про математику искусственного интеллекта. → Делюсь ссылкой на свой доклад и презентацию. А еще хочется поделиться тем, что мы переехали в новый офис AIRI. На фото немного рабочей атмосферы в новом пространстве, где мы сегодня снимали контент для одного телеканала. Обязательно поделюсь, когда фильм выйдет.

Нужно ли читать статьи? На нас валится тонна оповещений в телеграм-каналах, чатах и группах. В исследованиях это даже становится вредным — студенты только тем и заняты, что читают, а не исследуют. Гораздо полезнее сначала что-то сделать, а потом пусть рецензенты ищут, кто и что сделал. Инструменты ускорения и помощи в данном вопросе растут, например, мой любимый Google Scholar выпустил читалку PDF. Если кто еще чем пользуется — пишите в комментарии, а то строка моего браузера выглядит как на картинке. → Ссылка на читалку: https://scholar.googleblog.com/2024/03/supercharge-your-pdf-reading-follow.html

Рассказал РБК Трендам о стереотипах и искусственном интеллекте простым языком, делюсь несколькими идеями из материала: → Не только живые организмы способны распознавать изображения → Логика подвластна не только человеку → Климат не всегда влияет на размер листьев растений → За вымиранием видов не следует их рост Подробнее о примерах применения искусственного интеллекта — в статье.

Делюсь основными мыслями и идеями, звучавшими на пленарной сессии про искусственный интеллект: → Зампредседателя Правительства Дмитрий Чернышенко отметил, что к 2030 году в 5 раз увеличится число выпускников ВУЗов по прикладным специальностям ИИ. Замечательная новость. Чем больше талантов будет вовлечено в серьезную науку, тем больше в стране появится научных лидеров. На мой взгляд, воронка работает так: из 100 магистров получается порядка 10 аспирантов, а из них 1 научный лидер. Этот процесс занимает 8-9 лет. → В 2014 году, когда я представил свою первую публикацию на конференции А*, количество статей от российских ученых на таких конференциях составляло 5-10 в год. В 2023 их количество перевалило за 100. Уже возникли новые научные школы и «точки роста». В первую очередь — сосредоточившиеся вокруг центров ИИ. → Весь прошлый год я наблюдал за практиками развития региональных центров экспертизы. Иннополис, АГУ, Неймарк и многие другие — хороший пример, и тенденция «идти в регионы» видится мне дорогой к усилению уже достигнутых результатов. → Министр экономического развития Максим Решетников отметил, что Россия вошла в десятку лидеров по применению ИИ. В выступлениях Александра Ведяхина и Александра Крайнова было перечислено много успешных тому примеров – в том числе и большие языковые модели, «хорошо чувствующие» себя и на мировой арене — один только Kandinsky обогнал ChatGPT по скорости набора пользователей. → Я заметил, что описать процесс появления крутого и реально рабочего решения можно так: 10 научных лидеров дают 100 идей, из которых рождается 10 прототипов, из которых до внедрения доходит 1. Это абсолютно нормально, так работает поиск в науке. Ни в одной сфере, включая ИИ, до финального решения не доходит 100% начинаний. Так что увеличивая количество научных лидеров, мы вместе увеличиваем количество идей, появляющихся на стыке науки, бизнеса — крупного и стартапов, и государства. И именно коллективная работа — путь к успеху. С начала десятилетия науки и технологий идеи ученых стали более видимыми. Эту тенденцию надо продолжать. Видимость авторов способствует развитию науки и привлечению к ней новых талантов. В запланированное время трансляции не попала последняя часть выступления. Важно держать тайминг :) В своем выступлении я рассказал о том, каких прорывов я ожидаю от научного сообщества в ближайшем будущем: → Генеративные модели в промышленности → Новые и более эффективные методы обучения моделей → Новые архитектуры. В первую очередь мультимодальные и мультиагентные

Сегодня в 10:00 буду участвовать в пленарной сессии про искусственный интеллект на выставке-форуме Россия. Вместе с коллегами из Правительства РФ, Сбербанка, Яндекса, Сибура и Самолета обсудим, почему ИИ — это главная технология XXI века. → Трансляция будет по ссылке, а подробную программу мероприятия можно посмотреть на сайте.

Рассказываем, как исследователи предложили новый подход к изучению активности головного мозга 🧠 Ученые Института искусственного интеллекта AIRI, Сколтеха, МГУ и ИЭФБ РАН впервые математически доказали взаимосвязь бегущих кортикальных волн с вращательной динамикой для нейронных данных. Команда применила методы машинного обучения для анализа пяти датасетов, сделанных на основе экспериментальных наблюдений за моторной и префронтальной корой головного мозга обезьяны и мыши. Предлагаемые методы будут полезны ученым в разработке нейрокомпьютерных интерфейсов и в изучении стимуляции мозга — направлении нейронауки, исследующем возможности лечения неврологических заболеваний. 💡 Делимся ссылкой на научную статью в журнале Scientific Reports и новостью в ТАСС.

🔜 Профессор Сколтеха и генеральный директор Института искусственного интеллекта AIRI Иван Оселедец прочитает лекцию «Математика и искусственный интеллект» на Всероссийской конференции IT Purple Conf. В своём докладе 16 марта учёный рассмотрит, как математические концепции можно использовать для улучшения, анализа и понимания алгоритмов ИИ. Применение уже нашли топология, геометрия, теория редких событий, линейная алгебра, но многое еще не исследовано. И большим вызовом остаются теоретические основы ИИ, которые, возможно, потребуют новой математики. 👉 Участие бесплатное.

Наша статья про применению тензоров для сжатия сетей набрала 1000 цитат на Google Scholar 🔥 Статья появилась как проект на курсе по вычислительной линейной алгебре, который я уже почти 10 лет читаю в Сколтехе. Идея состоит в следующем: сверточные сети 2014 года имели много каналов и большое окно свертки, то есть, представлялись 4-х мерным массивом. Если этот массив разложить с помощью канонического разложения, то получится на 1 слой больше, но число параметров гораздо меньше. Если такую сеть чуть дообучить, то качество восстановится. При этом, до этого была статья ЛеКуна, которая стала триггером — они просто неправильно считали тензорное разложение. Сама идея тензорной факторизации потом была применена для огромного количества сетей, обобщена Сашей Новиковым для тензорных поездов и даже привела к созданию специальных вычислителей, реализующих именно ТТ-разложение в железе (!). А еще, в результате использования канонического разложения получаются depth-wise свертки, и оказалось, что именно их можно использовать в легких нейросетях (MobileNet, EfficientNet) — хочется верить, что наша работа с группой Виктора Лемпицкого на это тоже повлияла.

→ На первый семинар пришло много людей: подтянулись ученые-математики со всей Москвы. Сам доклад был посвящен оценкам в оптимизации, которые получены для выпуклого случая. К сожалению, в невыпуклом эти оценки не работают, и приходится вслепую перебирать параметры. При этом было видно, что часть терминов математикам была непонятна: Александр активно использовал термин «‎батчевый градиент», который вызвал большое недоумение у присутствующих. В конце, однако, удалось сформулировать важный результат: что при параллельном обучении нет большой разницы, как считать градиенты и их синхронизации, и это довольно удивительно. Запись доклада выложена на сайте: https://www.mathnet.ru/php/seminars.phtml?presentid=41639&option_lang=rus → На втором семинаре был доклад Темлякова, который мне понравился. Очень сложные и абстрактные постановки, но они очень подробно и понятно объяснены, в частности, энтропийные оценки для обобщения. Эти оценки предложены Cucker и Smale и частично решают проблему обобщения: почему модели с миллиардом параметров могут хорошо обобщаться при обучении на миллионах примеров, хотя VC (Вапник-Червоненкинс) — размерность огромная. Возможное объяснение в том, что класс функций, из которого выбираются классификаторы, имеет небольшие энтропийные числа. Грубо говоря, k-ое энтропийное число — это минимальное расстояние, которое можно получить, если покрыть все множество 2ᵏ точками (расстояние до каждой из этих точек <= eps). Вот эта «абракадабра» объяснена хорошо. На пальцах: если энтропийные числа убывают как n⁻ʳ, то при m сэмплах данных вероятность того, что мы восстановим с точностью eta при *наилучшем оценщике* (среди всех способов восстановить функцию по m наблюдениям из неизвестного распределения), ведет себя двумя способами. Если нужная точность меньше некоторой константы, то вероятность выпасть за эту точность не зависит от количества данных; если допустимая точнось выше, то эта вероятность падает экспоненциально по m. При этом реальная допустимая точность ведет себя как m⁻ʳ/⁽¹⁺²ʳ⁾, где r — некоторая фундаментальная постоянная, которая переходит в оценку Монте-Карло (√m) при большом r. Более того, оптимальным оценщиком является метод наименьших квадратов! На практике, насколько мне известно, для нейросетей никто нормально не оценивал эти энтропийные числа. Руки чешутся попробовать. Запись доклада также уже висит на сайте: https://www.mathnet.ru/php/seminars.phtml?presentid=41627&option_lang=rus