Small Data Science for Russian Adventurers

#ссылка Блог Кристофа Мольнара в основном про решение табличных задач машинного обучения. В последнем посте (кстати, опубликован час назад) описаны тренды в табличных фундаментальных моделях (tabular foundation models) по анализу докладов конференции ICML. Вообще, автор пишет книгу на эту тему. https://mindfulmodeler.substack.com/

Очень давно не был в диссоветах, а за последние полгода поприсутствовал примерно на десяти защитах в разных местах - и как научный руководитель, и как оппонент. Остро ощутил: защита осталась забюрократизированным, не приносящим радости ритуалом. Казалось бы, это «финишная прямая» исследователя. Но вместо того, чтобы «пересечь ленту финишёром с гордо поднятыми руками», соискатель бегает и собирает бумажки (и не только он!). Сейчас бумажный мир вообще выглядит «атавизмом», особенно в вузах (которые должны бежать впереди технологий, по идее). Сохранившиеся студенческие зачётки, например. Везде уже должна быть электронная ведомость, а не вопросы «вы что, забыли зачётку?» Но в диссоветах сохраняются и бумажные отзывы с «живыми» подписями и печатями. В то время, когда долю в компании или недвижимость можно купить тапнув несколько раз по смартфону, прооппонировать диссертацию без печати нельзя. Кстати, если оппонент (или научник) работает в крупной компании, то печать может получить только в определённом офисе в определённые дни (может, и в другом городе). Но это не самый край абсурда! Некоторые секретари советов требуют, чтобы отзыв был подписан и заверен строго в определённый день. Хотя такого правила нет, естественно требовать документы только не позднее, чем за k дней до защиты. Кстати, в этот «от балды назначенный» день может быть отпуск/больничный у оппонента/заверяющего и т.п. Кажется, что раньше бюрократии и абсурда было поменьше. «Цифровизации» по-прежнему нет, но есть жалобы, что «защит что-то мало». П.С. На днях мне (как оппоненту) по почте пришёл автореферат по диссертации, защищённой полгода назад (отправлен был вовремя), ну зато в бумажной версии. Риторический вопрос: зачем по-прежнему требовать от соискателей рассылку по почте, когда всё и так выложено на сайте диссовета?

#новости В выходные в Москве и Питере прошла Data Ёлка 2025, на которой были интересные доклады про итоги года в разных областях науки о данных. Можно посмотреть запись трансляции. Некоторые спикеры выкладывают в своих каналах материалы, например Владимир Байкалов из нашей научной группы. Саша Пославский провёл награждение соревнования на самом большом датасете для рекомендации коротких видео. Также была запись подкаста «Капитанский мостик», который ведёт Валентин Малых и Дмитрий Колодезев. Как сказали мои коллеги, это «Прожекторперисхилтон в DS» - довольно любопытный формат, см. VKvideo или YouTube.

#визуализация Ещё одна электронная книга (небольшая) с визуализацией концепций ML. Сделано аккуратно: приводятся формулы, код и доводится до красивой картинки (или видео). Правда, всего 4 главы: оптимизация, кластеризация, линейные модели и нейросети. Материал "начального уровня" (но удобно, что он тут собран). https://ml-visualized.com/

Дорогие подписчики и единомышленники канала, с Новым годом! 🎄 Желаю в 2026м - смелых (и авантюрных;) планов, удачи в их реализации и удовольствия от их результатов!

#анонс Завтра выступлю на ФКН ВШЭ с лекцией "Удовольствие от данных" про соревновательный анализ данных. Весь материал исключительно о собственном опыте (немного в ретро-стиле, зато от души). Примеры случайных слайдов – на картинке. Кому удобно и хочется – приходите! Подробности здесь (заодно порекламирую канал Никиты Зелинского – он часто постит то, что я бы хотел, но не хватает времени).

#новости В МГУ открывают новый "малый" факультет - Искусственного Интеллекта. Набор уже в следующем году. Как я понимаю, факультет стоит на трёх китах: AIRI, институт ИИ МГУ и фонд "Интеллект". Деканом будет генеральный директор AIRI Иван Оселедец (вчера он был представлен на учёном совете). Ректор МГУ уже давно анонсировал запуск факультета ИИ. В частности, говорил об интеграции в него суперкомпьютера "МГУ-270".

#видео Значения Шепли На модельном примере упрощённой игры ЧГК показал, как вычисляются значения Шепли и справедливо разделяется выигрыш. Пример открывает серию возможных задач - меняя правила игры, получаем разные значения Шепли, не вегда они соответсвуют нашей интуиции. в ВК-видео https://vkvideo.ru/video-232735712_456239019 на Дзене https://dzen.ru/video/watch/690202ecac78f246b0a0c86a?share_to=link

#интересно Несмотря на наличие LLM, во многих вопросно-ответных сервисах жизнь теплится. Например, в разделе «Академия» на StackExchange задаются вопросы, связанные с исследованиями и около них. Во многих обсуждениях разыгрываются целые жизненные трагедии – на их основе получился бы отличный фильм про изнанку научного мира. Один из последних постов – молодого человека мучает совесть из-за того, что он опубликовал исследование на A*-конференции, используя некорректные данные. Второй автор статьи побудил его сделать это, а он не смог отказать тому, кто «даст рекомендательное письмо». Один из самых залайканных (и важных) вопросов – как задавать глупые вопросы на конференциях. Здесь автора тоже мучают, но уже сомнения: ему часто многое непонятно, но он боится отнимать у других время вопросами про простые вещи. Один из самых неожиданных – как реагировать на неформальные предложения от студенток. Описывать не буду, но вопрошающий тоже мучается. Забавно, что LLM очень адекватно отвечают на подобные вопросы – даже на совсем свежие, похожие на которых они могли не видеть в обучении.

#книга Факур М., Груздев А.В. «Причинно-следственный анализ для смелых и честных» Книга по теме, которая активно проникает в образовательные DS-программы (но почему-то не во все). Написана довольно понятным языком, всё поясняется на простых датасетах и рисунках, в книге много мемасиков и примеров. Но читать её всё-таки лучше со знаниями теории вероятностей (там сходу условные матожидания, хотя формул не так много).

#видео Ещё немного короткого научпопа: как предсказывать без ошибок и знаний. Первая часть видео очень простая - "для школьников", вторая больше про ML. в VK-видео https://vkvideo.ru/video-232735712_456239018 на Дзене https://dzen.ru/video/watch/68dd98bdf70604051dc59350 (за картинку спасибо Кандинскому)

#олимпиада С этого года я вхожу в международный научный комитет (ISC) олимпиады IOAI по ИИ, поэтому объявление в интересах нашей деятельности по подготовке олимпиады... Объявлен сбор задач для IOAI-2026 (если любите составлять, есть нестандартные идеи или, наоборот, любимые разработки - будем благодарны) https://ioai-official.org/call-for-tasks/ Если есть желающие поучаствовать в ИИ-олимпиадном движении в России: составлять задачи или готовить команды (например, регионов), то можно маякнуть мне. Я сам этим сейчас не занимаюсь (по регламенту ISC), но знаю тех, кому нужны кадры;)

#видео Записал 15-минутный ролик про легенду ML... если понравится, то будут и другие. в VK-видео https://vkvideo.ru/video-232735712_456239017 на Дзене https://dzen.ru/video/watch/68cada34cd58f14d40db6642

🚀 Уважаемые коллеги, кому интересна математика и машинное обучение, приглашаем Вас принять участие в неформальном научном проекте. Мы разрабатываем новые методы и опен-соурс библиотеку CayleyPy, которая на основе МЛ/РЛ методов позволяет решить математические задачи, которые были не доступны ранее. Как пример наша система уже по всем параметрам на порядки превсходит аналогичные методы в системе компьютерной алгебры GAP (де-факто стандарт) - использующую алгоритмы доработанные самим Д. Кнутом. Если у Вас желание поучаствовать в проекте, есть знание Питона и несколько свободных часов в неделю - то присоединяйтесь к нам - при активной работе - Вы будете соавтором научных публикаций. (Напишите @alexander_v_c - к.ф.-м.н. Александр Червов). Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе размером 10^20-10^200 (из-за размера обычные методы не применимы - только МЛ/РЛ). Решение пазла типа кубика Рубика, задача сортировки, математически - разложение элемента группы по образующим - все это в реальности одна и та же задача. Задача близка к прошедшему конкурсу Каггл Санта 2023. Более общо - это задача планирования - типичная для реинфорсмент ленинг - спланировать действия так чтобы кумулятивный эффект давал лучший результат - управлением манипулятором робота, системы АльфаГо, АльфаТензор, успех DeepSeek - это задачи - тесно связанные с тем, что мы делаем. А зачем это нужно биологам ? А чтобы превращать людей в мышей ))) (А капусту в репу). Так назвал свои статьи известный биоинформатик П.Певзнер - оказывается эволюционная дистанция - соответствует дистанции на определенных графах - и наша цель улучшить ее оценку через МЛ/РЛ. Зачем нужно нужно в сетях - задержка сигнала (latency) сети определяется диаметром сети - оценка диаметра графов - одна из наших целей. В теории квантовых вычислений тоже нужны подобные графы и приложения этим не ограничены. И, кроме того, а знаете чем знаменит Билл Гейтс ?)) Он отлично сортировал блины ! Наша задача - побить его - через МЛ/РЛ))) В нашем коллективе есть профессора математики, Каггл градмастеры, и легендарные иностранные специалисты - Tomas Rokicki , Herbert Kociemba - Вам будет у кого поучиться. Подробнее о проекте вы можете узнать в наших статьях https://arxiv.org/abs/2502.18663 https://arxiv.org/abs/2502.13266 и в нашей группе https://t.me/sberlogasci/1 и ⭐ СТАВЬТЕ СТАРС ⭐ (звездочки) на наш гитхаб: https://github.com/cayleypy/cayleypy

#соревнование Обзор международных соревнований в DS за прошлый год: на каких платформах, что используют победители, какие конкурсы проходят и т.п. Такие отчёты каждый год выходят (но тут ни разу ссылок на них не давал). https://mlcontests.com/state-of-machine-learning-competitions-2024/

#книга Хэйвилл Дж. «Замечательные математические кривые» Математика для фанатов (и только для них, тут не будет кода или приложений) уровня студентов первых курсов. Я ожидал некоторую энциклопедию по всем кривым. Здесь скорее набор обзорных глав, каждая посвящена конкретной теме: эллиптические кривые, Безье, заполняющие пространство. Написано интересно, есть классные истории (некоторые ещё ниже напишу), вот на картинке одна из них.

#визуализация Интересная подборка визуализаций - порфолио Сантьяго Ортиза. Например, есть визуализация распределений вероятностей при генерации текстов с помощью языковых моделей. https://moebio.com/

#математика Лемма о малом искажении (Джонсона – Линденштрауса) утверждает, что множество точек многомерного пространства можно отобразить в пространство меньшей размерности так, что расстояния между точками почти не изменятся. Интересно, что этого можно добиться ортогональными проекциями. Этот красивый результат упоминается даже в помощи sklearn, а доказательство можно найти в книге Roman Vershynin «High-Dimensional Probability An Introduction with Applications in Data Science» (кстати, скоро выходит 2е издание). П.С. Картинка к посту из материалов Джефри Гордона.