Small Data Science for Russian Adventurers

#визуализация Игра, в которой по картинке надо догадаться, что на ней изображено. https://www.graphs.world Когда я составлял свою книжку, такие задачи даже не рассматривал, думая, что интересно вряд ли получится. Теперь можно посмотреть, как получилось у других.

#полезно Очень классный источник обзорных статей с красивыми визуализациями от одного из авторов книги "Hands-On Large Language Models". Есть обзоры по LLM-агентам, рассуждающим моделям, смеси экспертов, квантованию, моделе Mamba. https://newsletter.maartengrootendorst.com

#книга Илья Шпигорь Искусственный интеллект в стратегических играх Выложена на leanpub в открытом доступе. Мне в целом понравилась, что-то подобное искал и нашёл. + есть история исследования игр и логического перебора, + повествование доходит до AlphaZero и современных игровых движков, + попутно разбираются концепции машинного обучения, - кажется, что некоторые концепции типа альфа-бета отсечений стоило бы разобрать подробнее, - широта повествования может быть неудобна начинающим (например, объясняются свёрточные сети на задачах с картинками и тут же рассказывается, где они применяются в играх). https://leanpub.com/ai-in-strategy-games

#таланты Если кто-то умеет и хочет попридумывать задачки в стиле современных олимпиад по ИИ для школьников, то можно помочь Саше Гущину отобрать таланты в этом году. Подробности по ссылке: https://t.me/aguschin_ai/113

#интересно Более 10 лет назад была создана платформа для соревнований в анализе данных DrivenData - она поставила своей целью приспособить DS в первую очередь для блага общества (а не для выгоды коммерческих компаний). Недавно у них был юбилей, и они в своём блоге сделали очень неплохой пост, в котором подвели итоги 10-летней деятельности, описали удачи и проблемы. https://drivendata.co/blog/10-years-of-data-science-for-social-good

#книга Фридман Д. П., Мендхекар А. "The Little Learner. A Straight Line to Deep Learning" (Чудесное машинное обучение) Недавно на русском вышла книга. Меня заинтересовала манера изложения - она сделана в виде диалога (показан на рисунке). Как будто читатель задаёт вопросы, а автор на них отвечает и так происходит обучение. Подход известен, даже в книгах про ML было что-то подобное (в книге Шлезингера и Главача было обучение в переписке). Примеры кода здесь на Scheme (кажется, что это только увеличивает порог входа). Забавный факт - предисловие написал Питер Норвиг и сделал это "по правилам повествования" (в виде диалога).

#видео Доклады прошлого года семинара "Математические основы искусственного интеллекта", который проводит Математический институт им. В.А. Стеклова. Выложены записи выступлений Бурнаева, Гасникова, Ветрова, Наумова, Оселедца, Разборова и многих других. https://www.mathnet.ru/conf2402 П.С. Рисунок взят из доклада Димы Ветрова, когда он объясняет, как попадать в широкие минимумы функций потерь.

#видео Доклады прошлого года семинара "Математические основы искусственного интеллекта", который проводит Математический институт им. В.А. Стеклова. Выложены доклады Бурнаева, Гасникова, Ветрова, Наумова, Оселедца, Разборова и многих других. https://www.mathnet.ru/conf2402 П.С. Рисунок взят из доклада Димы Ветрова, когда он объясняет, как попадать в широкие минимумы функций потерь.

#визуализация Забавная игрушка на "геометрический интеллект": надо как можно точнее определять центры окружностей, середины отрезков и прямые углы. Не так просто, как кажется на первый взгляд. Это упражнение рекомендуют на некоторых курсах дизайна и визуализации. https://woodgears.ca/eyeball/index.html

Дорогие подписчики канала, поздравляю вас с Новым годом! Желаю провести этот год интересно, ярко и немного авантюрно (учитывая название канала). Будьте здоровы, занимайтесь только любимыми делами, а остальные - делегируйте ИИ-инструментам.

#книга Emil Hvitfeldt "Feature Engineering A-Z" Открытая книга по предобработке данных и генерации признаков. Пока ещё до конца не дописана, но по деформации признаков, категориальным признакам, пропускам и текстовым признакам информация есть. Примеры кода на R и Python. https://feaz-book.com/

#книга Стюарт Ричи «Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке» Неплохой научпоп про недостоверные и мошеннические исследования, проблему воспроизводимости, p-хакинг и т.п. Много примеров из медицины и психологии. Цитата: Порочные стимулы действуют как злой джинн, давая вам именно то, что вы просили, но не обязательно то, чего вы хотели. Поощряйте наращивание числа публикаций, и вы его добьетесь — но будьте готовы к тому, что у ученых останется меньше времени на проверку ошибок, а нарезка статей станет нормой. Поощряйте публикации в журналах с высоким импакт-фактором, и вы их получите — но будьте готовы к тому, что ученые в своих попытках пробиться туда станут прибегать к p-хакингу, публикационному смещению и даже мошенничеству. Поощряйте конкуренцию за гранты, и вы ее добьетесь — но будьте готовы к тому, что ученые начнут без всякой меры раздувать свои результаты и подавать нужным углом в попытке привлечь внимание спонсоров.

#книга Онлайн-учебник по машинному и глубокому обучению от преподавателя ВМК МГУ Виктора Китова https://deepmachinelearning.ru/

#книга У Сергея Маркова есть замечательный 2-х-томник по ИИ: "Охота на электроовец" (читал всю прошлую неделю). Стоит, правда, предупредить, что это в большей степени исторический обзор, но очень тщательно составленный, автор прям докапывается по мельчайших деталей, кто, когда и что первый придумал. Например, вы узнате: - Аду Байрон, в честь которой назвали язык программирования, на самом деле звали Августа. - Кто такой Жаккар (и его тоже звали не Жаккар). - Как Гёдель нашёл изъян в конституции США. - Почему в первой программе игры шашки в конце партии играл гимн. и многое другое. Доступно бесплатно: https://markoff.science/#book

#ссылка В коллекцию симпатичных блогов - заметки Александра Самарина https://astralord.github.io/

#забавно Несколько слайдов одного из курсов по DL.

#поздравление На платформе Kaggle закончилось соревнование Kaggle AutoML Grand Prix (в рамках международной конференции International Conference on Automated Machine Learning). В соревновании было 5 этапов, на каждом нужно за 24 часа создать хорошую модель. Победила команда из России - сотрудников лаборатории ИИ Сбера: * Александр Рыжков, * Дмитрий Симаков, * Ринчин Дамдинов, при решении использовали свою разработку - open-source библиотеку LightAutoML (LAMA), которая автоматизирует построение моделей машинного обучения. Поздравляю! И совсем приятное для меня... т.к. связано с моим воспитанником;) Александр Рыжков стал 4х-кратным грандмастером Kaggle (в разных номинациях: соревнования, код, дискуссии, датасеты). Всего в мире таких 4xGM 10 человек. Молодец, Саша!

#история В комментариях на 2й пост выше был вопрос про подготовку победителей олимпиады ИИ. Как всё проходило: ребята пришли в ЦУ с просьбой о подготовке. Уже на следующий день подготовку начал "ваш покорный слуга" с сжатого курса по ML/DL + специальные занятия по соревнованиям (это понятные для школьников фрагменты курса ПЗАД). Интересно, что с некоторыми темами попали прям в яблочко (учитывая, что планировалось на финал). Сначала интенсивность была 2 занятия в неделю. А я так стал "главным тренером" (вроде нет такого официального звания) будущих чемпионов... На научном треке олимпиады планировались 3 задания, под каждое был выделен персональный тренер: классический ML - Саша Гущин, CV - Дима Ульянов, NLP - Таня Гайнцева, кажется, что тренерский состав уже очень крутой (мне бы такой в 16 лет). Плюс были отдельный занятия, которые проводили Ваня Стельмах (ЦУ), Илья Карчмит (aimasters) и другие. В конце второго месяца подготовки интенсивность возросла до 5 занятий в неделю. Половина тренеров была из ЦУ, часть вели занятия онлайн из-за границы. Например, я проводил "боевую репетицию" оффлайн (старались имитировать финал) по одному из заданий олимпиады в новом офисе Т-банка. Кроме тренеров была огромная команда (помощь с документами, сопровождение участников и т.п.), упомяну только главного по всему этому Катю Процко, которая после олимпиады вошла в совет по подготовке следующей. Так что "тренировки" это только вершина айсберга подготовки. Про задания можно почитать здесь. Таня обещала тоже что-то написать, поэтому я писать не буду:) Из странных моментов... не все мои знакомые откликались на просьбы "поработать со школьниками". Кажется, что упустили интересный опыт и чувство драйва. А всем кто откликнулся - моё отдельное спасибо! В следующем году планируется что-то более серьёзное, с отбором среди всех школьников по результатам всероссийских олимпиад, подготовку, скорее всего, будет вести ЦУ, главного тренера тоже поменяем.

#визуализация История визуализации данных (до 1904 года) https://tableau.pro/datavizhistory

#поздравление В Болгарии закончилась первая международная олимпиада по искусственному интеллекту (IOAI). От каждой страны было не более двух команд-участников. От России поехала одна команда, составленная из школьников «Летово», которые готовились на базе Центрального университета. В итоге команда с названием «Летово» и флагом с изображением символики ЦУ завоевала золотые медали на научном этапе (первое место с огромным отрывом от конкурентов), получила серебро в практическом этапе и стала первой по сумме баллов за оба этапа. Поздравляю победителей: Анастасия Гайнуллина, Андрей Грицаев, Андрей Громыко, Никита Курлаев.