VG: Video Course

[ Album ] Господа! В качестве прикольного дополнения к последней лекции, на которой было выдано задание о взломе метрики двумя способами - примеры еще более интересных взломов. Здесь два типа примеров: 1. Берется запрос на генерацию картинки (тут SD 1.4) проходит обычный процесс итераций диффузии (a la classifier guided diffusion), но добавляются градиенты, вызывающие повышение метрики, где Scale - это коэффициент, на который домножается градиент перед добавлением к шуму. Каждая картинка - разная генерация с разным коэффициентом влияния. Тут прикольно посмотреть, какие картинки "любит" метрика (в данном случае No-Reference MANIQA). 2. Берется исходное изображение (фото стола), оно (а точнее его латентное представление) зашумляется и восстанавливается SD 1.4 (FR Scale - насколько перерисованное изображение близко к исходному). При этом взлом пытается сохранить близость к оригиналу. Тут на картинке прикольно наблюдать, как меняются реальные детали (в данном случае пузырьки с косметикой) и как при этом меняется взлом META-IQA + как сама картинка. Понятно, что это самое начало процесса получения все более навороченных взломов, когда картинка/видео вроде похожи на реальные и выглядят совершенно естественно, но метрика 🤷‍♂️ накручена) В этой задаче крайне актуально маскировать накрутку. Очень интересное направление - маскировка накрутки под вотермарк (типа вотермарк канала - но наложенный в таком месте и с такой силой, что метрика становится выше). Или надпись копирайта. Или подпись/субтитр ))) 😲 Веселье только начинается! 😉 В общем - жизнь уже никогда не будет прежней сложность взломов завтра будет оооочень изощренной! И петрить в теме будут сильно не все (и мы надеемся не только китайцы, которые уже чудеса показывают)! 🤷‍♂️😁

Коллеги! Статья об основателе нашей лаборатории Юрии Матвеевиче Баяковском таки наконец-то появилась в Большой Российской Энциклопедии. Интересно, что хотя там типа легко "Стать автором" и все такое - процесс был длительным и занял много усилий у Владимира Александровича Галактионова из ИПМ РАН. С другой стороны это понятный барьер перед наполнением энциклопедии мусорной информацией. 🤷‍♂️ Теперь LLM завтрашнего дня будут давать более глубокие ответы про MSU Graphics&Media Lab 😁😁😁

Так вот! Сегодня в 14 состоялось награждение по результатам хакатона для студентов в Сириусе. Первое место завоевала [🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁] команда ВиТя (ВИка и КаТЯ - задача со звездочкой найти их на предыдущем фото)))): Первое место - ВиТя: Вика Леоненкова и Катя Шумицкая Второе место - Машалов Никита Третье Кутузов Николай Заметим, что там и аспиранты были, при этом Катя на 1 курсе магистратуры, а Вика - на 3 курсе бакалавриата! О как! В общем - ВиТя рулит!))) Наши девочки КРУТЫ! 🏆🏆🏆🥇🥇🥇💐💐💐👏👏👏 Хакатон, кстати, был по промпт инжинирингу))) (не совсем наша тема, прямо скажем, что не помешало))) 🎉🎉🎉

Мы туда высадили десант из трех наших сотрудников в качестве преподавателей и трех студентов, в качестве слушателей)

Господа! Отличная новость в трех картинках))) Прям сейчас в Университете Сириус в Сочи идет 12-дневная учебная смена "Доверенный ИИ", организованная ИСП РАН. Туда позвали много очень интересных докладчиков с акцентом на вопросы надежности, тестирования, взломов, атак, защит и вот этого всего) (чего стало настолько много, что даже в своей узкой области отследить весьма непросто).

Господа! У нас отличная новость! Десятый наш бенчмарк из 12 новых бенчмарков, опубликованных за последние 2 года, достиг 1 места в своей категории на сайте PapersWithCode! 🏆🥇🎉🥇🏆 С чем я горячо поздравляю его автора Алексея Брынцева 👏👏👏, всегда очень здорово, когда результат научной работы где-то лучший и дает вклад в развитие open source алгоритмов (в данном случае - в их рейтингование - тоже кусок работы). Заметим, что большинство наших бенчмарков с закрытым датасетом (т.е. на нем нельзя заточиться), а ровно месяц назад вышла шикарная пародийная статья Pretraining on the Test Set Is All You Need о том, как можно легко получить SOTA, подмешав в тренировочную выборку часть тестовой при обучении LLM (большой языковой модели). Интересно, что статью уже процитировали в статье о бенчмаркинге юридических знаний LLM LawBench: Benchmarking Legal Knowledge of Large Language Models. В нашей области наблюдаем то же самое - результаты на других бенчмарках не воспроизводятся очень часто. Мы сейчас стараемся не раскрывать тестовый датасет, что снижает цитирования и популярность. Но пока держимся! И даже в топе! ) (намекая на прошлый пост) Всем везения с вашими результатами за время обучения! )))

​​💯 The AI 100 2023: The top people in artificial intelligence. ❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁 Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного. Я прошелся по каждому из списка и вот что получилось: 1/ В списке представители следующих групп: ▪️43 из стартапов ▪️25 из корпораций ▪️14 из университетов и исследовательских центров ▪️5 из non-profit организаций ▪️4 VC ▪️9 прочее 2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase): ▪️85 из США ▪️7 из Канады ▪️8 из остальных 8 стран 3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие: ▪️7 Generative AI ▪️6 Biotech & HealthTech ▪️4 AI Audio and video production ▪️3 Conversational AI ▪️2 ML Tools ▪️2 Big Data ▪️2 Edu Tech ▪️2 Defense Tech 4/ Какие компании представлены чаще всего: ▪️5 Amazon ▪️5 Google (совместно с DeepMind) ▪️2 OpenAI ▪️2 Anthropic ▪️2 Hugging Face 5/ Несколько любопытных фактов по списку: 🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос; 🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT); 🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете! ❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке? Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя. Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10 @proVenture #research #ai

Господа! Отличная новость - Карен Симонян, когда-то студент мой студент ВОШЕЛ В ТОР-100 ЛЮДЕЙ В AI В 2023 ГОДУ по версии Business Insider!!! Единственный из СНГ! Интересно, что в личке возникла интересная переписка на тему того, что Карену повезло войти в ТОP-100 AI. Конечно, повезло! Для полноты картины приведу более полный список его везений: * Сначала ему повезло быть лучшим студентом курса на спецкурсе 😉 * Потом он начал фигачить и повезло сделать качественный Motion Estimation (который у нас во многих проектах использовался, и как референс в задании курса). * При этом он параллельно и довольно успешно работал над методом Video Super-Resilution (восстанавливающим, что характерно) * Дальше ему повезло, что статью по МЕ взяли на Графикон, а статью по SR взяли на ICIP (не каждый аспирант туда попадает) * Потом ему повезло сделать неплохой деинтерлейсер на классификаторах и статью о нем взяли на BMVC (тоже отличный уровень)! * Дальше ему повезло и его взяли в аспирантуру в лабораторию в Оксфорде * Там ему повезло сначала сделать интересную работу по салиентности, а потом предложить архитектуру нейросети VGG (свой вклад она внесла). * На постдоке ему повезло соосновать стартап Vision Factory AI, который в том же году купила DeepMind (чистое везение, очевидно))) * В DeepMind ему повезло возглавить команду, которая (повезло!) создала AlphaZero (а потом AlphaFold) * Потом ему повезло стать Chief Scientist в стартапе Inflection AI, которому повезло получить 1.3 миллиарда летом этого года. * И, наконец, ему повезло, что его выбрали в список AI Top-100) Очевидно, человек в рубашке родился! 😂🤣😂 Ну а вообще, кто не знает, это самый простой (и действенный) способ уменьшить число хейтеров - это говорить - "Мне просто повезло!". Знаете, как у качка-штангиста спрашивают - "как вы установили мировой рекорд?" А он такой: "Мне просто повезло!" 😉😁😁😁 Везения вам, господа! ))) (Т.е. жду крутых результатов по заданиям)))

Господа! Я периодически встречаюсь с мнением студентов о том, что математика программисту не нужна (и в принципе для быдлокодинга это абсолютно верно). Но часто даже те, кто хочет идти в research уверены, что там немного математики. При этом если дать себе труд немного копнуть тему, хорошо видно, что даже в DL актуальная математика довольно быстро меняется. На днях Иван Оселедец (директор института ИИ Сбера и Центра ИИ Сколтеха) сделал любопытный доклад на конференции для математиков "Математика и ИИ: проблемы и задачи, которые требуют решения" (всего 33 слайда), где хорошо видно, как смещается фокус нерешенных задач (и актуальная используемая математика). Понятно, что он топит за свои результаты (например, использование гиперболической геометрии для измерения расстояния между ембеддингами для изображений - очень неплохие места в бенчмарках), но в любом случае доклад весьма показателен! Ну и понятно, что кто-то скажет - математика меняется, зачем ее изучать, если все равно через несколько лет будет новая! (Хотя изучать стек веб-программирования, сильно меняющийся каждые 5 лет это почему-то не мешает 😉😂). А кто-то затащит и эту тему, и смежные. И вообще прокачается эти темы затаскивать и будет на коне через 5 лет, когда LLM сильно изменят расклад на рынке труда в программировании. 🤷‍♂️💪 Всем правильных выводов! 😉

Коллеги! Ну и чтобы 2 раза не вставать) Просто выкатить бенчмарк - ну замерил, ну опубликовал. Сложно сделать его популярным и полезным. Для измерения этого показателя мы используем paperswithcode - очень неплохой сайт, где собирают статьи с кодом, бенчмарки и датасеты. Задача - выйти на 1 место в своей категории. На этой неделе 9-й наш бенчмарк вышел в топ (т.е. выше только наш же может быть), причем в очень сложной категории - интерполяции кадров видео, где было аж 20 бенчмарков-конкурентов(!), включая очень раскрученный Vimeo90K!!! Это классная работа Андрея Акифьева заняла 2 года бакалавриата! 🔥🔥🔥 Пруф: https://paperswithcode.com/task/video-frame-interpolation Очень хорошо, когда ваш диплом не только полезен, но и занимает где-то первое место в мире! 👏👏👏

Господа! Тем временем мы опубликовали 16-й бенчмарк! MSU Video Saliency Prediction Benchmark! На этот раз - про алгоритмы предсказания карт внимания (куда люди будут смотреть в видео). На страничке можно покликать, как предсказывают карты внимания модели и куда реально смотрят люди). Надо сказать, что сегодня часто модели работают уже ОЧЕНЬ хорошо! Особенно для профессионального контента. Для самых продвинутых: Задание на построение карт внимания выдается в нашем курсе в программе AI Masters)

Господа! Прошлая неделя была на редкость насыщенной. Я чудом выделил время для ВМК, поскольку с воскресенья по субботу принял участие в 4 конференциях (и уже той же ночью был в поезде в Питер). Такого интенсивного пополнения моей коллекции беджей у меня еще не было))) Общения и интересных впечатлений море. Мир очень бурно меняется. Пару слов расскажу в начале лекции)

Всем привет! В эту среду (20.09 14:35) состоится первая лекция спецкурса «‎Методы обработки и сжатия медиаданных»‎ В ходе курса вы узнаете: * Как сжать любой файл в точку * Почему шакалит JPEG * Как взломать метрику оценки качества VMAF * Что такое AV1 и почему за ним будущее сжатия видео * Как нейросетевые подходы сжатия врываются в современный мир Курс рекомендуется студентам второго курса для распределения на кафедру ИИТ Где: Второй учебный корпус, ауд. 609 Когда: по средам в 14:35 Чат в телеграм: ссылка

Сегодня в рамках конференции Practical МL Conf от Яндекса Сергей Лаврушкин, старший научный сотрудник лаборатории «Интеллектуальный анализ видео», сделает доклад на тему «Как выбрать метрику в Loss, или Бенчмарк устойчивости современных метрик качества к состязательным атакам». 🗓07 сентября, начало в 14:45 ➡️Ссылка для подключения к трансляции 📌Программа конференции

#новости_института Сегодня в рамках конференции Practical МL Conf от Яндекса Сергей Лаврушкин, старший научный сотрудник лаборатории «Интеллектуальный анализ видео», сделает доклад на тему «Как выбрать метрику в Loss, или Бенчмарк устойчивости современных метрик качества к состязательным атакам». 🗓07 сентября, начало в 14:45 ➡️Ссылка для подключения к трансляции 📌Программа конференции

Господа, сегодня Сергей расскажет про наш новый бенчмарк, ссылку на который я кидал выше, будучи в хорошей компании докладчиков)))

Господа! Сегодня на собрании сотрудников факультета многолетняя работа вашего покорного слуги и вверенного ему коллектива была отмечена деканом! 💃✌️💃 Приятно! 🙂

Господа! Я про это пока не писал, а у нас идет весьма интересный проект. Сейчас нейросети конкретно добрались до сжатия картинок и уже два года идет процесс разработки стандарта JPEG AI. Это зимой мы работали над метриками артефактов нейросетевого сжатия (они иногда довольно прикольно галлюцинируют, причем сильно не всегда это можно легко задетектить). В конце весны мы сильно интенсифицировали этот проект (в том числе выделили 400 тысяч на разметку артефактов на Толоке), а в июне я вошел в состав экспертов стандарта, мы получили доступ к исходникам JPEG AI и начали гонять наши метрики на них. Это видео мы записали в начале июня, но при монтаже добавили в него реальные косяки JPEG AI (наслаждайтесь первыми 😉). Датасет артефактов нейросетевого сжатия планируем опубликовать этой зимой. Ну и понятно, что в картинки пошли, чтобы быть лучше готовыми к аналогичным проблемам в видео (ибо работы в области нейросетевых кодеков уже идут и там мно-о-о-о-ого чудного и фееричного))) Кратко за 22 минуты про эволюцию сжатия картинок в 21 веке: https://youtu.be/OrikOKilifU

Коллеги! Из наших неопубликованных новостей. На сайте «Истовый инженер» (сайт про инженерные профессии с упором, внезапно, на Software Engineer) вышло мое интервью. 😁 В начале они зачем-то хотели "про то, как все начиналось" поспрашивать. Так что кому интересно про то, как создавалась лаборатория компьютерной графики на ВМК - велкам. А дальше про развитие стереокино (в том числе наш вклад), про сравнение кодеков (самый известный в мире наш проект), про бенчмарки и взлом метрик качества. В общем - про нашу активность. Го читать! 📖😉

Коллеги! Когда мы набираем студентов меня иногда спрашивают, а я регулярно подчеркиваю, что мы любим девушек. Раскрываю причины! 😉 Статья FAST ADVERSARIAL CNN-BASED PERTURBATION ATTACK ON NO-REFERENCE IMAGE QUALITY METRICS у нас зашла на ICLR (которая входит в ТОП-3 The Most Important AI Conferences 2023, т.н. AI Core A*), при то, что в авторах, как легко заметить выше - две наших замечательных девушки. Причем Екатерина - первый и основной автор - только что закончила бакалавриат (!!!). Деликатно замечу, что у нас аспирантов с хотя бы просто с А* по пальцам одной руки на факультете (поправьте меня, если вдруг чего не знаю). Да, тут Tiny, но и основной автор - бакалавр! Ну и недавно Tiny track решили включить в труды (это увеличит их цитирование). Йе-е-е-е-е! 🥳 Пруф: https://dblp.org/rec/conf/iclr/ShumitskayaAV23 В общем девушек мы очень любим, особенно таких классных! 💐🙂