Data Secrets

⚫️ Грег Брокман вернулся в OpenAI В августе Грег написал, что берет длительный отпуск, впервые за 9 лет работы. Тогда многие подумали, что это отговорка, и так соучредитель сгладил свой уход (одновременно с ним из компании увольнялся его друг и коллега Джон Шульман). Но нет! Сегодня Грег написал в Твиттере, что возвращается. Кажется, настрой у него оптимистичный.

На LMSYS появилась Copilot Arena Месяц назад ребята запустили Copilot Arena в виде плагина в VSCode. Это полноценный ассистент для программирования, который может дополнить код, проверить его или даже выполнить указанные действия с выделенной строкой. Его фишка – он предоставляет пару ответов от разных ведущих моделей, задача пользователя – выбрать ответ, который ему больше понравился. Если еще не пользовались – скачать бесплатно можно здесь. Месяц аналитики собирали статистику. За это время плагин загрузили 2.5К раз. И вот сегодня на LMSYS наконец появились результаты! Они забавные: на первом месте, например, открытая модель, Llama 3.1 лучше GPT-4o, а GPT-4o mini внезапно оказалась хуже всех. Кстати, оказалось, что в основном плагином пользовались питонисты. На следующем месте – java script и html. Интересно, что медианная длина контекстного окна рассматривается 560 (это много, в human eval например всего 100). Кажется, такой тест, как бы автоматически взвешенный по используемости ЯП + с сохранением естественной пользовательской длины контекста, должен быть явно репрезентативнее бенчмарков. А это не может не радовать Блогпост от Lmsys

В твиттере описали среднестатистического кандидата на должность MLE

Вышло пятичасовое интервью CEO Anthropic Дарио Амодеи с Лексом Фридманом. Пройдемся по самому яркому: ➡️ На вопрос об AGI Дарио ответил, что если просто экстраполировать графики (а это ненаучно), то можно предсказать, что AGI появится в 2026 или 2027. Но точно сказать нельзя, потому что никто не знает, смогут ли модели масштабироваться дальше. ➡️ Тем не менее, Дарио настроен оптимистично и верит в то, что скоро у нас будет ИИ уровня человека. При этом ближайшие несколько лет все больше и больше денег будет тратиться на разработку и обучение: к 2027 люди, вероятно, будут строить кластеры стоимостью $100 млрд, тогда как сейчас самые крупные суперкомпьютеры стоят $1 млрд. ➡️ Амодеи говорит, что масштабирование моделей продолжится, и что в этом есть некая магия, которую мы пока не можем объяснить на теоретической основе. Возможно, масштабирование будет не таким, как мы привыкли, но «оно найдет путь». ➡️ Человеческий интеллект – это не предел. Мы можем сделать модели гораздо умнее нас, особенно в определенных областях, таких как биология. ➡️ Сейчас модели продолжают улучшаться невероятно быстро, особенно в кодинге, физике и математике. На SWE-bench в начале года LLM достигали 2-3%, а сейчас это около 50%. То, о чем действительно стоит переживать в этих условиях – это монополия на ИИ и сосредоточение власти над ИИ в руках всего нескольких крупных игроков. Это может быть опасно. Само интервью можно посмотреть здесь, а вот тут лежит полная текстовая расшифровка

Как работают генеративные технологии, которые лежат в основе большинства визуальных сервисов? Какова их «математическая начинка»? Получите ответ на эти и другие вопросы на бесплатном интенсиве Computer Vision Week! Он пройдёт с 25 по 29 ноября онлайн и поможет вам разобраться в сложных вопросах компьютерного зрения и диффузионных моделей. Среди организаторов — эксперты, которые создают технологии будущего: Yandex Cloud, Школа анализа данных, YaArt и YaResearch. За 5 дней они расскажут, как устроена генерация изображений на практике: от математических основ и алгоритмов до нейробайесовских методов. Вы также научитесь работать с генеративными технологиями самостоятельно и узнаете, какие горизонты они открывают для разработчиков и исследователей. Что ещё? Вы не только послушаете лекции, но и сможете попробовать свои навыки на практике — в решении задач. Те, кто успешно справится с отборочными испытаниями и итоговой работой, получат заветный сертификат в портфолио! Успейте зарегистрироваться до 24 ноября, пока есть места!

Вышел Qwen2.5-Coder Там целое семейство: 0.5B / 1.5B / 3B / 7B / 14B / 32В, базовые и инстракт модели. Радует, что есть малышки и можно запустить локально. Все веса уже в опенсорс вот тут 🤗 По бечмаркам: среди представленных в тех.отчете 32В на всем превосходит открытых соперников (главный из которых – DeepSeek-Coder-2), а также на многих тестах обгоняет GPT-4o, включая, между прочим, HumanEval и EvalPlus. По CodeArena, правда, немного не дотянули: не хватило двух десятых процента. Отчет | Демо | Гитхаб | Блог

Конкуренция на рынке труда крепчает: на YouTube обнаружили канал семилетнего мальчика Сережи, который записывает обучающие видео по машинному обучению Судя по каналу, опыт работы Сережи – уже два года. Тут и нейросети на PyTorch, и модели классификации, а бонусом еще и геймдев 😜 Твой будущий лид

Илья Суцкевер прокомментировал замедление скейлинга моделей Недавняя статья The Information, о которой мы писали здесь, наделала в сообществе много шума. Суть материала в том, что модели OpenAI больше не масштабируются с ростом количества обучающих данных так, как это работало раньше. Возможно, это связано с тем, что из-за недостатка данных в датасеты добавляют много синтетики от других моделей; возможно, с чем-то еще. Известно, что в OpenAI даже создали новую команду, которая будет работать над решением проблемы. Ну а пока суть да дело, ситуацию активно обсуждают в том числе крупные исследователи. Даже Илья Суцкевер подключился. Вот какой комментарий он дал Reuters (свободный перевод):

«2010-е годы были эпохой масштабирования, а теперь мы снова вернулись в эпоху открытий. Все ищут что-то новое. Масштабировать правильно правильные вещи сейчас важнее, чем когда-либо».

Размыто, конечно, но, видимо, имеется в виду, что скейлинг в претрейне (то есть тот самый скейлинг на обучающих данных) сейчас действительно выжат на максимум, и нам стоит сконцентрироваться на чем-то другом. OpenAI, вероятно, те самые "правильные вещи" видят в ризонинге в стиле o1 и в чем-то вроде test-time training, статью о котором мы разбирали буквально вчера. Хотя сама компания комментариев не дает, об этом напрямую заявил GTM OpenAI в твиттере. Он написал, что "Масштабирование просто нашло другой набор шестеренок в виде inference time обучения".

Продолжаете тестировать Российские ИТ-решения? Держите еще одну рекомендацию — облачный провайдер Т1 Облако. Коллеги из Т1 Облако сделали подборку — от корпоративных сервисов до систем для управления базами данных в облаке, на которые можно перейти прямо сейчас.  А если кратко: - Диск Т1 — корпоративный сервис для хранения, редактирования и обмена файлами - Dion — корпоративный сервис для онлайн-звонков и совещаний - Облачная инфраструктура (IaaS) на базе импортонезависимых технологий - Объектное хранилище S3 для надежного хранения данных - Облачная система резервного копирования - Управляемая база данных в облаке PostgreSQL Оставляйте заявку на облачные сервисы на сайте У вас есть задача оптимизировать затраты, сократить нагрузку на ИТ-отдел, соблюсти требования регуляторов, легко и безопасно масштабировать ИТ-проекты? Доверьте процесс миграции в облако команде Т1 Облако 👌  А узнать все об облачных технологиях можно в TG-канале Реклама. ООО "Т1КЛАУД". ИНН 7720479358.

Илья Суцкевер прокомментировал замедление скейлинга моделей Недавняя статья The Information, о которой мы писали здесь, наделала в сообществе много шума. Суть материала в том, что модели OpenAI больше не масштабируются с ростом количества обучающих данных так, как это работало раньше. Возможно, это связано с тем, что из-за недостатка данных в датасеты добавляют много синтетики от других моделей; возможно, с чем-то еще. Известно, что в OpenAI даже создали новую команду, которая будет работать над решением проблемы. Ну а пока суть да дело, ситуацию активно обсуждают в том числе крупные исследователи. Даже Илья Суцкевер подключился. Вот какой комментарий от дал Reuters (свободный перевод):

«2010-е годы были эпохой масштабирования, а теперь мы снова вернулись в эпоху открытий. Все ищут что-то новое. Масштабировать правильно правильные вещи сейчас важнее, чем когда-либо».

Размыто, конечно, но, видимо, имеется в виду, что скейлинг в претрейне (то есть тот самый скейлинг на обучающих данных) сейчас действительно выжат на максимум, и нам стоит сконцентрироваться на чем-то другом. OpenAI, вероятно, те самые "правильные вещи" видят в ризонинге в стиле o1 и в чем-то вроде test-time training, статью о котором мы разбирали буквально вчера. Хотя сама компания комментариев не дает, об этом напрямую заявил GTM OpenAI в твиттере. Он написал, что "Масштабирование просто нашло другой набор шестеренок в виде inference time обучения".

Илон Маск тем временем уже имеет реальные шансы стать лидером ИИ-политики США Оказалось, что некая некоммерческая группа Americans for Responsible Innovation (ARI) в пятницу (то есть уже через три дня после выборов) запустила петицию с просьбой назначить Маска главным советником Трампа по ИИ. Выдержка:

«Илон Маск имеет хорошие возможности для защиты лидерства США в этой технологии, обеспечивая при этом ее безопасное внедрение».

Сейчас организация пытается собрать 10000 подписей 🔵

⚡️ Alpha Fold 3 уже в опенсорс! Это та самая модель для предсказания структуры молекул, за которую ученым из Google дали Нобелевскую. Код можно найти здесь, веса доступны по заявке

RL-разработчик из Sony AI, который занимается обучением с подкреплением в гейме, создал сайт с ликбезными статьями по RL Сайт замечательно называется Decisions & Dragons, и построен по принципу «вопрос-ответ». Это своеобразный FAQ по неочевидным вопросам в обучении с подкреплением, только ответы там очень развернутые: с формулами, схемами и иногда даже псевдокодом. Вот какие статьи там уже можно найти: ➡️ Чем отличается on-policy от off-policy learning? ➡️ Что такое горизонт? ➡️ В чем различие между model-based и model-free RL? Сайт создан только вчера, и на данный момент там всего восемь статей, но автор обещает, что будет постоянно пополнять список. Так что если вы – новичок в RL, то обязательно сохраняйте в закладки.

Разбираем основные принципы работы AutoML на открытом уроке «AutoML и подбор гипер-параметров» от Otus 🔹В эфире проговорим про основные концепции, преимущества и недостатки AutoML Рассмотрим разные способы подбора гиперпарамеров, их плюсы и минусы ✅ Практика на примере популярных библиотек pycaret и hyperopt. Получите базовые навыки работы с инструментами для автоматизации подбора моделей и гиперпараметров 👉 Регистрация и подробности: https://otus.pw/GmEG/?erid=LjN8KLaYH #реклама О рекламодателе

Зачем нам новые бенчмарки? Последнее время появляется все больше свежих бенчмарков. Только за последний месяц: от китайцев, от OpenAI, от Meta, и самый свежий – громкий FrontierMath от EpochAI. Зачем исследователи уделяют эвалу моделей столько внимания? Все потому что без хороших бенчмарков мы остается в неведении относительно того, на что на самом деле способны наши модели, в значит, и развиваем их «на ощупь». Конечно, существует множество классических тестов, но бенчмарки имеют свойство устаревать. Со временем закрадываются лики, да и сами задачи становятся уже не репрезентативными. Например, про новый бенч FrontierMath один ресерчер сказал так: «Отличный и невероятно сложный бенчмарк! Надеюсь, он продержится хотя бы пару лет». Вот это – правильный подход, а не оценивать модели на тестах, которым 7-8 лет. Есть и еще одна причина: старые бенчмарки построены для слабых моделей, и для сегодняшних целей «создать AGI» не подходят даже структурно. Это сегодня в твиттере удачно прокомментировал Андрей Карпаты:

«Интересная проблема заключается в том, что, хотя по многим оценкам LLM постепенно продвигаются на топ-экспертную территорию (например, в математике и кодинге и т. д.), вы бы не наняли их вместо человека даже для самой простой работы. Это замаскированный парадокс Моравека, который заметил более 30 лет назад, что то, что легко/сложно для людей, может неинтуитивно сильно отличаться от того, что легко/сложно для компьютеров. Например, люди очень впечатлены игрой компьютеров в шахматы, но шахматы легки для компьютеров, поскольку это закрытая, детерминированная система с дискретным пространством действий, полной наблюдаемостью и т. д. и т. п. И наоборот, люди могут завязать шнурки или сложить рубашку и вообще не думать об этом, но это чрезвычайно сложная сенсомоторная задача, которая бросает вызов даже современному уровню техники и софта. Я думаю, что это интересная задача: создавать оценки для всех "легких" вещей, которые на самом деле сложные. Очень длинные контекстные окна, связность, автономность, здравый смысл, работающий мультимодальный ввод-вывод – это хорошо. Но как нам создать хорошие оценки для настоящей "человеческой работы"?»

Кстати, если вы все-таки знаете, какими должны быть вопросы в хорошем бенчмарке, то можете предложить свой: у лабораторий CAIS и ScaleAI все еще идет конкурс вопросов для сложнейшего в мире бенчмарка для LLM. За каждый подходящий вопрос они обещают от 500 до 5000 долларов, а также соавторство в статье.

Уйти за хлебом ❌ Уйти за GPU ✅

Поразительно: исследователи из MIT выбили 62% на бенчмарке ARC Помните, мы рассказывали про премию ARC Prize? Это конкурс от Google на 1 миллион долларов, который нацелен на поиск новых идей, выходящих на рамки современных LLM. Называется конкурс в честь бенчмарка ARC AGI. Он создан одним из учредителей конкурса, и нацелен именно на сравнение общих способностей интеллекта машины с человеческим разумом (а это собственно и есть проверка на AGI). Ведущие модели выбивают на ARC AGI менее 40%. Рекорд у GPT-4o: она выбила 50%. Сам конкурс идет уже 5 месяцев, но по-настоящему хороших результатов ни у кого не было. До этого дня. Сегодня ресерчеры из MIT опубликовали препринт статьи, в котором объявили, что достигли со своей моделью 62%. Это средний уровень человека. Успеха помогла добиться идея test-time training’а (TTT): это когда модель обновляет веса не только во время трейна, но и во время теста. Для этого из инпутов требуется как-то формировать новые данные. Ученые делали это в формате leave-one-out (см.схему), как это принято в In-Context Learning. Еще пробовали формат end-to-end, когда каждая пара «вопрос-ответ» – это отдельная задача, но ICL работал лучше. Затем применяли аугментацию и обновляли веса с помощью LoRA (про то, как работает LoRA, мы недавно писали тут). При этом для каждой тестовой задачи обучают новую лору. Звучит страшно, но оказывается, что много данных модельке не надо, поэтому скейлится подход нормально. Во время инференса ученые применили что-то вроде искусственного Chain of Thoughts с иерархическим голосованием. «Искусственного» – потому что бенчмарк в оригинале не предполагает CoT, он заточен под zero shot. Что в итоге? В итоге 61.9% на ARC. Пока неизвестно, засчитают ли решение организаторы, и получат ли ученые свой приз. Пока ждем новостей, можно прочитать оригинальный препринт тут.

Почему слишком много регуляции ИИ – это плохо На днях прошел TechCrunch Disrupt 2024, и на нем выступал Мартин Касадо. Он лидер одного из самых крупных инвестиционных фондов в мире – а16z. Фонд инвестировал во множество ИИ-стартапов, из последнего – в Cursor и World Labs. В общем, Мартин – очень осведомленный и влиятельный гость. Вот его интересная и едкая позиция по поводу регуляции ИИ, которой он поделился на выступлении: ➡️ Проблема большинства попыток регулирования ИИ на данный момент заключается в том, что законодатели сосредотачиваются на каком-то мифическом будущем опыте ИИ вместо того, чтобы по-настоящему понять риски, которые ИИ на самом деле представляет. ➡️ Правила создаются «из воздуха», а не на основе того, что действительно представляет из себя ИИ и как он развивался. «В этих законах даже нет определения ИИ. Как можно регулировать то, что мы не можем определить?» – говорит Мартин. ➡️ Чтобы создать нормальную систему регулирования, достаточно формально определить, чем ИИ отличается от человека, у которого есть доступ в Интернет. От человека, который умеет пользоваться Google. Тогда мы сможем найти слабые места и регулировать именно то, что надо, а не выдумывать себе терминатора. Главная мысль спикера: «все слишком сильно носятся с регуляцией ИИ, чего делать не стоит. У нас уже есть устойчивые рабочие системы безопасности, которых на сегодняшний день достаточно. Остальное должно дать плодами глубоких исследований, а не выдумками политиков».

Не для слабонервных

В Китае сняли забавные кадры: на них стая робо-собак высаживается из грузовика и начинает «обследовать» территорию Видео выглядит так, как будто снято в постапокапсисе после восстания машин. Многие пользователи даже заметили, что собаки якобы вооружены. Конечно, никакого оружия у песиков нет, и их прогулка, на самом деле, – просто один из элементов международной выставки авиации и космонавтики. Но страшно все равно 😧