Data Secrets

Пора подвести итоги IT-конференции Al Journey, которая стала самой плодотворной на презентации новых продуктов от Сбера. Разработчики выложили в открытый доступ сразу три генеративные модели. Все они прекрасно адаптированы для российского сегмента, так как сразу писались на русском языке, а не адаптировались. В итоге все они максимально стабильные и производительные. GigaChat Lite нужна для решения самых простых ежедневных задач. Это первая по-настоящему российская open-source модель. Главное преимущество — скорость. GigaAMv2 — лучшая модель в РФ AI-инструментом для распознавания речи с возможностью допобучения. GigaEmbeddings была разработана для RAG и других задач, потребляет большой объем ресурсов, но превосходит большинство конкурентов по производительности и надежности.

Ничего необычного, просто новая gemini 2.0 болтает с chatgpt voice Те самые тарантиновские диалоги из учебников английского

Команды Центрального университета завоевали первые места на Международном конкурсе по ИИ AI Challenge ⚪️ Команды из Центрального университета соревновались с 44 сборными из 65 стран мира в полуфинале трека “Исследователи”. Нужно было решить технические бизнес-кейсы с использованием методов машинного обучения и анализа данных по различным направлениям, например, по металлургии, сельскому хозяйству и инвестициям. ⚪️Команды из Центрального университета заняли призовые места в треке “Исследователи”. Победителем в направлении “Инвестиции” стала команда “ИИван”: ее участники построили модель временных рядов, которая валидирует данные MOEX и предсказывает движение котировок на временном промежутке в 1 час. На втором месте по направлению “Девелопмент” – сборная “Без приколов”, которая разработала модель скоринга подрядчиков для расчета вероятности “дефолта” и реализовала интерфейс для взаимодействия с ней. Все финалисты и призеры конкурса AI Challenge разделят призовой фонд – 17 млн рублей. ⚪️В этом году преподаватели Центрального университета уже подготовили команду к победе на первой Международной олимпиаде по ИИ в Болгарии. Сборная с большим отрывом обошла соперников из 39 стран. В 2025 году Центральный университет и Альянс ИИ будут готовить команду к олимпиаде в Китае.

Понедельник.

В EpochAI показали интересную статистику трендов роста параметров в языковых моделях Смотрите: с 2017 года, года выхода трансфорера, количество параметров в моделях росло очень значительно. Если в GPT-1 их насчитывалось всего 117 миллионов, то уже через два года, в GPT-3, их стало 175 миллиардов, то есть в 1000 раз больше. В GPT-4, которая вышла еще через три года, уже было 1.8 триллиона параметров — еще в 10 раз больше. Помните ту самую картинку с китом, иллюстрирующим размеры GPT-5, с весенней конференции Microsoft? Долгое время действительно считалось, что количество параметров, как и размер датасета – ключ к масштабированию, и если бы тенденция сохранилась, то сейчас в ведущих моделях было бы около 10 триллионов параметров. Но реальность оказалась иной: вместо увеличения масштаба модели начали уменьшаться. Например, GPT-4o имеет, предположительно, около 200 миллиардов параметров, что в 8-10 раз меньше GPT-4. Примерно столько же имеет Claude 3.5 Sonnet (прикинуть можно на основе открытых моделей или на основе скорости инференса и цен). Почему так? а) Акцент сместился на оптимизацию, потому что компании уже не могли вывозить еще более дорогой инференс в условиях растущего спроса; б) Теперь у нас есть синтетика, и можно увеличить вычислительную сложность обучения, не увеличивая при этом размер; в) Мы перешли на другой закон масштабирования (и это, пожалуй, самое важное). C 2020 года предполагалось, что для оптимальной производительности модели нужно поддерживать высокое соотношение параметров к числу обучающих токенов. Однако в 2022 году и в дальнейшем группа исследователей Hoffmann et al. показала новый закон, известный как Chinchilla: оказалось, что вместо увеличения числа параметров можно добиться лучшей производительности, увеличив количество данных, на которых обучается модель (см.график). Правда, сейчас и это выходит на плато, но это уже другая история. Тем не менее, вряд ли и дальше модели будут уменьшаться такими темпами. Смена законов масштабирования была разовым эффектом, а также довольно очевидно, что нельзя бесконечно уменьшать размер модели, сохраняя высокую производительность. Кроме того, сейчас в приоритете test-time compute scaling, и при этом железо продолжает развиваться, так что большие модели, которые могут работать с длинными цепочками рассуждений и контекстом, снова получают преимущество. Короче, довольно интересный ресерч у ребят вышел, полностью прочитать можно тут

GUID Partition Table RIP Доброе воскресное

У Meta вышла громкая работа о новом способе токенизации Токенизация – вообще одна из ключевых проблем LLM. Именно из-за токенизации модели плохо справляются с математикой. Токенайзер может токенизировать 380 как "380", а 381 как "38" и "1", то есть модель на самом деле просто не понимает, что представляет из себя число. При этом токен != слово и токен != слог. Токен – это вообще нечто нечеткое. Отсюда проблемы с элементарными фонетическими задачами вроде подсчета количества букв r в слове strawberry (больше примеров, в которых модельки фейлятся из-за токенизации см. здесь). Meta предложили в качестве альтернативы токенам обычные байты. Тут надо сказать, что идея вообще-то не новая, еще давно уже выходила похожая token-free LM MambaByte. Но у Meta, во избежании слишком длинных последовательностей битов, впервые повляется динамический энкодинг в патчи. Эти патчи и служат основными единицами вычисления, и внутри модели решается задача предсказания следующего патча. Патчи сегментируются динамически на основе энтропии следующего байта. Получается, если данные более "предсказуемы", то патчи получаются подлиннее, и наоборот. Однако перед разделением байты все равно обрабатываются локальным энкодером, аналогично после предсказания следующего патча приходится подключать декодер. На бечмарках все очень многообещающе: BLT (Byte Latent Transformer) находится на одном уровне или даже немного выше LLama 3 с BPE по перплексии (BPB на графике – это метрика перплексии, не зависяща от токенизатора). При этом подход масштабируется, и исследователям даже удалось обучить токен-фри Llama-3 8B на датасете 1Т токенов, и она оказалась в среднем немного лучше, чем Llama-3 с BPE. Обязательно почитайте полностью, это очень интересно

Илья Суцкевер вчера выступил с интереснейшей лекцией про скейлинг моделей на NeurlPS 2024 Он пояснил, что масштабирование на данных в претрейне действительно заканчивается, новые или синтетические данные не меняют ситуацию. Илья сравнил данные с ископаемым топливом: мы использовали его, чтобы «завести» ИИ и поставить его на рельсы, но теперь пора переключиться на другие инструменты. Это как с человеческим мозгом: в какой-то момент эволюции он перестал расти в размерах, но человечество все равно становится умнее с каждым годом за счет новых навыков. Так, будущее ИИ, как говорит Илья, за агентами, понимаем целей и самосознанием в моделях. При этом к появлению самосознания может привести ризонинг, но, как отметил ученый, пока что очень непредсказуемая вещь. «Сверхразум в любом случае будет обладать радикально другими качествами и свойствами, по сравнению с сегодняшними моделями» – сказал Илья. Лекцию полностью залили сюда

Уровень пасхалок: OpenAI

7 день стримов OpenAI из 12: сегодня показали проекты в ChatGPT Это могут быть просто папки для группировки диалогов на одну и ту же тему, или полноценные проекты с версиями, прогрессом и тд.

Наверное 200 долларов на подписку откладывала со вкусняшек

Новый ресерч от Anthropic: стартап представляет систему для анализа диалогов пользователей без использования личных данных Анализ того, как именно пользователи используют LLM – для компаний настоящий кладезь. Ведь это ключ с понимаю того, как улучшить свою систему. Но как анализировать диалоги так, чтобы данные пользователя при этом были защищены от чужих глаз? Очень просто: пусть вместо аналитика тоже будет ИИ. Система Anthropic – Clio – работает в несколько этапов. Сначала из диалогов извлекаются фичи: эмбеддинги, язык, длина, тема, главная задача и тд. Затем на основе этих признаков модель кластеризует диалоги с помощью обычного K-Means и делит их иерархически. Получается такое дерево кластеров, в котором можно гулять по ветвям, анализируя темы разных уровней. Система позволяет анализировать тренды, отслеживать удовлетворенность пользователей, их настоение в общении с ИИ и, самое крутое – джейлбрейки (это же какое счастье для выстраивания alignment'а и безопасности!) При этом никакие данные все еще не попадают в руки людей – весь пайплайн автоматизирован. Только после того, как Clio тщательно фильтрует все персональные данные и удаляет редкие кейсы, мы наконец можем взглянуть на аггрегацию. На скрине наверху – самые частые сценария использования Claude. Обратите внимание, что это первое в истории исследование такого рода (по крайней мере, результаты которого были опубликованы): чтобы мы увидели эти числа, Clio обработала более 1 миллиона случайных диалогов. Кстати, исследователи отмечают, что кроме того, что перечисленно на графике, они нашли еще несколько внезапных, но очень популярных кейсов использования чат-бота. Среди них анализ футбольных матчей, толкование снов, написание сценариев для Dungeons & Dragons и... подсчет букв r в слове strawberry 😀 А еще оказалось, что юзеры разных стран по-разному используют ИИ. Например, испанцы часто спрашивают про экономику и доровье, японцам подавай мангу, а китайцам – написанные ИИ детективы и триллеры. Очень круто, в общем. Подробнее можно почитать здесь

Яндекс Поиск, Сбер AI и MTS AI признаны лучшими работодателями в сфере ИИ Об этом сообщает TAdviser: аналитики оценивали 45 компаний и сравнивали их по пяти критериям, включая карьерное развитие, прокачку хард скиллов сорудников, участие в развитии сообщества и др (подробнее – тут). В финал вышли 20 работодателей, а в тройку лидеров попали Яндекс Поиск, Сбер AI и MTS AI 👍 А вот еще немного интересной статистики из этого исследования: сейчас уже 90%(!) крупнейших компаний в России используют ИИ, при этом в среднем команды ML-разработчиков составляют 50 человек, а в корпорациях – 1000. Теперь вы знаете, куда отправлять резюме

Есть только два агрегатных состояния

Известный ученый Энди Конвинский объявил, что подарит миллион долларов тем, кто пройдет 90% обновленного SWE-bench со своей моделькой Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование и написал:

I'm Andy, and I’m giving $1M to the first team that exceeds 90% on a new version of the SWE-bench benchmark containing GitHub issues we collect after we freeze submissions. I want to see what a contamination-free leaderboard looks like. Your challenge is to build an AI that crushes this yet-to-be-collected set of SWE-bench issues.

Что тут интересного? – Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт. – Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти). Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет. www.kaggle.com/competitions/konwinski-prize/overview

Салют от команды GigaChat! Приглашаем на конференцию по технологиям ИИ 📆 17 декабря, 12:30 (МСК, GMT+3) 📍 Офлайн в Москве. Для посещения в офлайне нужно дождаться приглашения от организаторов. 🌐 Онлайн-трансляция на сайте SberDevices В программе — 9 докладов о том, как ИИ учится говорить, слышать, фильтровать данные и помогать людям. Спикеры расскажут про создание ИИ-агентов и персонажей, эмбеддинги и навыки моделей. Поделятся способами фильтровать данные и быстро обучать мощные модели. Вас ждут новости разработки GigaChat и ассистента Салют, а также расскажут про open-source модели. Участвуйте в дискуссиях с другими участниками и задавайте вопросы спикерам во время докладов. А офлайн-участников ждут афтерпати и стенды с технологиями: можно будет протестировать GigaChain и технологии GigaChat Audio, а также поработать с гипотезами в GigaPlayground. Для участия нужно зарегистрироваться на сайте. Больше подробностей — в Telegram-канале конференции. Реклама. ПАО Сбербанк. ИНН 7707083893

Microsoft анонсировали Phi-4! Это следующая версия всеми любимой малышки Phi-3 теперь имеет 14В параметров и работает наравне с GPT-4o mini и совсем недавно выпущенной Llama-3.3-70B. На AMC 10/12 она достигает 91,8% – это даже больше, чем у Gemini Pro 1.5. В тех.отчете компания объявляет, что в основном таким перформансом модель обязана качественным синтетическим и органическим данным на претрейне и продвинутым методам постобучения. Говорят, добавили в DPO pivotal token search (PTS). Это что-то вроде метода, завязанного на супер-токенах в ризонинге, статью о котором мы недавно подробно разбирали. Потрогать пока нельзя, на HF обещают завести только на следующей неделе. Пока читаем техрепорт и блогпост

Сегодня экватор адвент-календаря от OpenAI: показали лайфмод в Advanced Voice Mode Модель работает с видео и демонстрацией экрана в реальной времени. Работает довольно быстро и хорошо запоминает все, что ей показать. Получается "бесплатный" идеальный инструктор в любом деле. Но, к сожалению, выкатить еще не успели (обещают в течение недели). Также в войсмод добавили Санту, заряжаемся новогодним настроением

Четверых ученых-основателей ML и Дженсена Хуанга выиграли премию VinFuture Grand Prize Это очень престижный денежный приз, который каждый год вручают за заслуги в науке и технологиях. В этом году впервые награждали на заслуги в ML, и наградили сразу пятерых: Дженсена Хуанга, отцов-основателей Йошуа Бенджио, Яна Лекуна и Джеффри Хинтона и легендарную Фей-Фей Ли. Мльщики забрали в этом году, кажется, все возможные награды

Что-то на шикарном: посмотрите, какие видео генерит Kandinsky 4.0 Video Релиз представили буквально сегодня на конференции AI Journey. Нейросеть научилась делать очень качественные ролики с плавными переходами и сочной картинкой. Причем по любому описанию или стартовому кадру. Реалистичность тоже оказалась на уровне. В публичный доступ выложат совсем скоро, в 2025 году, так что ждем и тестируем.