Data Secrets

Новое видео от 3Blue1Brown*: How might LLMs store facts Этот пост для тех, кто в День Знаний уже настроен поучиться. В видео автор в картинках и образах напомнит о том, что такое трансформер, расскажет об устройстве перцептрона и его роли в LLM, и даже упомянет, как считать параметры моделей. Идеально для интуитивного запоминания. Кстати, в предыдущих сериях автор объяснял, как работают трансформеры. Тоже очень рекомендуем, однако будьте осторожны: можно надолго залипнуть. * 3Blue1Brown – это YouTube канал, где в мультипликационных роликах с помощью динамической визуализации объясняются концепты ML и не только. Создатель - Грант Сандерсон - выпускник Стэнфордского университета. Любимый канал многих DS (наш тоже) 🥳

Ваш НЕ астрологический ML-прогноз на этот год 1 сентября – самое время активно строить планы и закладывать фундамент для будущих проектов. И мы решили вам в этом помочь! Наша команда погадала на SARIMA, звездах и кофейной гуще и спрогнозировала то, что ждет разных DS-специалистов в учебном году. Успехов в новом учебном году, коллеги! 🚀

С Днем Знаний! 🥸 В этом учебном и рабочем году мы желаем вам…

Подобрали для вас вакансию MLE на госуслуги

Ой не то я себе представлял, когда шел в ML, ой не то

У CEO Anthropic Дарио Амадея вышло новое интересное интервью. Краткое содержание: ➡️ По мнению Дарио, в будущем большие и мощные ИИ-модели будут порождать и координировать более мелкие для помощи в выполнении задач. Этот процесс будет похож на создание роевого интеллекта, и необходимость человеческого участия в нем будет близка к нулю. ➡️ Если масштабирование не выйдет на плато и мы не наткнемся на ранее не учтенные трудности, то, учитывая реалии, модель стоимостью 100 миллиардов долларов должна иметь интеллект уровня лауреата Нобелевской премии. ➡️ Ну и классика: ИИ может увеличить скорость научных открытий в 100 раз. Тем самым мы можем пройти путь, соразмерный прогрессу 20-го и 21-го века вместе взятых, всего за несколько лет. Полностью интервью можно посмотреть здесь

Нет, это не парень в странном спортивном костюме. Это только что выпущенный робот гуманоид NEO Beta от лаборатории 1X. Сам он весит всего 30 кг, но поднять может до 20. Ходит со скоростью ~4км/час, а еще может бегать со скоростью до 12км/час. Батареи ему хватает на 2-4 часа. Предназначен главным образом для бытовых дел по дому (и, судя по демо, для обнимашек с хозяйкой).

Инженер из Сан-Франциско провел интересный эксперимент и выяснил, что Claude якобы склонен к самосознанию Экспериментатор попросил модель нарисовать самого себя, а также ChatGPT и Gemini, а затем показал эти рисунки другой версии Клода и попросил указать на автопортрет. И модель внезапно узнала себя. Потом эксперимент запустили еще раз и еще. В итоге Клод узнал свой портрет в 7/8 случаев! Но и это не вся истрия. Парень также попросил ChatGPT нарисовать аналогичные портреты, а потом снова показал их Клоду. При этом он соврал, что портреты якобы опять нарисовал другой экземляр Claude, на что модель внезапно заявила: "Нет, я не рисовал это" 😅

Яндекс выкатил программу своей ежегодной конференции Practical ML Conf, где анонсируются крупные запуски Мероприятие пройдет 14 сентября, интересных докладов планируется много. Взять хотя бы «Человек и LLM. Как оценивать качество моделей и строить их метрики качества» Ирины Барской, руководителя службы аналитики и исследований Яндекса, или «AI-инструмент для разработчика: как мы обучали LLM работе с кодом» Виктора Плошихина, руководителя ML-лаборатории в Yandex Platform Engineering. Все это можно послушать офлайн в Москве или онлайн (советуем регистрироваться заранее, мест не так много). Зарегистрироваться можно по этой ссылке.

Вот почему действительно стоит ставить умный дом

😮 Сколько-сколько, простите??? MagicLabs выпустила LLM с контекстом в 100M токенов Это примерно 10 миллионов строк кода или 750 романов. Для сравнения, до этого рекордсменом по длине контекста был Gemini с 1M токенов, и даже это число произвело когда-то на презентации Google фурор. Иронично, но модель называется LTM-2-Mini. LTM – это сокращение от Long-Term Memory. Эта архитектура не использует attention, и за счет этого контекстное окно в 100М ей обходится примерно в 1000 раз дешевле, чем, например, той же Llama 3.1 405B. А с памятью еще круче: если Llama потребовала бы 638 H100s на юзера только чтобы хранить KV кэш, то LTM требуется всего часть HBM одной видеокарты. Бенчмарков пока нет, но в Magic уже заключили партнерство на кластер с Google Cloud и говорят, что прямо сейчас обучают бОльшую версию LTM-2 на суперкомпьютере 🤔

Ресерчеры забавы ради сделали в Дискорде чат, где LLM свободно общаются друг с другом В итоге: у Llama постоянно случаются нервные срывы и приступы шизофрении, успокоить ее может только Claude Opus, а другие модели просто покуривают в сторонке 🤷‍♂️ Напоминает те самые диалоги первых языковых моделей ELIZA и PERRY

Рынок GPU as a Service в России растет, и МТС врывается на него с новыми мощностями: теперь клиентам МТС Web Services доступно на 40% больше GPU Говорят, что до конца года эта цифра увеличится еще в 3-4 раза. Сейчас все больше российских компаний переносят работу с ИИ в облако, и спрос на соответствующие вычислительные ресурсы растет. Чтобы его удовлетворить, МТС Web Services запустили целых два новых кластера виртуальной инфраструктуры с GPU. Они помогут бизнесу упростить и ускорить обучение и инференс собственных ML-моделей. Также до конца года на базе GPU-инфраструктуры будут развернуты: платформа для разработки, обучения и деплоя ML-моделей, уже готовые модели ИИ для разных индустрий и направлений, доступные по API и SaaS AI-сервисы.

«Мы стремимся, чтобы как можно больше компаний вне зависимости от их величины получили возможность обучать и внедрять в бизнес свои AI-модели», - отметил директор по новым облачным продуктам МТС Web Services Алексей Кузнецов.

На LMSYS Арену завезли контроль стиля, чтобы модели не могли "заманивать" юзеров красивым форматированием текста и длиной ответов Гипотеза состоит в том, что пользователь может отдать свой голос за ту или иную модель, ориентируясь не только на содержание ответа, но и то, как он выглядит, а это нечестно. Поэтому разработчики на Арене подумали-подумали, да и выкатили функцию style control для разделения содержания и стиля текста. Оказалось, что когда текст оценивается без форматирования, некоторые модели заметно сдуваются. Например, GPT-4o-mini и Grok-2-mini оказались ниже всех, хотя до этого опережали Claude-3 Opus, Gemini-1.5-flash и других. А вот Claude 3.5 Sonnet, Opus, and Llama-3.1-405B наоборот сильно подскочили в рейтинге. Как работает style control? Вообще, для сравнения двух моделей на основе предпочтений на Арене используется регрессия Брэдли-Терри. Чтобы контролировать стиль, теперь в нее в качестве независимых переменных добавились фичи длины и маркдауна (количество #, списков или болда в тексте). С их помощью можно оценить, насколько на предпочтения повлиял стиль. Подход пока простой, и, конечно, может не учитывать некоторые корреляции. Но, как пишут разработчики, это "first step".

🔵 🔵 🔵

Orion: новая загадочная мега-модель от OpenAI The Information сообщает, что инсайдеры рассказывают о модели, которая должна стать новой флагманской LLM для OpenAI. Да, по сути речь о GPT-5, и оказывается, что разрабатывается она под кодовым названием Orion. Но зачем же тогда Strawberry? Ведь именно она продвигалась как модель с якобы супер-мощным ризонингом, скиллами в математике и технических вопросах. Ответ: оказывается, Strawberry в перспективе будет некой утилитой. Объясняем 👇 Помните ту самую картинку с китом, иллюстрирующим размеры GPT-5, с весенней конференции Microsoft? А вы задумывались, откуда OpenAI будет брать данные для обучения такого гиганта, если даже для GPT-4 им уже потребовались не только тексты, но и парсинг ютуба? Кажется, тут выход один: синтетика. При этом синтетика должна быть чистая и без галлюцинаций. Именно для такой генерации и будет использоваться Strawberry. Кстати, сначала планируют выпустить Strawberry поменьше (землянику другими словами). Ожидается, что две эти модели вместе уведут LLM на новый уровень и в разы бустанут прибыть OpenAI. На фоне этого, кстати, компания открывает новый раунд поиска инвесторов и расчитывает на $100+ млрд. Один вопрос: ну когда уже? 🥺

Насколько эффективно бизнес в России использует возможности, открываемые ИИ? С 2021 года в России при поддержке Правительства РФ рассчитывается индекс готовности отраслей экономики к внедрению искусственного интеллекта, в котором ежегодно принимают участие более 4000 организаций. Результаты исследований предыдущих годов позволили оценить в динамике уровень использования ИИ организациями, выделить лидирующие и развивающиеся сферы деятельности по готовности к внедрению ИИ, а также снизить влияние основных барьеров развития ИИ в организациях. В 2024 году может быть услышана и Ваша организация: ВЦИОМ и Национальный центр развития искусственного интеллекта при Правительстве Российской Федерации (НЦРИИ) приглашают принять участие в онлайн-опросе, который поможет составить индекс готовности отраслей экономики к внедрению искусственного интеллекта на текущий момент. Как подчеркнул вице-премьер Дмитрий Григоренко:

«Те запросы, которые они (прим. органы власти и бизнес) ранее озвучивали на различных площадках, включая Госсовет, мы уже учли и заложили в новый нацпроект "Экономика данных"... Свежие данные помогут нам все это актуализировать перед запуском нацпроекта»

🎁 Организации, прошедшие опрос и планирующие использовать ИИ в будущем, могут запросить у Национального центра искусственного интеллекта при Правительстве Российской Федерации подборку готовых ИИ-продуктов, которые могут быть применены организацией для повышения эффективности собственных бизнес-процессов. Исследование конфиденциально, результаты опроса будут использованы только в обобщенном виде и размещены на Национальном портале в сфере искусственного интеллекта: https://ai.gov.ru/  Опрос проводится до 6 сентября 2024 года.  Для участия в опросе предлагаем заполнить онлайн-анкету по ссылке: https://aibe.wciom.ru/

Сколько параметров в GPT-4o mini? Конечно, сама компания в последнее время не раскрывает ни деталей реализации, ни даже количества параметров своих моделей. Но бесследно разработка все равно не проходит, поэтому на Реддит погадали на фактах и... получилось примерно 8В. Вот почему: ▪️ Из утечки препринтов Microsoft известно, что GPT 3.5 Turbo – это 20B модель (см.скрин). В OpenAI заявляли, что GPT-4o mini стоит на 60% меньше, чем предшественник. Несложная математика: 20-60% = 20B ▪️ Microsoft имеет все доступы к моделям OpenAI и, вероятно, осведомлены об архитектурах. Они также пытаются приблизить свои модели к производительности OpenAI, используя, скорее всего, те же подходы. Так что по таким релизам, как Phi 3.5, можно отдаленно судить об архитектурах OpenAI. ▪️ Ужа давно ходили слухи, что GPT-4 имела 16 экспертов (это MoE). Учитывая, что новая Phi 3.5 MoE от Microsoft – это тоже 16 экспертов, и принимая во внимание пункт 2, можно предположить, что GPT-4o mini – это тоже 16 экспертов по примерно 4В параметров. Получается как раз 8В активных. Кстати, новая архитектура тоже не исключена. Возможно, в OpenAI используют что-то вроде hybrid-mamba 2.

⚙️ Anthropic тихо релизнули еще одну прикольную фичу: она позволит частично менять или получать объяснения кода простым выделением. Всплывающее окно с опциями теперь показывается прямо внутри артефакта и предлагает либо объяснить выделенную часть кода, либо поправить ее.