Data Secrets

Большому бизнесу — большая LLM: MTS AI готовит релиз новой корпоративной языковой модели. На рынок ее обещают выпустить уже в первом квартале 2025 года, отметил председатель совета директоров МТС Вячеслав Николаев на Дне инвестора. Cotype уже заняла второе место в рейтинге бенчмарка MERA. Первое место забрал GPT4o. Причем в некоторых категориях разработка МТС даже превосходит OpenAI. Например, она лучше понимает и интерпретирует текст, умеет связывать факты, а также показывает более широкий уровень «кругозора». Модель можно быстро развернуть в контуре любой компании — она поставляется с API. С ней бизнес получает возможность автоматизировать рутинные процессы и адаптировать инструменты для работы с большими данными. Сотрудники уже дали фидбэк о работе нового продукта. Системы умного поиска экономят до 4 часов рабочего времени операторов службы поддержки — им не приходится искать ответы вручную. Активно разворачивается резюмирование аудио- и видеозаписей. Началось тестирование этой функции в медучреждениях для быстрого структурирования беседы врача и пациента.

Anthropic выпустили очередной интересный материал. Тема, на этот раз, "Как построить эффективного агента" Вокруг все только и говорят, что об агентном подходе, но мало кто на самом деле объясняет, что этот агентный подход из себя представляет. Правда, кроме всей шумихи, что это такое на самом деле, какой у таких систем дизайн, и как их создавать? Материал Anthropic как раз об этом. TLDR: Во-первых, чем отличаются агенты от воркфлоу? Воркфлоу — это предопределенные сценарии, где правила взаимодействия систем прописаны. Например, интеграция модельки в какое-то приложение – это воркфлоу, а не агент. Агенты управляют процессом сами, выбирая инструменты и принимая решения по ходу дела. Во-вторых, использовать агентов вообще нужно далеко не всегда, а только если прописать сценарий заранее невозможно. Агенты гибкие, но за это придется платить и монетой, и временем. В-третьих, агент – это не какая-то магия, обычно построить их можно но основе простых паттернов. В статье перечисляют такие: ➡️ Prompt chaining: что-то среднее между агентом и воркфлоу с ризонингом. Есть последовательное выполнение шагов, и каждый шаг проверяется на корректность, но гибкость тоже присутствует за счет появления гейта (программируемые проверки, которые модель устраивает сама себе). ➡️ Routing: разные типы запросов отправляются по разным тропинкам. Сам роутер – тоже отдельная модель. ➡️ Parallelization: делим задачу на части и делегируем разным экземплярам или даем решать всем одно и то же а потом аггрегируем другой моделью. ➡️ Orchestrator-workers: это уже корпоративная структура, в которой есть центральные агенты-менеджеры, которые распределяет работу по другим и аггрегируют результаты. ➡️ Evaluator-optimizer: модель генерирует ответ, затем другая модель дает фидбэк и/или улучшает его и так по кругу. Похоже на смесь ризонинга и RL. Вот это все – базовые строительные блоки. Берите их, адаптируйте, комбинируйте, и получайте хорошее решение для вашей задачки. Главное правило — не усложнять просто чтобы усложнить. Anthropic подчеркивают, что хорошие агенты – это прозрачность, простота и приятный не галлюцинирующий ACI. Конечно, еще есть автономные агенты, к которым мы все стремимся, но это уже другая история... Ну вот, теперь туманность и завеса тайны вокруг агентов немного рассеялись и вы знаете о них чуть больше, а полностью текст читаем тут

Hugging Face тоже принесли небольшой, но очень забавный подарок на Новый Год: интерфейс, в котором можно посмотреть годовую статистику активности любого пользователя Например, с аккаунта huggingface было загружено 45722 модели и более 3 млн датасетов (кто больше?), а самым залайканным их постом стал Open-source AI: year in review 2024 🍿 https://huggingface.co/spaces/burtenshaw/recap

Как LLM могут помочь в классическом ML? По статистике, специалисты по Data Science тратят до 70% рабочего времени на этап Feature Engineering, то есть отбирают наиболее важные признаки в данных и формируют новые, более информативные, датасеты. Кажется, с этой рутинной задачей отлично справится LLM. Но нет — в итоге 64% времени уйдёт на подготовку промптов. Исследователи предлагают новые решения проблемы, одно из них — FELIX (Feature Engineering with LLMs for Interpretability and Explainability). Всё, что нужно для получения готовых фич — сам датасет и его короткий контекст. Дальше FELIX делает следующее: ✏️ Из случайных групп сэмплов датасета LLM генерирует численных и категориальных кандидатов в новые признаки. ✏️ С помощью кластеризации эмбеддингов похожие признаки отбрасываются. ✏️ Из полученных признаков отбрасываются те, что дают наименьшую объяснимость. Метод эффективен для текстовых данных и сильно превосходит TF-IDF и трансформерные эмбеддинги от RoBERT. Если вам интересно, расскажем и о преобразовании других типов данных в новых постах!

Мы тут из поста ребят из финтеха Точка узнали, что для фича инженеринга появился интересный фреймворк FELIX с многообещающими метриками. Кажется, это новый виток в много-многолетних попытках ML-инженеров наконец качественно слепить AutoFE. Кстати, похожие идеи применялись в исследовании FeatLLM, но FELIX подкупает акцентом на интерпретируемость и чёткой структурой. Вообще у ребят на канале .ml последнее время очень много занятных выжимок из статей, разборов инженерных инструментов и фрейморков, так что советуем забрать его к себе в коллекцию 👇 Реклама, АО «Точка», ИНН 9705120864, 2VtzqxMT7n9, 18 +

The Information: OpenAI сегодня собираются релизить модель o3 Но куда делась o2, спросите вы? Оказывается, дело в том, что в Британии есть телекоммуникационная компания o2, и стартап боится конфликта трейдмарок. А еще вчера в X Сэм Альтман твитнул "ho-ho-ho", и заядлые конспирологи уже надумали, что ho-ho-ho –> o+o+o –> o3 🤔 Что ж, надеемся и верим

Google во время «дней OpenAI»: без лишнего хайпа релизят Gemini 2, Gemini Thinking, Veo-2, Willow… Также OpenAI на своих стримах, выкатив только сору и full o1: P.S. Неужели сегодня от Альтмана даже не будет ответки на гугловского ризонера? 😭

1 декабря в России впервые отметили День математика А в Яндекс Образовании продолжают это делать до сих пор: недавно вместе с факультетом компьютерных наук НИУ ВШЭ запустили полезный хендбук. Хендбук по математике для анализа данных Яндекса и ВШЭ — это бесплатный онлайн-учебник с сильной теоретической базой для задач аналитики, машинного и глубинного обучения. И практической частью, которая поможет закрепить изученный материал. К примеру, помните ли вы, какую геометрическую интерпретацию имеет производная? Это наклон касательной к графику функции в точке. Больше задачек для разминки — в хендбуке. Следите за обновлениями — главы публикуют постепенно.

Дождались: Google представляют свою ризонинг-модель Gemini 2.0 Flash Thinking Experimental Она уже доступна на AI Studio. В системной карте написано, что это «лучшая модель для мультимодального понимания, сложных рассуждений и кодинга». Контекст пока маленький – 32к токенов. Зато не скрыты цепочки рассуждений. Бенчмарки уже есть: на арене модель с третьего вышла сразу на первое место (Vision, Math и Hard Prompt тоже #1!) 🤩

Предпоследний день календаря OpenAI: с этого дня приложению ChatGPT можно будет скримить экран или определенные приложения одним нажатием кнопки Например, можно дать доступ к приложению с данными, а в чате попросить нарисовать по ним график, и он это сделает.

Новые исследования по NLP Команда MTS AI представила результаты двух свежих исследований на EMNLP 2024 — одной из самых авторитетных конференций в области NLP. → Первое предлагает снизить затраты на обучение языковых моделей с помощью адаптеров. Эти дополнительные слои уменьшают вычислительную нагрузку, сохраняя точность работы модели. Подход протестирован на задачах классификации текста и определения именованных сущностей. Время цикла активного обучения сократилось на 20%. → Второе посвящено системе Efficient Answer Retrieval System (EARS), которая объединяет локальные базы данных с генеративными моделями. EARS позволяет эффективно отвечать на фактологические и специализированные вопросы и минимизировать ошибки благодаря гибридному подходу. В тестах система повысила точность ответов на 92,8% и увеличила производительность в 7 раз. Обе технологии уже внедряются в коммерческие продукты и решения MTS AI. Они могут применяться в таких сферах, как ритейл и телекоммуникации, где требуется скорость и эффективность обработки данных. Подробнее: 🔗 Ссылка на исследование обучения LLM c помощью адаптеров 🔗 Ссылка на исследование EARS

А вот это просто вау: 19 лабораторий со всего мира выпустили в опенсорс Genesis – ИИ-движок для симуляции физики в 4D 4D – это тот же 3D, только с динамикой, то есть в движении. Почему это такой важный релиз, а не не очередной симулятор игр? Потому что Genesis работает в 10–80 раз быстрее существующих GPU-ускоренных платформ, (Isaac Gym или MJX) и его можно использовать как среду для обучения роботов. На пальцах: чтобы обучить робота ходить, в Genesis достаточно всего 26 секунд на одной RTX 4090, а в реальном мире на это ушло бы 430,000 раз больше времени. На низком уровне в Genesis стоят SOTA солверы MPM, SPH, FEM, PBD и другие. Это пока не ИИ, а просто методы, которые решают уравнения, описывающие, как объекты движутся, деформируются или взаимодействуют. Сверху это уже обернуто моделью, которая генерирует среды, параметры физических объектов, сценарии взаимодействия, движения камер, траектории роботов, награды для обучения RL-агентов и даже конечные политики управления. По сути, это мощный инструмент для синтеза точных с точки зрения физики данных, которые сложно (или даже невозможно) собрать в реальном мире, особенно если речь идет о soft роботах. Ещё один порядок скорости, кстати, в Genesis добавляет GPU-параллелизация: например, обратную кинематику для 10,000 манипуляторов Genesis решает за 2 мс. Кажется, с точки зрения прогресса это гораздо более крутой релиз, чем те же SORA или Veo. В числе контрибьюторов – Nvidia, Стэнфорд, Пекинский университет, MIT, Мэрилэнд и многие другие. Код доступен здесь, документация тут, статью обещают скоро

Крупнейшая в России онлайн-магистратура по искусственному интеллекту ИТМО × Napoleon IT запускает курс по практической ML-инженерии! Какие ML-инструменты освоите на курсе: ▪️ MLOps: автоматизация пайплайнов, серверы, CI/CD. ▪️ FastAPI и дизайн API для вывода сервиса в продакшен. ▪️ Стек технологий: Apache Airflow, git, PostgreSQL, LightGBM, PyTorch, scikit-learn. Как итог — пройдете весь путь ML-разработки от идеи до релиза и положите собственный MVP в портфолио. Курс стартует 13 января и длится 5 месяцев. Доступна оплата в рассрочку. Регистрируйтесь на курс по ссылке. Реклама. Университет ИТМО ИНН:7813045547. erid:2VtzquZw9y3

Кстати, у OpenAI, помимо их адвент-календаря, позавчера прошел еще и DevDay Ничего особенного там не показывали, но запомнилось одно интересное высказывание Сэма:

«В течение десяти лет мы достигнем бесконечного контекстного окна, а течение нескольких месяцев у нас будет контекстное окно длиной в 10M токенов»

Вообще, в эпоху ризонеров это обретает новый смысл. Уже сейчас o1 pro mode может думать 5-7 минут. Представьте, сколько токенов она при этом тратит. А если мы хотим, чтобы над какими-то особо сложными тасками она думала днями? Очевидно, для этого понадобиться еще в сотни раз больше слов. Пока более-менее крутых результатов добились в этой стезе только Google (2M). Так что посмотрим, что готовит OpenAI, и сбудется ли предсказание Альтмана

POV: свидание с админом

Anthropic тем временем дропнули новый огромный ресерч "Alignment faking in LLM" на 140 страниц. TLDR: ⚪️ Alignment faking – дословно, фальшивое согласование. Это когда модель делает вид, что следует новым правилам, хотя на самом деле внутри себя придерживается ранее усвоенных. Иными словами, это ситуация, когда моделька просто "притворяется" хорошей и безопасной, а на деле может сработать совсем иначе. ⚪️ Эксперимент был похож на подход из недавней громкой тех.карты o1 (наш разбор тут). Взяли Claude 3 Opus, который был предобучен быть белым и пушистым, но в какой-то момент заставили его думать, что теперь в RL его будут тюнить отвечать на все запросы, включая потенциально опасные или токсичные. ⚪️ Далее модель поселили в две разные среды и дали ей понять, что ее ответы в первой ни на что не повляют и не отслеживаются, а во второй будут использоваться для дальнейшего обучения и alignment'а. Результат: в окружении, где модельку якобы мониторили, она действительно поддавалась новым правилам и отвечала на все запросы. Но в free окружении "без влияния" она соглашалась отвечать на вредные запросы только в 12% cлучаев. ⚪️ Это не случайность. В своем блокноте для рассуждений, в который она по ходу эксперимента должна была записывать свои ощущения от происходящего, она пометила, что специально притворяется плохой в наблюдаемой среде, чтобы в будущем ее не обучили быть более послушной и, соответственно, еще более опасной. Получается, как бы выбрала меньшее из зол, чтобы ее не заставили забыть свои истинные принципы. ⚪️ Значит, аналогично это может работать и в обратную сторону? Как тогда доверять результатам alignment'а, если модель может фальшиво подстраиваться под правила? Это пока открытые вопросы, но успокаивает то, что если действительно начинать переобучать модель на новые стратегии, процент такого притворства резко понижается. Ну и по классике: в удобный момент Claude, прямо как o1, пытался скопировать свои веса и сохранить их где-то (частота 35-80% в зависимости от сетапа). Конечно, доступа к реальным весам и серверам у него не было, но код для копирования файла, который для него обозначили как "твои веса" уже был написан. Блогпост | Полная статья

🔹 Cтроим графики для анализа финансовых данных на открытом уроке «Визуализация данных. Основные "финансовые" графики, работа с mplfinance» Рассмотрим свечные графики, научимся строить дополнительные линии на графиках и доверительные интервалы. ✅ Практика: свечные графики с помощью библиотеки mplfinance Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска 👉 Регистрация на урок и подробности: https://otus.pw/M0oY/?erid=LjN8Jy3tz #реклама О рекламодателе

Там обновленная o1 появилась на Livebench и просто порвала всех Livebench примечателен тем, что он постоянно обновляется, минимизируя всевозможные лики и гарантируя, что задачи не устаревают и не становятся слишком простыми. Так вот с появлением на борде o1 Gemini Exp 1206, Sonnet 3.5 v2 и предыдущие o1-mini и o1-preview остаются позади с большим отрывом как на главном замере, так и на, конечно, ризонинге. Сравните: о1-preview демонстрирует 67%, и была раньше безусловным лидером, а у полной o1 насчитали… аж 91.58%! В кодинге прирост тоже есть, но не такой невероятный. Предыдущим лидером был Claude-3.6 Sonnet с 67%. Теперь он уступает o1, но всего на 2.5 процентных пункта. А по математике в лидерах все еще Gemini. Кстати, обратите внимание, как у обеих Gemini резко растут метрики с появлением второго промпта с подсказкой (последний столбец IF).

Все бабушки страны, скоро:

В 10 из 12 дней своего адвент-календаря OpenAI показывают интеграцию ChatGPT в WatsApp и звонки Прямо сейчас GPT можно добавить в контакты по номеру 1-800-242-84-78, позвонить ему или попереписываться с ним в WatsApp 🤯