Data Secrets

Тем временем соцсети уже переполнены кейсами применения нового Realtime API Gemini. А если хотите попробовать сами локально (напоминаем, это бесплатно) – то мы принесли вам код 1. Скачивайте файл отсюда 2. Запускаете pip install pyaudio websockets 3. Добавляете в строку GEMINI_API_KEY={TOKEN} свой токен 4. Вы великолепны и можете болтать с Gemini по видеосвязи

Заказчик, объясняющий свою гениальную идею ИИ-приложения VS ML-инженер

Google наконец-то докрутили свою Gemini до вау-эффекта. Что там интересного: ⚪️ Новая экспериментальная модель Gemini 2.0 Flash. Работает быстрее своего предшественника Flash 1.5 и соображает лучше по большинству бенчмарков. Доступна всем уже сейчас. Также докручены агентные способности: понимание файлов, например. ⚪️ Realtime мультимодальный API. На вход принимает текст, голос и даже видео в онлайне! То есть с ней можно разговаривать и одновременно показывать экран устройства или мир вокруг с камеры. Задержка почти незаметна, отвечать тоже может голосом. При этом в любом режиме инпута доступны инструменты (поиск в интернете, интерпретатор кода). Тоже доступно бесплатно. Картинки на выход тоже может, но пока без редактирования. ⚪️ Функция Deep Research (вот она доступна только для Advanced юзеров). Это углубленный поиск в интернете на заданную тему. Перед тем, как идти в поиск, моделька составляет план и показывает его вам для правок. Потом идет и рыщет по ссылкам, находит новые источники, проверяет детали и через несколько минут выкатывает вам большой отчет. Ну супер же! Google снова в гонке, получается 🎉

⚙️ 5 день стримов OpenAI из 12: сегодня рассказали про интеграцию ChatGPT в устройства Apple Siri теперь будет использовать модели OpenAI (прямо так и пишется, working with chatgpt). А еще на айфонах в Apple Intelligence будут доступно дополнительное расширение ChatGPT.

⚫️ Объявлены результаты NeurIPS 2024 Best Paper Awards Best Paper Awards – вообще очень престижная награда, тем более на NeurIPS, которая считается лучшей ML-конференцией в мире. Вот кто получил награду в этот раз: ➡️ Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction. Статья про новую авторегрессионную вижн модель. В отличие от классических авторегрессий, тут прогнозируется не следующий токен, а следующий скейл. Так авторегрессия становится больше похожа на диффузию: такой алгоритм на каждом шаге прогнозирования тоже как бы добавляет все более и более мелкие детали к изображению. Вы, кстати, удивитесь, но один из авторов этой статьи – тот самый стажер, который два месяца вставлял палки в колеса соседней команды, загружая порченные Pickle-файлы, полные вредоносного кода, удаляя чекпоинты, специально добавляя баги в корпоративный форк PyTorch и тд. Бывает же. ➡️Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators. В этой статье предлагается метод стохастической оценки производной Тейлора, который позволяет ускорить обучения нейросетей в случае, если используются производные высокого порядка. До этого предлагались только методы, которые понижали сложность либо относительно порядка производной, либо относительно размерности вектора, но при этом один из аспектов всегда страдал. Здесь же предложен более общий подход, оптимизирующий и то, и то. ➡️ В номенации "Datasets & Benchmarks" победила статья The PRISM Alignment Dataset про самый большой в мире открытый датасет человеческих предпочтений. Особая ценность в том, что датасет мультикультурный: представлены данные из 75 стран и от людей с совершенно разными демографическими фичами. Немного раньше, в конце ноября, также объявляли победителей премии Test of Time Paper Awards NeurIPS 2024. Эта награда выдается старым статьям, которые прошли испытание временем. В прошлом году награду получил word2vec (пост), а в этом году она досталась GAN'у (Ян Гудфеллоу и Йошуа Бенджио) и Sequence to Sequence Learning (Илья Суцкевер).

В Meta метод Coconut, который позволяет моделям строить цепочки ризонинга не на ествественном языке, а в латентном пространстве Забавное название Coconut – это сокращение от Chain of Continuous Thought. В целом, это та же цепочка мыслей, просто не на естественном языке, а внутри скрытого слоя. Конкретнее: в CoT для ризонинга шаг за шагом в инпут модели добавляются сами токены аутпута один за одним, а в работе Meta вместо токенов используются недекодированные эмбеддинги с последнего слоя. Это немного похоже на недавнюю работу Microsoft (разбор мы делали здесь), за исключением того, что там рассматривались агентские системы, а тут модель вместо других экземпляров общается как бы сама с собой. Результаты получились неоднозначные: например, на GSM8k Coconut выбил 34,1%, когда как ванильный CoT достиг 42,9%. Но вот на бенчмарке логических рассуждений ProntoQA разрыв был на 1пп уже в пользу Coconut, а на ProsQA метод показал себя лучше СoT аж на 20пп! Ну и плюсом ко всему Coconut, естественно, быстрее. Статья полностью тут

Тайна елочки на бечмарке раскрыта: это новые мощные модели от Т-Технологий, куда входит Т-Банк В релиз вошли две языковые модели – новая T-Pro на 32B параметров и обновленная T-Lite на 7В. Обе стали SOTA русского языка среди открытых моделей на индустриальных бенчмарках (MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval). Под капотом обеих моделей Qwen-2.5, который дообучали с помощью Continual Pretraining. Это чтобы модель прокачалась на русском, но не забыла свои базовые навыки и не просела на метриках, как это часто бывает. К тому же, такой подход на 80-90% сокращает косты. Интересно, что это именно узконаправленные открытые модели. То есть, в отличие от универсального ChatGPT, они специализируются на решении конкретных задач. Соответственно, у них отдельно прокачан уровень доменных знаний и умение выполнять практические задачи бизнеса. Получается, теперь все могут абсолютно бесплатно брать T-Pro и T-Lite и идти прикручивать их к своим голосовым помощникам, агентам поддержки и пр. Б – буст! Веса уже лежат на HuggingFace

Помните Model Context Protocol от Anthropic? Это открытый протокол, который позволяет интегрировать любую LLM в любой источник данных. С помощью MCP клиенты (то есть LLM или другие ИИ-инструменты) могут подсоединяться к любому совместимому серверу (то есть приложению или другому источнику данных). Побробности – в этом нашем посте. Так вот, MCP вызвал настолько широкий и позитивный отклик а сообществе, что стартап даже решил провести хакатон именно на основе этой технологии. Он прошел на выходных: всего за 3 часа участникам нужно было выдать какую-то интересную идею применения MCP и воплотить ее. Вот победители: – Приз зрительских симпатий: Santa Claude – сервис для автоматического серчинга новогодних подарков и их заказа с amazon. – Productivity award: Clauduct Manager – ИИ-продакт, который создает, сортирует и пишет таски и тикеты в Linear. – Code award: Claude Voyager – соединение клода с окружением, в котором он может полностью автономно управлять проектом. Все эти проекты кажутся привычными. Но их смысл в том, что это НЕ кастомные решения по интеграции модельки в сервис, а реализованные всего за пару часов идеи применения готового протокола, и это очень круто. Если хотите попробовать поиграть с MCP сами, то наверху мы прикрепили краткий видео-гайд из Твиттера с объяснением того, как это сделать

🚀 МТС Web Services продолжает рассказывать о создании облака в режиме реального времени. Во втором выпуске проекта Building the Cloud поговорим о сервисе Identity and Access Management (IAM). 🔑 Что обсудим: — Как IAM помогает защитить облачные ресурсы и эффективно управлять доступами — Виды субъектов доступа в облако и способы их аутентификации — Как сузить радиус атак c помощью IAM и минимизировать риски прав суперадмина 💡 Для тех, кто пропустил первый выпуск: мы рассказали о создании сервиса Compute. Запись доступна по ссылке. Регистрируйтесь и задайте свой вопрос техлиду команды IAM нового облака в прямом эфире. 📅 Дата: 13 декабря 2024, 11:00 🌐 Регистрация: по ссылке

С вас 200 долларов v2

4 день стримов OpenAI из 12: сегодня показали интерпретатор кода для Canvas Кроме того, теперь Canvas будет доступен для всех, а еще его можно будет встроить в собственные GPTs. Ссылка на стрим

Зацените уровень пасхалок: в офисе Anthropic хранится йодаргирит, химическая формула которого – AgI 🧐 Информацией, кстати, поделился один из разработчиков стартапа в ответ на тот самый «мы уже достигли AGI» твит ресерчера OpenAI. «Мы тоже уже достигли AgI и держим его за стеклом» – иронично написал он.

В Ташкенте прошел финал международного чемпионата по программированию Yandex Cup. В этом году можно было побороться за звание чемпиона в шести направлениях, в том числе в треках ML и алгоритмов. Подобные соревнования Яндекс проводит с 2011 года. Центральной темой чемпионата в этом году стала «цифровая цивилизация». Участники изучали историю, быт и культуру древних цивилизаций — все задачи чемпионата были посвящены древним изобретениям и историческим личностям: например, на этапе квалификации с помощью кода нужно было настроить систему разгрузки драккаров в порту викингов или разработать систему оцифровки для бюллетеней из Древнего Рима. Заявки на участие подали более 20 тысяч человек из 90 стран, при этом призовой фонд составил рекордные для чемпионата 16 млн рублей. Участвовали юниоры от 14 до 18 лет и опытные программисты со всего мира. Отдельное внимание в этот раз уделили машинному обучению: призовой фонд для ML-победителей увеличили на 3,5 млн, а количество финалистов – с 6 до 22. Наглядный пример, как можно вкладываться в людей, развивая сферу в целом. Финал проходил в Ташкенте, на него приехали 200 специалистов со всего мира, а призовые места заняли 94 финалиста из России, Беларуси, Японии, США, Великобритании и Португалии. Площадка тоже отражала идею «цифровой цивилизации», объединяя историю, культуру и технологии. Ее ключевой зоной стал целый музей, в котором можно было представить себя человеком из будущего и посмотреть, как будут выглядеть артефакты современной IT-культуры через тысячу лет. А еще была отдельная экспозиция, посвященная математику Аль-Хорезми, который родился на территории современного Узбекистана. Вы, кстати, знали, что именно его имя легло в основу слова «алгоритм»?

На бенчмарке MERA опубликовали модель, которую обходит только GPT-4о На ключевом русскоязычном ИИ-бенчмарке MERA второе место теперь занимает новая модель, которая обходит все русскоязычные модели в мире и уступает только GPT-4о. Вместо названия модели неизвестные поставили елку 🎄 Теперь гадаем, кто это сделал

EpochAI запустили собственную арену для сравнения LLM Это те самые ребята, которые постоянно делают крутые исследования (пост со списком их самых интересных ресерчей), а недавно катнули крутой математический бенчмарк (пост об этом). Включать обещают только новые сложные бенчмарки, как раз такие как FrontierMath и SWE-Bench-Verified. Пока что доступны GPQA Diamond и MATH Level 5. А еще будет визуализация, открытые данные, анализы скорости и стоимостей. Здорово, что появляется все больше таких платформ: так оценки становятся более независимыми и сложными.

Tesla поделились в X забавным видео, как Optimus гуляет по лесу Пародия / Оригинал ⬆️

Еще у Google в дополнение к блогпосту вышло интересное короткое видео про историю квантовых вычислений и Willow. Основная мысль: Первый свой квантовый чип Google выпустили в 2019. С того момента классические вычисления усовершенствовались в миллиарды раз. Но если классические вычисления растут по закону Мура, то квантовые растут и будут расти по закону Невена, а именно с двойной экспоненциальной скоростью относительно своих классических соперников. Этот закон, к слову, придуман Хартмутом Невеном, который сейчас является директором лаборатории квантового искусственного интеллекта Google. В интервью в честь выхода Willow он говорит, что квантовые вычисления и ИИ будут взаимодополнять друг друга: ИИ может улучшить квантовые чипы, а квантовые компьютеры сделают ИИ мощнее. А еще, кстати, Google опубликовали статью про Willow в Nature. Прочитать можно тут: www.nature.com/articles/s41586-024-08449-y

⚡️ Google выпустили Willow – первый в мире квантовый чип, который показывает способность к масштабированию вычислений Впервые в истории у кого-то получилось создать логические кубиты, которые перформят ниже границы Quantum Error Correction. Это метод, при котором данные сохраняются путем распределения информации по нескольким кубитам, до сих пор он был SOTA. Теперь с ростом кубитов ошибки уменьшаются экспоненциально: это поразительный результат, которого люди пытались добиться последние 30 лет. А теперь приготовьтесь: Willow в септилион раз быстрее классического вычислительного чипа. То есть Willow может за 300 секунд решить задачу, на которую у обычного чипа бы ушло 10,000,000,000,000,000,000,000,000 лет (и это было доказано во время тестов). А еще у чипа рекордное количество кубитов – 105. Конечно, это все еще мало (например, чтобы взломать биткоин, потребуется где-то 300-400 миллионов кубитов), но по сравнению с предыдущими квантовыми компьютерами – вау. Блогпост Google

Худи у Сэма на стриме, конечно, огонь

Сегодня на стриме OpenAI релизят то, чего мы все так долго ждали: SORA уже здесь! Можно генерировать видео до минуты. Согласованность промптов, моушен персонажей, детализация – кайф, однозначно достойный уровень относительно сегодняшних моделей (но, конечно, до генерации фильмов еще далеко). Будем ждать больше пользовательских генераций. Где посмотреть примеры генераций: – Обзор техноблогера, которому давали SORA на тест (вышел сегодня) – Наш сегодняшний пост – Наш пост про утечку модели с примерами, которые успели нагенерить юзеры