Data Secrets

Красивое: посмотрите, как хорош новый Sonnet в рисовании по уравнениям

GPT-5 выходит в декабре или все-таки нет? Вчера The Verge опубликовала статью под названием "OpenAI plans to release its next big AI model by December". Речь шла про Orion: тот самый, о котором слухи начали ходить еще в августе. Журналисты (тогда и сейчас) написали, что эта модель будет в 100 раз мощнее GPT-4, но будет отлична по структуре от семейства ризонеров o1. А o1, кстати, выступит учителем: нагенерит синтетические данные для обучения Orion и, возможно, заменит человеческие аннотации в RLHF. Кроме того, Verge сообщили, что моделька будет выпущена сперва на Azure для компаний-партнеров (и это произойдет уже в ноябре), а только потом ее раскатят на широкого пользователя. Однако Альтман новость довольно грубо опроверг, написав, что это "фейковые новости, вышедшие из-под контроля" и раскритиковав СМИ за «печать случайных фантазий». Тем временем сам он недавно твитил про "зимние созвездия" и про то, что его команда празднует завершение обучение какой-то модели 🤨

Как моя мама представляет меня, когда я говорю, что занимаюсь машинным обучением VS действительно я на работе

Выяснилось, что LLM могут считать, что 9.8 < 9.11, из-за Библии, физики или даже теракта 11 сентября Исследователи из Transluce – только что анонсированной некоммерческой ИИ лаборатории – создали инструмент Monitor. Это еще одна попытка интерпретировать черный ящик LLM и научиться понимать, как модели обдумывают свои ответы. Основной прикол тут в интерфейсе (см.скрины), такого уровня UX подобные интерпретаторы еще не видели. Как и предыдущие решения от OpenAI и Anthropic, инструмент основан на архитектуре SAE, то есть на разреженных автоенкодерах, которые распутывают активации LLM и достают из них так называемые интерпретируемые "фичи" (подробнее про то, как устроены такие автоенкодеры писали здесь). Самое интересное: исследователи прогнали через свою тулзу задачи, на которых LLM традиционно фейлятся, и результаты получились крайне занятные. Например, в той самой задачке, где LLM предлагается сравнить числа 9.8 и 9.11, в ее "мыслях" (в данном случае рассматривают Llama 3.1) внезапно всплывает информация про атаку 11 сентября (9.11) и гравитационную константу (9.8). Вероятно из-за того, что эти темы появлялись в обучающих данных Llama очень часто, числа 9.8 и 9.11 перестают восприниматься ею как обычные числа: она воспринимает их, как другой вид объектов, путается и несет чепуху. Но это не все: можно погрузиться глубже и спросить у интерпретатора не просто о том, какие темы вообще активируются при ответе на вопрос, но и о том, какие именно из них заставляют модель сказать "больше". Если это проделать, то получается, что модель начинает думать про Библию. Оказывается, определенные нейроны в этом кластере связаны со стихами из Библии, и выходит, что 9.8 и 9.11 интерпретируются как 9:8 и 9:11 (глава: стих). Это неудивительно: большинство наборов данных для претрейна содержат много копий Библии. Ученые предположили, что если избавиться от таких тематик, ведущих модель по неверному пути, она все-таки может дать верный ответ. И это заработало! Если с помощью интерпретатора "выключить" вышеперечисленные кластеры нейронов, то модель меняет свое мнение и отвечает правильно: 9.11 меньше 9.8. Короче, интерпретатор не только занятный в роли песочницы, но и действительно полезный. Исследователи отмечают, что это только прототип для интерфейсов с еще более широкими возможностями. Например, Monitor в его нынешнем виде оставляет построение гипотез пользователю: он позволяет наблюдать, какие идеи лежат в основе вычислений модели, но не объясняет, как модели принимают окончательные решения с помощью этих идей. Агенты-исследователи будущего же смогут не только анализировать решения модели, но и помогать автоматически исправлять галлюцинации.

Вышел ежегодный отчёт State of AI о том, что произошло в сфере искусственного интеллекта за последние 12 месяцев. Доклад состоит из 200 страниц. Редакция канала ТЕХНО собрала самое важное: — Главные события и тенденции прошедшего года — Какие из прогнозов на 2024 год сбылись, а какие — нет — Что случится в сфере ИИ в ближайший год Больше интересного в канале @techno_yandex

Лучше любого бенчмарка: разработчик сравнил способности старой и новой версии Claude Sonnet 3.5 в Майнкрафте. Прогресс налицо 😎

А вот и мнение Лекуна про Нобелевскую премию заехало

"Мне кажется, решение дать нобелевскую премию DL-cпециалистам было принято комитетом под некоторым давлением со стороны общественности. И так как они не могли запихнуть более трех людей в химию, а также решили наградить людей, которые посодействовали фундаментальным идеям, пришлось приплести физику. И хотя я очень рад, что Хинтону и Хопфилду дали премию, надо понимать, что машина Больцмана и сети Хопфилда, за которые эту премию дали – это бесполезные алгоритмы. Они интересные, да, но их никто не использует. Их приплели лишь чтобы сохранить некоторую связь с физикой."

Да, жалко в CNN физику не нашли...

Отлог

Kaggle совместно с Google открыли запись на пятидневный интенсив по генеративному ИИ Он разработан ML-инженерами Google и пройдет с 11 по 15 ноября. Для участия нужно просто зарегистрироваться: интенсив бесплатный и не подразумевает вступительных испытаний. За пять дней обещают кучу теории и практики, ежедневные задания и семинары, а еще будет комьюнити в Дискорде. Звучит однозначно здорово 👍

На конференции GoCloud Tech облачники Cloud․ru анонсировали кучу всего нового и интересного. Разбираемся: ➡️ Во-первых, показали новый сервис Bare Metal. Это аренда физических серверов, которые можно крутить и настраивать как хочешь. При этом помощь поддержки не нужна: все делается прямо из ЛК. На них, как и на кластерах, поддерживаются все инструменты для мониторинга, конфигурации и управления. ➡️ Добавили новую зону доступности. На кластерах, кстати, гибкая платежка: если нагрузки мало, денег не спишут, а если много – ничего не упадет. ➡️ Для БД вообще рай: завезли автоматизированное развертывание и управление кластерами PostgreSQL, массивно-параллельный аналитический SQL-движок для обработки бигдаты Managed Trino, новый сервис для хранения метаданных таблиц. ➡️ Куда же без GPU? Теперь можно арендовать виртуалки с графическими процессорами в режиме Preview. Пока доступны V100, но список пополняется. ➡️ Для ценителей открыли маркетплейс. Там все самые популярные образы легендарных LAMP, Nginx, LEMP, Node.js, MEAN, а также куча инструментов ИБ, анализа данных, и др – глаза разбегаются. Платформе Cloud․ru Evolution при этом чуть больше полугода – она была анонсирована в марте. За это время облако протестировали уже более 30 тысяч клиентов, протестируй и ты 🫡

Тем временем в сети кто-то уже умудрился подключить нового агента Anthropic к телефону, заставить его следить за статистикой в спорт-приложении и даже сыграть с другим ИИ в шахматы

ElevenLabs зарелизили новую модель для генерации уникальных голосов Эта лаба вообще известна своими voice решениями: у них и инструменты text2speech, и text2soun, и voice cloning, и еще много всего. Но этот релиз уникальный, потому что подобных решений, в отличие от того же voice cloning, на рынке совсем немного. И вообще, voice generation – это в оригинале идея ElevenLabs. У них эта моделька живет с начала 2023, но до этого голос нельзя было генерировать по промпту: можно было только выбрать для него фичи из списков (в духе высокий голос/низкий, старый/молодой). При этом сейчас чтобы сгенерировать голос, достаточно описать персонажа, котрый им говорит: его характер, происхождение, род деятельности. Кроме того, у лабы уже есть готовая библиотека генераций: там около 3000 примеров. Попробовать можно бесплатно здесь

Вопросы?

Anthropic представили новую фичу Claude – аналитический движок для обработки и анализа данных в реальном времени Вся фишка в том, что интерфейс пишет и запускает JavaScript код, проверяя свои гипотезы и подводя аналитику, и только затем показывает результаты пользователю. Так он может строить графики, обрабатывать данные из файлов и делать по ним выводы. Инструмент также красиво коннектится с Anthropic Artifacts (см. видео) и исследователи говорят, что с помощью него теперь можно добиваться более точных результатов не только в аналитике, но и в коде и математике. Тулза доступна всем пользователям в feature preview

Компания Экопси Консалтинг проводит масштабное исследование отношения разработчиков к генеративным нейросетям: есть шанс не просто поучаствовать, но и выграть за это призы 👾 На самом деле, это первое исследование такого масштаба в России. По его итогу компании, разрабатывающие нейросети, смогут сфокусированнее развиваться, исходя из потребностей ЦА. Поэтому, конечно, собрать мнения разбирающихся людей особенно важно. Опрос занимает не более пяти минут, и все, что нужно – это просто вдумчиво оценить, что на самом деле значимо для вас в использовании моделей, и ответить на вопросы по ссылке. Кстати, среди участников разыгрывают годовой доступ к Telegram Premium, месяц премиум-подписки на ChatGPT и подписку на два месяца в Альпина Digital 📦 В общем, скорее переходите по ссылке и делитесь мнением!

А вот Ян Лекун по поводу ризонинга настроен не так оптимистично, как стартапы. Вот что он сказал на своей недавней лекции:

"Языковые модели НЕ МОГУТ рассуждать или планировать — даже такие модели, как o1 от OpenAI. Нам кажется, что они рассуждают, но на самом деле они просто выполняют интеллектуальный поиск. Это не значит, что LLM бесполезны. Они очень полезны. Но тем не менее, они – не путь к суперинтеллекту, несмотря на то, что говорят некоторые в США."

Лекун также ссылается на исследователя по имени Subbarao Kambhampati, у которого есть целая серия статей про то, что LLM не могут планировать. Серьезно, статьи так и называются: "LLMs Can't Plan", "LLM Still Can't Plan" и так далее в том же духе. Кажется, у него стоит поучиться остаивать свою позицию 😎

Perplexity встраивает в свой поисковик продвинутый ризонинг От этом написал в твиттере CEO стартапа Аравинд Сринивас. Пока фича на стадии тестирования и доступна только в Pro. При этом ризонинг используется не для всех запросов, а только для сложных или составных – классификация происходит автоматически. Для особенно сложных промптов процесс «обдумывания» может занимать до нескольких минут.

Улучшенная версия BPR В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям. Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма. Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов 😱 В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%! Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline. Исходный код и дополнительные материалы можно найти на GitHub.

Новость, уже ставшая постоянной рубрикой канала: OpenAI покинул очередной ведущий специалист В этот раз это Майлз Брендедж – он был старшим консультантом OpenAI по AGI и возглавлял команду AGI Readiness. Майлз проработал в компании 6 лет. В своем прощальном блоге он написал, что уходит, потому что хочет влиять на развитие ИИ "снаружи отрасли, а не изнутри". А вот еще одна интересная цитата из этого блога:

Вообще говоря, ни OpenAI, ни любая другая лаборатория, ни мир в целом не готовы к AGI. Это не камень в огород OpenAI, просто человечество только в начале этого пути и пока готовится к тому, чтобы быть готовыми к AGI.

Майлз пишет, что хочет создать nonprofit организацию/присоединиться к существующей и сосредоточиться на исследовании политики в отношении AGI. Исследователь также написал, что в последнее время в OpenAI он работал над уточнением термина AGI и этапов развития ИИ (то, о чем говорил Альтман), и, возможно, скоро на эту тему выйдет статья.

Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE data_secrets = 'ohmydataengineer'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать. ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта. Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах. Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1