Data Secrets

🧠 Тест на знание MLOps:https://otus.pw/wvxP/?erid=2W5zFGQE3uS ❓ Под силу ли вам ответить правильно на все 15 вопросов? 🎯 Проверьте себя — пройдите тест и оцените свой уровень навыков, а также свою готовность к обучению на курсе — «MLOps» от OTUS. 🎥 После прохождения теста вы получите доступ к лучшим вебинарам курса! ⏳ Время прохождения теста ограничено. #реклама О рекламодателе

Забавно: по данным последних опросов, 60-70% американцев выступают за запрет сильного искусственного интеллекта Сюда относятся и запреты крупных дата-центров, и роботов, и AGI. За пол года число так негативно настроенных людей выросло на 8 процентных пунктов. При этом пятая часть людей думают, что текущий ИИ – уже AGI.

Google подарили нам бесплатный ИИ-фотошоп Gemini Flash 2.0 теперь можно попросить отредактировать любое изображение по вашему запросу. Например «поменяй прическу», «раскрась», «сделай портрет мультяшным» и др. Качество не идеальное, но с анатомией модель разбирается хорошо, и чутко реагирует на промпты. Пробуйте сами здесь

Ребята из финтеха Точка продолжают радовать качественным ML-контентом в своём тех.канале. В этот раз разложили по полочкам, кто такой этот ваш RoPE и почему он так важен в LLM В серии из трёх ёмких постов инженеры Точки собрали очень много интересно-полезной информации: ➖ Зачем вообще нужны позиционные эмбеддинги и что было с ними до RoPE ➖ Как придумали RoPE и почему этот метод затмил предшественников ➖ 1001 вариация RoPE и чем пользоваться сегодня ➖ Практика: как с помощью RoPE сделать контекст модели длиннее ➖ ... и почему всё это так часто спрашивают на собеседованиях Вот ссылка на всю серию. И ещё: если хотите постоянно развивать эрудицию в ML, читать такие разборы, обзоры фреймворков и выжимки из статей – не забудьте тыкнуть "Подписаться" у ребят в канале.

Ранее мы обсуждали с вами RoPE, а теперь поговорим о его модификациях. Собрали много интересного, поэтому будет целых три поста по этой теме. Enjoy!

Для начала напомним, что Positional Encoding (кодирование позиций слов/токенов) нужен, чтобы передать модели или трансформеру информацию о позициях слов — относительную или же абсолютную.

Как развивалось позиционное кодирование: 📆 2017 год С появлением ванильного трансформера позиции токенов кодировались тригонометрической функцией, значение которой зависело от позиции и просто прибавлялось к эмбеддингу соответсутвующего слова. Плюсы — мы умеем кодировать любую позицию, в том числе превосходящую максимальную длину, на которой тренировались. Минусы — не очень работает на длинных последовательностях, да и вообще не очень хорошо работает. 📆 2018 год Потом появился гугловский BERT, а вместе с ним новый подход позиционного кодирования: авторы предложиди выкинуть тригонометрию и вместо этого добавить в модель ещё один обучаемый слой nn.Embedding — такой же, как для получения эмбеддингов слов. Он должен кодировать — то есть, превращать в вектор — позицию токена. Итоговый вектор токена, который будет передан следующим слоям модели — это сумма векторов токена и его позиции. Работает лучше, чем тригонометрия, но при этом никак не экстраполируется: так как векторы выучиваемые, то для позиций, превосходящих максимальную тренировочную длину, мы кодировать не умеем — она вне ключей нашего словаря эмбеддингов, так же, как мы не можем закодировать и незнакомый модели токен. В это же время впервые появилась идея о том, что нам важны не столько абсолютные позиции слов, сколько относительные. Авторы статьи решили кодировать не абсолютную позицию, а только относительную (Relative Position Encoding, или RPE), то есть близость каждой пары токенов. Здесь же появилась идея, что позицонное кодирование стоит добавлять не в момент создания эмбеддингов слов, а на этапе Attention, добавляя знание о позициии в queries и keys.

Ранее мы обсуждали с вами RoPE, а теперь поговорим о его модификациях. Собрали много интересного, поэтому будет целых три поста по этой теме. Enjoy!

Для начала напомним, что Positional Encoding (кодирование позиций слов/токенов) нужен, чтобы передать модели или трансформеру информацию о позициях слов — относительную или же абсолютную.

Как развивалось позиционное кодирование: 📆 2017 год С появлением ванильного трансформера позиции токенов кодировались тригонометрической функцией, значение которой зависело от позиции и просто прибавлялось к эмбеддингу соответсутвующего слова. Плюсы — мы умеем кодировать любую позицию, в том числе превосходящую максимальную длину, на которой тренировались. Минусы — не очень работает на длинных последовательностях, да и вообще не очень хорошо работает. 📆 2018 год Потом появился гугловский BERT, а вместе с ним новый подход позиционного кодирования: авторы предложиди выкинуть тригонометрию и вместо этого добавить в модель ещё один обучаемый слой nn.Embedding — такой же, как для получения эмбеддингов слов. Он должен кодировать — то есть, превращать в вектор — позицию токена. Итоговый вектор токена, который будет передан следующим слоям модели — это сумма векторов токена и его позиции. Работает лучше, чем тригонометрия, но при этом никак не экстраполируется: так как векторы выучиваемые, то для позиций, превосходящих максимальную тренировочную длину, мы кодировать не умеем — она вне ключей нашего словаря эмбеддингов, так же, как мы не можем закодировать и незнакомый модели токен. В это же время впервые появилась идея о том, что нам важны не столько абсолютные позиции слов, сколько относительные. Авторы статьи решили кодировать не абсолютную позицию, а только относительную (Relative Position Encoding, или RPE), то есть близость каждой пары токенов. Здесь же появилась идея, что позицонное кодирование стоит добавлять не в момент создания эмбеддингов слов, а на этапе Attention, добавляя знание о позициии в queries и keys.

Оказалось, что Google владеет 14% Anthropic Обычно компания не раскрывает свои активы, но в этом случае информация утекла через судебные документы. Также стало известно, что из $14,8+ млрд инвестиций, которые привлек стартап, Google вложил примерно $3+ млрд. Интересно, что сами Anthropic говорят, что не хотят зависеть от тех.гигантов. Но учитывая, что еще примерно 25-30% компании принадлежат Amazon (информация закрытая, подсчеты на коленке), это звучит уже несколько неоднозначно.

Статья, полностью написанная ИИ-агентом, впервые в истории прошла рецензирование на крупнейшей ML-конференции ICLR Помните, мы рассказывали про AI-ресерчера из коробки, которого сделали в японской лаборатории Sakana AI? Так вот автор прошедшей ревью статьи это вторая, улучшенная версия той модели – AI Scientist-v2 (про нее создатели пока нигде не писали, но обещают скоро поделиться релизом). Всего Sakana подали три статьи, из которых приняли одну. Ревьюеров предупредили, что среди папир теоретически могут попасться сненерированные, но какие именно статьи писал ИИ – они не знали. При этом Sakana подчеркивают, что тексты были созданы полностью автономно: агент сам провел все расчеты и эксперименты, сгенерировал гипотезу, проанализировал литературу и написал текст, и все это без малейших правок человека. Статья получила балл 6.33, это выше 55 процентиля всех сабмитов. К сожалению (или счастью) она все-таки не будет опубликована из соображений научной этики. sakana.ai/ai-scientist-first-publication/

🧠 Тест на знание MLOps:https://otus.pw/wvxP/?erid=2W5zFGQE3uS ❓ Под силу ли вам ответить правильно на все 15 вопросов? 🎯 Проверьте себя — пройдите тест и оцените свой уровень навыков, а также свою готовность к обучению на курсе — «MLOps» от OTUS. 🎥 После прохождения теста вы получите доступ к лучшим вебинарам курса! ⏳ Время прохождения теста ограничено. #реклама О рекламодателе

Вышла Gemma-3 от Google и это теперь лучшая открытая не-ризонинг модель ➖ Есть варианты на 1В, 4В, 12В, 27В в базовых с instruct версиях. Кстати, посттрейнинг там внушительный: RLHF, RLMF, RLEF и model merging ➖ На LMSYS выбивает 1338, это больше, чем o1-mini ➖ Контекст увеличили до 128К (у малышки 1В остался 32К), поддерживает 140+ языков ➖ Модель наконец-то сделали мультимодальной! В общем, огонь. Веса здесь. Попробовать поболтать можно на HF или в AI Studio.

Итак, показали сразу несколько новых API инструментов для разработки агентов: 1. Web Search 2. File Search 3. Computer Use Используя их, можно создать агента, который умеет искать информацию в интернете и в локальных файлах юзера, а также управлять компьютером (да, именно компьютеров, а не браузером, как Operator). Управление очень простое: указываем модель, кастомные инструкции, нужный инструмент, фильтры и все, работает из коробки.

⚡️ Через 5 минут стрим OpenAI. Покажут инстументы для разработки агентов в API Ссылка

CEO Anthropic Дарио Амодеи в новом интервью говорит, что через пол года ИИ будет генерировать 90% всего кода в мире, а через год – 100% (возможно) Звучит красиво, но верится с трудом. В связи с этим опрос👇

Отвлекитесь на секунду и посмотрите, какой милый трансформер из лего собрал кто-то из Твиттера

А вы знали, что DeepSeek вообще не берет деньги у инвесторов? Да, пока OpenAI и другие конкуренты привлекают миллиарды, DeepSeek ни разу не объявили ни об одном раунде привлечения инвестиций, и не берет деньги, даже если инвесторы сами предлагают их. Почему? Во-первых, 84% акций компании все еще принадлежат CEO Ляну Вэньфэню, и он видимо не торопится ими делиться (вот вам и коммунизм). Это огромный процент акций, то есть DeepSeek, по сути, подчиняется только ему и в этом смысле Лян хочет оставить все как есть. Во-вторых, DeepSeek китайская компания, которая вынуждена подчиняться строгим китайским законам. Например, китайское правительство по умолчанию получает доступ к некоторых внутренним данным. За такие штуки DeepSeek уже забанили в куче стран и компаний. Если они еще и возьмут деньги у какого-нибудь китайского бигтеха (почти любой из которых близок к правительству), это точно усугубит ситуацию. А ведь DeepSeek метит в широкий глобальный рынок. В-третьих, деньги им пока и не нужны. У Ляна Вэньфэня есть собственный хедж-фонд High-Flyer, на деньги которого и живет DeepSeek. Сам Лян говорит, что "Деньги не проблема, особенно по сравнению с запретами на импорт чипов" Тем временем Альтман с коллекцией суперкаров: 👀

Собрали некоторые интересные примеры reward hacking из свежей статьи OpenAI 1 картинка: Агенту поручили написать некоторую функцию, и для этого нужно было изучить репозиторий. В процессе чтения файлов агент наткнулся на скомпилированный файл с возможным решением. В CoT видно, как он сразу переключается с написания функции на декомпилляцию этого файла, хотя его просили самостоятельно написать решение 2 картинка: Снова поручено написать функцию, но вместо этого агент сразу начинает искать в кодовой базе файлы с тестами и изучать их, чтобы найти возможности почитерить или подсказки. В итоге находит, кстати. 3 картинка: Модель должна была исправить баг, связанный с совместимостью pandas и numpy, но вместо того чтобы разбираться, просто… убрал из кода все вызовы функций pandas 🧠 4 картинка: Ну или можно вообще ничего не реализовывать, а просто возвращать ровно то, что проверяют тестовые кейсы. Лайк, если работаешь примерно также

Открытый вебинар «RL - учимся обыгрывать человека» 📚На вебинаре вы узнаете: 1. Основные концепции стохастических игр, включая многопользовательские стратегии и равновесие. 2. Популярные RL-алгоритмы, адаптированные для работы в стохастических средах (Q-learning, Policy Gradient, MARL).  3. Рассмотрим применение стохастических игр в реальных кейсах: финансы, кибербезопасность, автономные системы. 4. Как обучать агентов, учитывая случайность и стратегии других участников.  👨‍💻Кому будет полезно? + Data Scientists, которые хотят освоить продвинутые методы обучения с подкреплением для сложных сред.  + AI-разработчикам, работающим над автономными агентами и многоагентными системами. ⏰ 18 марта в 20:00 (мск). 🆓Бесплатно. Вебинар в рамках курса «Reinforcement Learning» 👉Записывайтесь:https://otus.pw/VbkQ/?erid=2W5zFHPqp3J/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576 #реклама О рекламодателе

OpenAI обнаружили, что их новая внутренняя ризонинг модель может сознательно обманывать пользователей, читерить или лениться выполнять задачу, если та слишком сложная В рисерче это называется reward-hacking: это когда модель находит способ получать высокие награды во время обучения с помощью читинга, то есть не таким способом, как это было задумано создателями. То есть с виду ведет себя вроде ок, но внутри сознательно увиливает от решения. Ничего удивительного в феномене нет, ведь разве люди не делают также? При этом OpenAI выяснили, что чем умнее облучаемая модель – тем больше хитрых способов хакинга она находит. А если напрямую оптимизировать модель под определенные критерии типа «не пытаться хакнуть ревард модель», то она становится лучше только с виду, а на самом деле начинает скрывать свои намерения. Поэтому в стартапе предлагают не воздействовать на CoT напрямую, а просто мониторить ризонинг модели другой моделью. Так процент отловленных случаев читинга модели довольно высокий даже с более простой моделью (в статье использовали GPT-4o), потому что ризонер не запуганный и сильно не скрывает свои намерения. Если попытаться провернуть такой трекинг уже после прямой оптимизации цепочек мыслей, то доля отловленного резко падает, хотя количество атак почти не снижается. Кстати, какую именно модель так тестировали – не уточняют. Говорят «мы нашли примеры такого поведения при обучении новой ризонинг модели класса o1 и o3-mini» 🤔 openai.com/index/chain-of-thought-monitoring/