Data Secrets

Зацените аргумент, который Meta использует в судебных исках против авторов Сейчас на Meta заведено более 10 дел за пиратское использование книг для обучения моделей. Это, к слову, не одна и не две книги, а порядка 7 миллионов. Так вот, в ответах истцам юристы компании используют, внимание, такой ответ:

«Использование одной книги для претрейна повышает производительность модели менее чем на 0,06%. Поэтому, взятая отдельно, работа не имеет экономической ценности в качестве обучающих данных»

То есть «все равно», используют они эту книгу или нет. Это еще не все. Адвокаты пишут, что потенциальные переговоры о лицензировании – это пустая трата времени, потому что структура прав на книги «устроена слишком нелогично». 🚨

В детской книжке по философии была найдена жемчужина А можно лучше на мозг Димы посмотреть?

Зумеры не пройдут: теперь в Инстаграме ИИ будет отлавливать профили несовершеннолетних и автоматически менять настройки их аккаунтов Meta будет анализировать переписки, вовлеченность и, конечно, фото. Настройки можно будет вернуть обратно, но для этого нужно будет подтвердить возраст. С сегодняшнего дня функцию уже тестируют в США.

Помните пост про ML-модель для уборки мусора, которую студенты ШАДа сделали вместе с Yandex B2B Tech? С её помощью ускорили очистку заказников, выложили код в опенсорс — и всё это ещё во время учёбы. Если вы тогда задумались: «А как вообще попасть в ШАД и делать такое?» — вот подробный подкаст с Алексеем Толстиковым, руководителем Школы анализа данных Яндекса. В выпуске: — как устроен отбор (20 задач, олимпиада или экзамен, собес); — что за люди туда поступают и как готовятся; — зачем нужна такая система и как она помогает вырасти от джуна до специалиста, который делает значимые проекты. Смотреть здесь

В конце той недели Meta FAIR выкатили целую пачку опенсорсных релизов, которые могут стать частью их будущего AMI (advanced machine intelligence). Краткий разбор: 1. Perception Encoder. Лидер FAIR Ян Лекун часто говорит о том, что просто понимания изображений и видео моделям недостаточно. Они должны понимать физический мир целиком, как мы. И вот этот Perception Encoder – это как раз обобщенный аналог vision энкодера. Perception – c английского "восприятие", то есть некоторое глобальное зрение. Цель была научить систему справляться с любыми визуальными задачами, но не посредством традиционных отдельных многозадачных схем, а через единый контрастивный лосс. 2. Perception Language Model. Тут целое семейство моделей от 1 до 8 млрд параметров. Аналогично, обобщенный аналог VLM. Вместо привычных энкодеров – PE. В целом превосходит QwenVL2.5, так что результаты довольно неплохие. 3. Meta Locate 3D. Новый state‑of‑the‑art на основных бенчмарках локализации объектов в 3D. Интересно, что модель научили оперировать напрямую с RGB‑D фреймами, то есть потоками от сенсоров. Это значит, что, например, при использовании в работотехнике системе даже не понадобятся дополнительные заглушки, все будет работать end‑to‑end. 4. Dynamic Byte Latent Transformer. Пытаются уйти от токенизации и заставляют модель обрабатывать сырые байты вместо токенов. В архитектуре такой же трансформер, только еще добавляется слой для сжатия/восстановления информации. 5. Collaborative Reasoner. Фреймворк для обучения LLM решать задачи через многошаговое взаимодействие агентов. Имитация дискуссии ну или, исходя из названия, коллективного рассуждения. В плане появления реальных способностей рассуждать Meta верит в такие брейнштормы агентов больше, чем в классический single‑agent chain‑of‑thought. Общая идея понятная: обобщить то, что можно обобщить; уйти от ограничений типа токенизации; всеми способами повышать генерализацию и адаптивность модели. Посмотрим, приживется ли. Все веса, датасеты и демо тут

Демис Хассабис (тот самый с обложки TIME): «Сейчас ИИ не обладает сознанием, но оно может возникнуть неявно» По словам ученого, появление сознания в моделях не является целью как таковой, но оно может возникнуть само собой по мере их развития.

«Таким системам необходимо понимание себя, собеседника и других. И это может вырасти в что-то, напоминающее самосознание. Но оно будет отличаться от человеческого»

Примерно то же самое Демис говорит про любопытство, интуицию и воображение. Сейчас его нет, но через 5-10 лет появится, и тогда модели смогут по-настоящему генерировать гипотезы и заниматься наукой. Полное интервью (идет час, вышло несколько часов назад)

Что лучше: получить 500 000 ₽ или пропуск в одно из крупнейших сообществ web3-энтузиастов и блокчейн-разработчиков? 😏 Победители блокчейн-хакатона DeFi Hack 2025 получат и то и другое. Для этого нужно только решить реальную бизнес-задачу Сбера и предложить лучшее инновационное решение. 🏆 Призовой фонд хакатона в 1 000 000 ₽ разделят между собой 3 участника/команды: 500 000 ₽, 300 000 ₽ и 200 000 ₽. Приём заявок продлится до 12 мая — успейте собрать команду до 5 человек или принять участие соло! 👌

В соцсетях пользователи ополчились на OpenAI за то, что результаты выпущенной o3 не соответствуют заявленным в декабре бенчмаркам. Разбираемся Как мы помним, o3 анонсировали еще в декабре. Вот наш пост с показанными тогда метриками. Кратко: 25% на FrontierMath (против 2% у следующего конкурента) и 88% на ARC AGI. И вот, наконец, o3 выпускают в паблик, и что мы видим? 10% на FrontierMath и 35-40 на ARC AGI. Получается, OpenAI соврали? Не совсем так: 1. В анонсе были показаны, вероятно, результаты o3-pro, которая еще не вышла. Плюс, замеры были по верхней границе (сейчас настройки могут быть другие). 2. С декабря версии бенчмарков изменились. Если в декабре во FrontierMath было 180 задач, то теперь их 290 и они другие. 3. Выпущенная в паблик модель отличается от версий o3, которые были у OpenAI в декабре. Об этом разработчики говорили прямо на стриме: «Модель оптимизирована для реальных сценариев использования и более быстрых ответов». Ну и цена упала в несколько раз, судя по замерам ARC-AGI (картинка 3). Ожидаемо, что метрики у такой версии где-то просядут. Ситуация, конечно, все равно спорная. Просто помним, что бенчмарки вещь тонкая, на слово верить им не стоит никогда. Сейчас это в основном инструмент маркетинга, а не адекватного эвала.

Отец обучения с подкреплением Ричард Саттон опубликовал очень интересное эссе под названием «Добро пожаловать в эру опыта» О Ричарде мы писали вот тут. В 80-е он вместе с Эндрю Барто разработал основы RL, а в этом году они получили премию Тьюринга. В эссе Саттон говорит о том, что эпоха контролируемого предобучения ИИ постепенно заканчивается. В будущем вместо привычной связки претрен + файнтюнинг + RL нас ждут агенты, которые будут самообучаться. Конкретнее, агенты будут непрерывно действовать в реальном или смоделированном мире и генерировать в нем собственные данные для обучения посредством взаимодействия друг с другом. Среда, кстати, может быть какая угодно: компьютеры, игры, биржи, реальный мир для роботов или даже обычные умные часы. Это будет похоже на тот же RL, только агенты будут оптимизировать вознаграждения, основанные именно на окружающей среде, а не только на человеческих предпочтениях. Получается, что это ближе к человекоподобному обучению на основе жизненного опыта. Полностью почитать можно тут

Там Стэнфорд выложили на YouTube свой свежий курс CS336: Language Modeling from Scratch Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала. Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг. Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу. Репозиторий с дз и ноутбуками Сайт курса YouTube

Bloomberg пишет, что за 2024 из-за производства ИИ-чипов выбросы углекислого газа увеличились вчетверо Особенно ИИ-гонка влияет на Азию, потому что там расположены все основные производства (в том числе заводы Nvidia и Microsoft). Интересно, что рост выбросов, связанных с производством чипов, обогнал даже рост выбросов от потребления электроэнергии: 357% против 351. Гринпис в связи с этим заявляет, что они уже начинают сомневаться в конечной полезности ИИ 😬

Яндекс создал более надежный аналог Kafka Если вы строите микросервисы, то знаете: когда архитектура становится сложнее, просто Kafka может не хватить. Хочется чего-то с такой же совместимостью, но более управляемое. Шина от Яндекса называется YDB Topics и умеет передавать разнородную информацию с высокой гарантией сохранности. При этом развернуть её можно где угодно. У Яндекса на YDB уже вся инфраструктура и это действительно удобнее с точки зрения настроек доступа и организации распределенной работы. Больше о YDB Topics расскажут на вебинаре 23 апреля. Будет информация про архитектуру, встроенные корпоративные возможности и то, как систему получилось сделать настолько отказоустойчивой. А еще много интересных тех.деталей: например, про ACID транзакции и борьбу с дублями.

Google выпустили новые версии Gemma-3, которые можно запустить локально на домашних видеокартах Например, теперь, чтобы запустить Gemma 3 27B, понадобится всего 14 гигабайт vRAM всесто 54. А Gemma 3 1B вообще заведется на 0.5 Gb (считай, на утюге). Технически все дело в квантовании. Квантование – это когда мы снижаем точность чисел, которые модель хранит и использует для расчетов. Обычно квантование снижает качество ответов исходной модельки, но тут Gemma специально натренили быть к этому устойчивой. Это называется Quantization-Aware Training: модель квантуют не после окончания обучения, а прямо во время. Веса уже на HF

Только что в Китае закончился первый в мире полу-марафон для людей и роботов Участие приняли более 20 двуногих роботов. Были и от ведущих китайских стартапов, но даже победители очень сильно отставали от людей (фух). Пробежать нужно было, если что, 21 километр. Победитель от людей преодолел расстояние за 1 час 2 минуты. От роботов победил Tiangong Ultra. Его результат – 2 часа 40 минут. В общем, атлеты пока что не ВСЕ

Интересно: OpenAI добавили в API флекс-процессинг Как это работает: теперь вы можете использовать модели в API с огромными скидками, если согласитесь ждать ответы чуть дольше. Получается дешевле на 50%. Подходит, если у вас асинхронная система или вы используете API для себя. Ну, например, для разметки или эвала. Чтобы воспользоваться, надо просто прописать service_tier="flex" Вайб-кодинг, флекс-процессинг… Чил-трейнинг будет?

Качество стриминга под контролем 🔥 22 апреля на VK Видео Meetup не пропустите доклад о лаборатории качества единой видеоплатформы VK. Вы узнаете, чем она занимается, как в ней замеряют качество роликов, исследуют эффективность работы приложений и пользовательский опыт. Инсайдами поделится Павел Муханов, руководитель лаборатории. Регистрируйтесь сами и расскажите коллегам!

ML-щик? Назови все модели OpenAI в порядке возрастания метрик на бенчмарках

Anthropic инвестируют 50 миллионов долларов в интерпретируемость LLM Точнее в стартап Goodfire, который специализируется на интерпретируемости. Вместе с Anthropic они теперь будут разрабатывать общедоступную платформу нейронного программирования Ember, которая сможет показывать «мысли» любой ИИ-модели. Это, кстати, первая инвестиция Anthropic за все время существования компании

Cloud․ru выкатил первый сервис для инференса LLM в облаке с разделением GPU Облачный провайдер анонсировал управляемый сервис Evolution ML Inference с упором на гибкость и эффективность работы с GPU. На платформе впервые в России реализовали технологию Shared GPU, то есть можно будет использовать GPU не полностью, а потреблять только то количество vRAM, которое необходимо модели в конкретный момент. Такой подход экономит от 15 до 45% ресурсов, а, следовательно, и костов (тарификация осуществляется as-you-go и только в момент обращения к модели). А еще фишка в том, что на платформе можно будет в пару кликов развернуть не только встроенные модели, но и любую модельку с HF, и даже свою собственную LM. При этом Cloud․ru берут на себя скейлинг, администрирование и обслуживание инфраструктуры. Плюс никаких проблем с 152-ФЗ: данные хранятся на российских серверах.

Платформа Midjourney становится похожа на ИИ-фигму Они только что выкатили обновление для своего редактора изображений. Поменялся интерфейс, добавился инструмент для выбора и редактирования определенных частей изображения. Также улучшили модерацию и даже стали показывать слои картинки: все, как в любимом фотошопе. Пробуем тут