Data Secrets
Open in Telegram
Главный по машинному обучению Сотрудничество: @veron_28 РКН: clck.ru/3FY3GN
Show more
Network:📈 Analytical overview of Telegram channel Data Secrets
Channel Data Secrets (@data_secrets) in the Russian language segment is an active participant. Currently, the community unites 91 145 subscribers, ranking 1 377 in the Technologies & Applications category and 6 153 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 91 145 subscribers.
According to the latest data from 09 July, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 844 over the last 30 days and by 41 over the last 24 hours, overall reach remains high.
- Verification status: Verified (Officially confirmed by Telegram)
- Engagement rate (ER): The average audience engagement rate is 25.53%. Within the first 24 hours after publication, content typically collects 18.58% reactions from the total number of subscribers.
- Post reach: On average, each post receives 23 269 views. Within the first day, a publication typically gains 16 931 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 285.
- Thematic interests: Content is focused on key topics such as claude, openai, контекст, стартап, llm.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN”
Thanks to the high frequency of updates (latest data received on 10 July, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
91 145
Subscribers
+4124 hours
+2287 days
+84430 days
Posts Archive
91 147
Вышло крутое полуторачасовое интервью Франсуа Шолле. Ниже – TLDR
Шолле – создатель Keras, ex ведущий исследователь Google DeepMind, автор книги "Deep Learning with Python", а также один из главных создателей того самого бенчмарка ARC AGI и учредитель соревнования ARC Prize. Из Google, он кстати, совсем недавно ушел и планирует открывать собственную компанию. Самое интересное из интервью:
🟦 Умение хорошо отвечать на сложные вопросы само по себе не гарантирует AGI, потому что бывает двух видов:
а) запоминание и применение паттернов, например, обучение алгоритму умножения чисел и его использование (это ближе к тому что умеют классические LLMки);
б) адаптация к новизне, то есть умение рекомпозировать и объединять известные когнитивные блоки для решения новых задач (ближе к o1).
Только если добиться от моделей полноценного ризонинга типа б) можно прийти к AGI (база)
🟦 Бенчмарк ARC AGI – как раз такой инструмент, который может помочь нам отличить а) от б). И по такому принципу должны строиться все современные бенчмарки, потому что, еще раз, просто умение отвечать на сложные вопросы ничего не доказывает, мы должны проверять умение рассуждать.
🟦 Но и с ARC AGI есть свои проблемы: в частности, он все еще недостаточно разнообразный. Кроме того, существуют известные методы, позволяющие восстанавливать содержимое приватного теста через отправку кучи сабмитов, и ARC AGI уязвим. В будущем Шолее планирует это исправить.
🟦 То, каких результатов добивается o1 делает ее абсолютно уникльной моделью, совершившей прорыв в генерализации. "Это уже далеко за рамками классического лубокого обучения" – говорит Шолле.
🟦 По его догадкам, o1 выполняет поиск по дереву в пространстве возможных Chain of Thought. Как устроен этот поиск, до конца не понятно, это может быть Монте-Карло или даже градиентный спуск.
Посмотреть полностью можно здесь (то что нужно в воскресенье)
91 147
GAN умер; да здравствует GAN!
Да, эта статья заслуживает внимания за одно лишь название (в оригинале на английском The GAN is dead; long live the GAN!). Однако вчера она еще и стала лидером в рейтинге Paper of the day на HF. Разбираемся 👇
Итак, GAN был одной из первых генеративных архитектур. Чем же он плох? Самое главное, нестабильностью: чтобы заставить лосс сойтись, обычно нужно продать дьяволу душу. Есть миллион статей, описывающих кучу трюков для таких танцев с бубном, но это все еще попытки компенсировать фундаментальные недостатки архитектуры.
Здесь же авторы предлагают вообще переосмыслить подход и представляют архитектуру R3GAN. В R3GAN нет эмпирических трюков, как например в StyleGAN2, но зато есть новая функция потерь Relativistic Pairing GAN. Это продолжение идеи о лоссе Relativistic GAN, который был предложен еще давно, но здесь авторы добавили две хитрые регуляризации, и, что самое главное не имперически, а теоретически доказали локальную сходимость. В итоге получаем стабильность + универсальность для разных распределений даты.
В архитектуре тоже кое-что изменилось. Авторы полностью отказались от рудиментов, которые оставались в ганах аж с 2015 (ака нормализация, впрыскивание шума и тд) и добавили современных подходов: заменили стандартные свертки на групповые, добавили больше остаточных блоков в стиле ResNet, увеличили ширину боттлнеков и переделали ресемплинг с помощью билинейной интерполяции (раньше было просто транспонирование сверток).
В итоге R3GAN очень заметно превзошла StyleGAN2 на нескольких датасетах по FID, и даже показывает какие-то конкурентоспособные результаты по сравнению с диффузионными моделями, при этом оставаясь более эффективной с точки зрения вычислительных затрат.
Есть даже демо, потыкать и погенерить можно здесь
91 147
Meta проиграла суд по делу о нарушении авторских прав в процессе обучения ИИ
Это был один из первых исков, который был подан на корпорацию за обучение моделек на данных, защищенных автоским правом (да, даже считая тысяча и один иск на OpenAI). Его подавали еще в начале 2023 писатели Ричард Кадри и Кристофер Голден, а также комик Сара Сильверман.
Сначала Meta вину отрицали, и говорили, что обучали модели на безобидном датасете Books3 (там 196 000 книг). Однако в ходе разбирательства оказалось... что собирали эти данные в компании с помощью LibGen. Кто не в курсе – это самая известная пиратская либа для скачивания книг, созданная, кстати, в России.
😁
91 147
Общий объем компьюта, который используется для обучения моделек, увеличился с 2018 года в 10 000 раз 😲
Такими числами в своем новом исследовании нас радуют известные EpochAI. Они установили, что за последние 6 лет объем вычислений рос каждый год в четыре раза.
При этом быстрее всего разростался размер кластеров (то есть непосредственно количество железа для обучения) – примерно в 1,7 раза в год (40% общего роста).
На втором месте – время обучения. Оно тоже увеличивалось стремительно: в 1,5 раза каждый год. И, конечно, помимо прочего, за шесть лет наши чипы стали сильно лучше: количество FLOP/s, достижимое на обучающем оборудовании, выросло в 8 раз с 2018 года.
Отчет целиком здесь
91 147
137
Столько раз на презентации Nvidia на международной выставке CES было произнесено AI. Это примерно раз в 40 секунд 👥
AMD тоже поднапряглись: говорили AI раз в 30 секунд.
Только Intel отстали от тренда. Не дело91 147
+3
В топ-1 Paper of the day на Hugging Face сегодня невероятная статья от Microsoft, в которой они показывают, как научили крошечную модельку математическому ризонингу на уровне o1
Статья называется rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking и в ней на практике доказано, что маленькие модельки даже без дислилляции могут ризонить и решать мат. задачи на уровне передовых моделей от того же OpenAI. Все происходит только за счет хитрого инференса. Подробнее ⬇️
Ключевая идея rStar – уже знакомый нам по многим статьям метод Monte Carlo Tree Search, который выполняет поиск по дереву решений. К слову, у самих HF недавно выходил блогпост-исследование с примерно таким же алгоритмом для ризонинга (вот наш разбор), а еще Alibaba делали подобное (разбор). Короче, идея не новая, даже в AlphaGo и AlphaZero уже был поиск по дереву, но что сделали Microsoft? Они ввели три дополнительных фишки:
🔷 Code-augmented CoT. Вместо исполользования классического Chain-of-Thought (CoT), который часто ошибается в промежуточных шагах, они дополнили его генерацией кода на питоне. Каждый шаг проверяется исплементацией — если что-то ломается, такую ветку просто отбрасывают.
🔷 Process Preference Model (PPM). Вместо громоздкой скучной ручной аннотации данных здесь используется Q-values из поиска по дереву для создания пар предпочтений. Получается попарная оценка ответов с стиле "этот лучше чем этот", а затем PPM оптимизируют через pairwise ranking лосс.
🔷 Self-evolution. Это итеративный процесс, в котором модель обучается на данных, которые она сама же и генерирует. Обратите внимание, что никакая сторонняя модель тут не используется, все на своем топливе. Просто на каждом шаге хорошие ризонинг-траектории попадают в дату, которая используется в следующем цикле. И нет, это не вырождается.
Результаты получили ну очень крутые: на 8 траекториях для поиска rStar-Math улучшила Qwen2.5-Math-7B на бенче MATH с 58.8% до 89.4%, а на 64 — до 90% (это лучше, чем o1-preview на +4.5%). На AIME 2024 в итоге получилось достичь 53.3% (больше, чем o1-preview на +8.7%). Все это, еще раз, на крошке 7B!
Полностью статья лежит тут, код и данные скоро обещают открыть 🍜
91 147
На YouTube канале Anthropic ночью вышло новое интересное видео про alignment
Присутствовали четверо разработчиков команды элаймента, среди которых был знаменитый Ян Лейке, ушедший из OpenAI вместе с Суцкевером. Видео длится всего 28 минут, посмотреть полностью советуем здесь, а вот основные и самые интересные тейки:
🟦Главная проблема элаймента сегодня – масштабирование. Текущие подходы вроде RLHF и constitutional AI работают для относительно "предсказумых" задач. Но что произойдет, когда модели начнут решать задачи, которые люди не могут проконтролировать напрямую (например, разработка новых белков в биоресерсе)? Такой элаймент пока остается открытым вопросом.
🟦Ризонинг – это еще один челлендж. Сейчас цепочки размышлений моделей понятны и их можно анализировать, потому что модели думают на английском. Но в будущем это изменится, и проверять CoT станет сложнее.
🟦Поэтому два главных и самых перспективных направления ресерча сейчас – это интерпретация фичей (см. пост про исследования стартапа на эту тему №1, №2, №3) и супер-alignment, то есть элаймент сложных автономных систем, которые могут принимать долгосрочные решения. Интерпретация нужна, чтобы контролировать, не врет ли нам модель, не примеряет ли маску послушного гражданина, просто чтобы пройти проверку. А супер-элаймент – это будущее.
🟦Лейке предполагает, что самым вероятным решением для супер-элаймента является делегирование элаймента другим ИИ-моделям, то есть его полная автоматизация. Сейчас исследователи уже пробуют элайнить маленькие модели и заставлять их выравнивать более мощные, но главный вопрос: как быть уверенными, что модель, которой мы доверяем, не саботирует процесс? – все еще открыт.
🟦Для решения этого вопроса, в частности, в Anthropic недавно появились целые команды, одни из которых занимаются анти-элайментом, то есть создают моделей-злюк, а другие берут эти модели и пытаются научиться их "понимать", определять источник проблемы и исправлять ее. Это называется red-blue team.
Еще раз ссылка на полное видео: www.youtube.com/watch?v=IPmt8b-qLgk
91 147
Google DeepMind, видимо, планируют искать свои собственные пути скейлить модельки
Мы заметили, что буквально на днях они открыли две интересные вакансии: Research Engineer, World Modeling и Research Scientist, World Modeling. Но это необычный WM: в обеих вакансиях написано, что основным направлением работы будет исследование скейлинга в претрейне на новых модальностях, в частности на видео.
В целом, что-то такое ожидалось, когда Google недавно выпустили Veo. В вакансиях так, кстати, и написано: "Команда будет сотрудничать с командами Gemini, Veo и Genie и развивать их работу".
Нанимает в эту команду, к слову, бывший лид команды SORA в OpenAI, Тим Брукс. Он ушел из стартапа в октябре, и уже успел приложить руку к Veo. А теперь, видимо, Veo послужит мощным источником синтетики.
Кто знает, может DeepMind и найдет в этом золотую жилу скейлинга. В любом случай, ждем от них крутых релизов в этом году
91 147
Зацените, на что мы случайно наткнулись на гитхабе: мемориальная доска бенчмарков "Killed by LLM"
Проект создан пару недель назад неким Робом Копелем и представляет из себя кладбище бенчмарков, которые были пройдены модельками. Бенчмарк считается убитым, если больше не способен служить индикатором передовых достижений. То есть, даже если эти тесты остаются важными и значимыми, высокий скор какой-то новой модели на них больше не означает, что мы вышли на новый уровень возможностей ИИ.
Среди погибших в этом году числятся ARC-AGI, MATH, Human Eval и др. Вот, что пишет автор в ридми:
Этот проект создан, чтобы немного развлечь нас и напомнить о впечатляющем прогрессе, которого мы достигли — большей части из этого я даже не надеялся увидеть при своей жизни.Вот он, идеальный новогодний пет-проект r0bk.github.io/killedbyllm/
91 147
Автономный компьютерный агент от OpenAI может выйти уже в этом месяце
Об этом пишет The Information. От инсайдеров журналисты узнали, что стартап якобы уже давно готов к релизу, но позволяет конкурентов обогнать себя из-за страха prompt injection атак. Так что пока Anthropic и Google уже вовсю тестируют свои системы в проде, OpenAI там занимается безопасностью (удивительно!)
Что такое prompt injection? Вкратце, это когда вредоносные сайты крадут ваши данные через агента. При этом вы, как пользователь, ни о чем не подозреваете, потому что у вас нет контроля за тем, какие данные с сайтов или вашего пк поглощает моделька.
Тем не менее, кажется, проблему уже почти победили, потому что по словам того же инсайдера катить агента собираются уже в январе. Ставим ставки, сколько будет стоить подписка с ним? 🤑
91 147
Виталик Бутерин предлагает ввести «глобальную кнопку паузы ИИ»
В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели».
Идея, кстати, не нова. В один из таких проектов уже даже можно донатить
91 147
Сегодня прошел первый день CES – самой крупной техно-выставки в мире. Nvidia залетела на нее сразу с несколькими крутыми релизами:
➖ Во-первых, новое поколение видеокарт RTX, 50 серия. Самая мощная из них – RTX 5090 – будет стоить $2000. В ней 4000 AI TOPS, 380 ray-tracing TFLOPS, пропускная способность 1,8 ТБ/с (вау!). Еще в продаже будут RTX 5070 ($549), RTX 5070 Ti ($749) и RTX 5080 ($999).
➖ Следующая, пожалуй самая крутая новинка – DIGITS. Это ИИ-суперкомпьютер у вас дома за 3 тысячи долларов. Представляет из себя небольшую коробочку, но внутри аж 128Gb оперативки. Комп тащит 1 петафлопс операций в секунду, это примерно в 1000 раз быстрее среднего ноута. На одном таком чемоданчике можно запустить LLM весом до 200B параметров. То есть имея две таких, можно запустить локально почти любую из существующих моделек.
➖ Cosmos – моделирование физического мира с помощью ИИ, аналог недавно прогремевшей Genesis (пост). Нужна для обучения роботов и беспилотных автомобилей, в партнерах уже числится Uber и Toyota.
Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете» 🤖
91 147
Альтман подтвердил, что OpenAI теперь точно знает, как достигнуть AGI и уже готовится к созданию ASI
В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично.
Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал.
«Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд)
Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге.
В общем, интересный сторителлинг, прочитать полностью можно тут
91 147
+1
Пошли какие-то недвусмысленные намеки от OpenAI
Вчерашний твит ресерчера оттуда, который, кстати, занимается агентами:
Я скучаю по временам, когда мы занимались ИИ-исследованиями, не зная, как достичь суперинтеллекта.И сразу за этим, твит Альтмана:
Всегда хотел написать историю из шести слов. Вот она: «Сингулярность рядом: непонятно, с какой мы стороны». (Предполагается, что это либо 1. Мы в гипотезе моделирования, либо 2. Мы не можем узнать, когда на самом деле наступит критический момент при взлете, но мне нравится, что это работает и во многих других отношениях)🧐
