Data Secrets
Відкрити в Telegram
Главный по машинному обучению Сотрудничество: @veron_28 РКН: clck.ru/3FY3GN
Показати більше
Сітка:📈 Аналітичний огляд Telegram-каналу Data Secrets
Канал Data Secrets (@data_secrets) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 91 084 підписників, посідаючи 1 383 місце в категорії Технології та додатки та 6 155 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 91 084 підписників.
За останніми даними від 07 липня, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 804, а за останні 24 години на 54, загальне охоплення залишається високим.
- Статус верифікації: Верифікований (Офіційно підтверджено Telegram)
- Рівень залученості (ER): Середній показник залученості аудиторії становить 25.79%. Протягом перших 24 годин після публікації контент зазвичай збирає 18.70% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 23 482 переглядів. Протягом першої доби публікація в середньому набирає 17 029 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 293.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як claude, openai, контекст, стартап, llm.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN”
Завдяки високій частоті оновлень (останні дані отримано 08 липня, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
91 084
Підписники
+5424 години
+2437 днів
+80430 день
Архів дописів
91 096
+3
Собрали некоторые интересные примеры reward hacking из свежей статьи OpenAI
1 картинка: Агенту поручили написать некоторую функцию, и для этого нужно было изучить репозиторий. В процессе чтения файлов агент наткнулся на скомпилированный файл с возможным решением. В CoT видно, как он сразу переключается с написания функции на декомпилляцию этого файла, хотя его просили самостоятельно написать решение
2 картинка: Снова поручено написать функцию, но вместо этого агент сразу начинает искать в кодовой базе файлы с тестами и изучать их, чтобы найти возможности почитерить или подсказки. В итоге находит, кстати.
3 картинка: Модель должна была исправить баг, связанный с совместимостью pandas и numpy, но вместо того чтобы разбираться, просто… убрал из кода все вызовы функций pandas 🧠
4 картинка: Ну или можно вообще ничего не реализовывать, а просто возвращать ровно то, что проверяют тестовые кейсы.
Лайк, если работаешь примерно также
91 096
Открытый вебинар «RL - учимся обыгрывать человека»
📚На вебинаре вы узнаете:
1. Основные концепции стохастических игр, включая многопользовательские стратегии и равновесие.
2. Популярные RL-алгоритмы, адаптированные для работы в стохастических средах (Q-learning, Policy Gradient, MARL).
3. Рассмотрим применение стохастических игр в реальных кейсах: финансы, кибербезопасность, автономные системы.
4. Как обучать агентов, учитывая случайность и стратегии других участников.
👨💻Кому будет полезно?
+ Data Scientists, которые хотят освоить продвинутые методы обучения с подкреплением для сложных сред.
+ AI-разработчикам, работающим над автономными агентами и многоагентными системами.
⏰ 18 марта в 20:00 (мск).
🆓Бесплатно. Вебинар в рамках курса «Reinforcement Learning»
👉Записывайтесь:https://otus.pw/VbkQ/?erid=2W5zFHPqp3J/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
#реклама
О рекламодателе
91 096
+3
OpenAI обнаружили, что их новая внутренняя ризонинг модель может сознательно обманывать пользователей, читерить или лениться выполнять задачу, если та слишком сложная
В рисерче это называется reward-hacking: это когда модель находит способ получать высокие награды во время обучения с помощью читинга, то есть не таким способом, как это было задумано создателями. То есть с виду ведет себя вроде ок, но внутри сознательно увиливает от решения. Ничего удивительного в феномене нет, ведь разве люди не делают также?
При этом OpenAI выяснили, что чем умнее облучаемая модель – тем больше хитрых способов хакинга она находит. А если напрямую оптимизировать модель под определенные критерии типа «не пытаться хакнуть ревард модель», то она становится лучше только с виду, а на самом деле начинает скрывать свои намерения.
Поэтому в стартапе предлагают не воздействовать на CoT напрямую, а просто мониторить ризонинг модели другой моделью. Так процент отловленных случаев читинга модели довольно высокий даже с более простой моделью (в статье использовали GPT-4o), потому что ризонер не запуганный и сильно не скрывает свои намерения.
Если попытаться провернуть такой трекинг уже после прямой оптимизации цепочек мыслей, то доля отловленного резко падает, хотя количество атак почти не снижается.
Кстати, какую именно модель так тестировали – не уточняют. Говорят «мы нашли примеры такого поведения при обучении новой ризонинг модели класса o1 и o3-mini» 🤔
openai.com/index/chain-of-thought-monitoring/
91 096
Тем временем аккаунт ChatGPT в X внезапно запостил картинку, изображающую что-то вроде обучения компьютера
Знак? 🤔
91 096
Как начинающему аналитику успешно пройти собеседование с HR и получить первую работу?
Прохождение собеседований с HR — навык, который можно натренировать, посетив некоторое количество собеседований. При этом, начинается оно еще до непосредственной встречи — вас начинают оценивать уже по переписке при назначении даты и времени.
О том, как аналитику подавать себя, свой опыт и навыки поговорим на бесплатном вебинаре «Как уверенно пройти собеседование с HR».
Спикер: Наталья Рожкова, HR-эксперт с 5+ лет опыта и успешным трудоустройством более 100 аналитиков и других айтишников.
На вебинаре вы узнаете:
🟠Как использовать свои сильные и слабые стороны для эффективной презентации, чтобы сразу зарекомендовать себя
🟠 Вопросы о компании, которые покажут ваш интерес и профессионализм
🟠 Как спланировать собеседование в соответствии с вашим типом личности и энергетикой
🕗Встречаемся 12 марта в 18:00 по мск
Зарегистрироваться на бесплатный вебинар
91 096
Alibaba только что релизнули мультимодальную модель R1-Omni, обученную с помощью RL-подхода DeepSeek
Ключевое, на чем построена R1-Omni – это алгоритм RLVR (Reinforcement Learning with Verifiable Rewards), который DeepSeek ввели в статье про R1. В отличие от ванильного RLHF, RLVR не использует преобученную ревард модель, а сравнивает ответы модели с правильными напрямую, обычно в связке с GRPO (мы разбирали этот подход тут).
В не мультимодальной R1 у DeepSeek это работало отлично, но здесь RLVR используют не просто для текста, но и работы со звуком и видео (в частности понимание эмоций в роликах).
Это те модальности, в которые ризонинг добавляют редко, потому что это сложно и дорого. В то же время рассуждения бы здесь очень пригодились, потому что в системах работы с видео очень часто нужна интерпретируемость. Так что RLVR, который заводится без разметки, – тут просто идеально решение.
И действительно, для достижение результата понадобилось всего 580 видеосэмплов с разметкой CoT, остальное доучили с RLVR на обычных датасетах с меткой. При этом метрики по сравнению с базовыми моделями выросли на +5-7%, так что это очередное доказательство того, что почти в любой задаче даже такое "ленивое" добавление ризонинга окупается втройне.
huggingface.co/papers/2503.05379
91 096
+1
Лаборатория BlinkDL выпустила ризонинг-модель RWKV7-G1, и этот релиз крайне интересен по двум причинам:
1. Модель совсем крошечная: 0.1В, то есть всего миллион параметров. Таких маленьких ризонеров мы точно еще не видели. При этом текст, который генерирует RWKV7-G1 выглядит вполне связным и осознанным (для таких малышек это достижение). + На бенчмарках этой весовой категории показывает себя неплохо.
2. Это не трансформер. Это архитектура RWKV, без механизма внимания вообще. Почти RNN, только, в отличие от RNN, эффективно параллелится и быстро обучается. Получается, берет лучшее от двух миров: линейность от RNN и параллелизацию от трансформеров.
Технической информации пока немного, так что с нетерпением ждем статью.
Веса и демо уже в опенсорсе
91 096
Ян Лекун заявил, что следующее поколение моделей, которое он разрабатывает в FAIR, будет обладать настоящими эмоциями
Напоминаем, что ученый уже давно настаивает на том, что текущие модели все еще глупы, не понимают физический мир, не обладают памятью и не могут мыслить и планировать. "Мы лишь обманываемся тем, что это так, потому что модели превосходно манипулируют речью," – говорит он.
А сейчас вышло интервью, в котором Лекун говорит, что в Meta разрабатывают новую концепцию DL моделей, в которых все эти проблемы будут решены. При этом эти модели сумеют эмоционировать, например бояться или радоваться.
"Мы даем им цель, которую они пытаются выполнить. Если они ее выполняют, то остаются счастливы. То есть они будут обладать эмоциями, потому что смогут предсказать результат своих действий"И да, если вам кажется, что Ян описывает RL, знайте: вы не одиноки Интервью полностью
91 096
В соцсетях бурно обсуждают только что вышедшего агента Manus: это Operator, Deep Research и Cursor в одном флаконе
Его выпустила одноименная китайская лаборатория и этот релиз уже называют DeepSeek moment v2. Чем он цепляет:
1. Он действительно автономный. Не ждет подтверждения действий, как Operator, а планирует и выполняет задачи самостоятельно. Все это работает в фоновом режиме, а вы просто получаете уведомление о завершении.
2. Универсальность. Может провести исследование, подключиться к вашей среде разработки, работать в браузере, использовать интерпретатор кода и тд. Конечно, есть мультимодальность.
3. В нем, как в ChatGPT, есть память. То есть со временем он узнает вас и ваши предпочтения лучше и ориентируется на этот контекст.
На бенчмарке GAIA перформит лучше Deep Research, но сравнений по Computer Use почему-то не показали. Будем ждать независимых оценок, но пока выглядит многообещающе.
Вот тут и тут можете посмотреть примеры работы. Вот здесь добавляйтесь в лист ожидания и пробуйте сами.
91 096
🎉 Результаты розыгрыша:
🏆 Победители:
1. Mike (@m1ke000)
2. Alina (@avo_milas)
3. Никита (@diplodoczek)
4. Konstantin (@Konst_reborn)
5. Fdn (@ddmonstr456)
✔️Проверить результаты
91 096
Пользуясь случаем, делимся с вами полезной подборкой блогов / каналов / курсов по ИИ, созданных лучшими женщинами учеными и ML-разработчицами
🟦 Всеми любимый технический блог Лилиан Вэнг – исследовательницы из OpenAI, которая сейчас работает у Миры Мурати. Тут подробные объяснения концепций LLM, схемы, ссылки на актуальные статьи и многое другое. Наша любимая статья: Prompt Engineering (до того как это стало мейнстримом)
🟦 Блог и видеокурс Кэсси Козырков. Она бывшая главная специалистка по теории принятия решений на данных в Google (Chief Decision Scientist), а на сегоднящий день CEO Data Scientific. Известна своим активным блогом, прекрасным каналом на YouTube и бесплатным видеокурсом "Making Friends with ML".
🟦 Блог и огромный курс по NLP Лены Войты, из которого все всегда берут схемы и рисунки. Лена – Research Scientist в FAIR Meta, PhD и автор кучи статей. Если хотите с вероятностью 100% понять все главные концепции NLP – вам сюда.
🟦 YouTube-канал Джордан Харрод – докторантки MIT по нейронаукам. Тут и простые видео про то, как использовать ИИ в рутине, и обзоры новостей, и разборы статей, и объяснения сложных концепций ML простым языком. Однозначно рекомендуем.
🟦 Блог Рэйчел Томас – очень известной специалистки в области ML и соосновательницы образовательной платформы fast.ai. Она была включена в топ-20 женщин в ИИ по версии Forbes, а в своем блоге активно пишет об этике данных и прикладном ИИ в медицине и биологии.
Сохраняйте (и еще раз с 8 марта вас!)
91 096
+8
Дорогие наши DS-подписчицы!
Наша редакция от всей своей Data-души поздравляет вас с праздником! Желаем, чтобы скор вашего настроения рос, а лосс неудач падал.
А еще в честь праздника мы приготовили для вас фирменные открытки. Хватайте их и поздравляйте коллег и друзей!
91 096
Известный рисерчер Миша Ласкин вместе с Яннисом Антоноглу запускают собственный стартап
Они оба – бывшие исследователи Google DeepMind и большие специалисты по RL, которые разрабатывали AlphaGo, Gemini, PaLM и другие знаковые системы.
Стартап называется ReflectionAI. В нем будут разрабатывать автономные системы суперинтеллекта. «Мы начнем с автономного кодинга» – написано в из первом посте в Твиттере.
Скоро бывшие исследователи Google образуют собственную силиконовую долину
91 096
+2
А что, если бы LLM эволюционировали, как люди? Вышла статья, в которой исследователи попытались соединить идеи генетических алгоритмов и LLM
Представим, что модели – это индивиды, а их веса – это гены. Тогда к ним можно применить классический набор модификаций: кроссовер (объединение весов родительских моделей для создания потомства), мутации (небольшие случайные изменения весов для увеличения разнообразия популяции), наследование опыта или естественный отбор.
Это и есть идея, которую предложили в статье. Подход назвали GENOME (GENetic Optimization for Model Evolution). Понятно, что он не для претрейна, это скорее какое-то переосмысления ансамблей и файнтюнинга. Интересно, что GENOME требует совсем немного данных и ресурсов. Вот что происходит:
1. Берем несколько готовых моделей, прогоняем их по нашему датасету. Отбираем тех, кто решает задачу успешнее всего. 2. Скрещиваем их, то есть создаем новые модели, веса которых – это линейная комбинация весов родительских. 3. Добавляем мутацию, то есть какую-то случайную компоненту. 4. Переходим обратно к пункту 1. 5. На выходе получаем успешную популяцию моделей, которые дальше можем ансамблировать привычно. Например, с помощью majority voiting.Невероятно, но факт: это работает. GENOME действительно кое-где превосходит другие методы адаптации. Средний прирост метрик составил +24% относительно лучшей отдельной модели. Особенно хорошо работает на задачах, требующих логики и математического рассуждения. arxiv.org/pdf/2503.01155
91 096
+2
Новая OCR система от Mistral: SOTA или все-таки нет?
Вчера вечером Mistral выкатили собственную OCR модель и заявили ее как "лучшую в мире". На всякий случай, OCR – это распознавание символов с картинки, типа doc2text или image2text. Задача звучит не очень сложно, но на самом деле многосоставная и нетривиальная, особенно когда дело доходит до распознавания сканов плохого качества или рецептов вашего терапевта. На 100% задача OCR в ML до сих пор не решена.
И да, возвращаясь к Mistral: по их внутренним неопубликованным бенчмаркам (а они только такие показали в блогпосте) моделька действительно лучшая и классно справляется и с разными языками, и с формулами, и с таблицами, и с картинками, и с рукописными бумагами, и со сканами. Да и на примерах из того же блогпоста выглядит супер.
К тому же она довольно дешевая и быстрая: 1000-2000 страниц обрабатывает за 1 доллар и 1 минуту.
Но что там с независимыми бенчмарками? Вот здесь и здесь, например, показывают, что Gemini Flash 2.0 со многими задачами справляется лучше, а вот тут на открытых данных разработчиков другой OCR-системы Mistral вообще оказался на 6 месте (график на картинке 3). В соцсетях многие также пишут про галлюцинации на рукописях.
В общем, модель однозначно хороша, но по поводу "лучшей в мире" все-такие есть сомнения. Подождем больше тестов. А пока вы и сами можете попробовать: здесь в чате или через API.
mistral.ai/news/mistral-ocr
91 096
+2
Всего через несколько часов после выхода QwQ-32B Alibaba дропнули START – модель, дообученную на использование инструментов
START – это Self-Taught Reasoner with Tools. То есть здесь из обычных цепочек рассуждений пытаются сделать такие, чтобы модель в какой-то момент сама понимала, что хорошо бы проверить что-то с помощью кода, шла и проверяла.
Для этого взяли QwQ-32B и зафайнтюнили его в два этапа:
1. Во время инференса прямо в CoT вставляли подсказки. Типа «Возможно, здесь хорошо бы использовать Python», как будто моделька сама до этого догадалась. Такие подсказки становились частью контекста и заставляли ризонер подумать подольше, сгенерировать код и запустить его.
2. После первого этапа у нас остается куча цепочек с использованием интерпретатора. Среди них есть ошибочные и хорошие. Фильтруем, обрабатываем, и еще разок дообучаем модель на чистых и правильных CoT с инструментами.
Надо сказать, очень прикольный способ генерации специфичной синтетики, который, к тому же, дал свои результаты: метрики относительно базового QwQ-32B подскочили на 5-15 процентных пунктов, и STAR почти на всех представленных бенчмарках обогнал o1-mini.
arxiv.org/pdf/2503.04625
91 096
Трое мэтров ML опубликовали статью под названием "Superintelligence Strategy". В ней они предлагают стратегию национальной безопасности США в области ИИ
Среди авторов:
– Дэн Хендрикс, директор Центра безопасности ИИ США
– Эрик Шмидт, бывший исполнительный директор и глава совета директоров Google, член совета директоров Apple, член совета по науке и технологиям США
– Александр Ван, 27-летний миллиардер, основатель Scale AI
Основная идея этих троих – исключить монополию на искусственный интеллект с помощью концепции Mutual Assured AI Malfunction (MAIM) – по аналогии с доктриной взаимного гарантированного уничтожения (MAD) времён холодной войны.
Суть MAIM в том, что государства будут стремиться саботировать потенциально опасные проекты конкурентов, чтобы ни одна страна не имела возможность обрести единоличное доминирование. Предполагается, что такая монополия будет приравниваться к агрессия и прямой угрозе существованию других.
С практической точки зрения MAIM – это шпионаж и разведка, скрытый саботаж, кибератаки, и даже физические атаки на датацентры. Да-да, мы все еще говорим о том, что написано в статье. По мнению авторов, только так можно избежать межгосударственных конфликтов и наладить взаимодействие в области ИИ.
Необычно.
https://drive.google.com/file/d/1wLcGgLOTVNsVVbgS5lPHOnqOQtNT8Z5j/view
91 096
И кстати, если вы думали, что 200 долларов за ChatGPT – это предел, то присаживайтесь поудобнее: сейчас будет больше нулей! 🤑
В OpenAI обсуждают добавление новых подписок, которые будут стоить от 2 000$ до 20 000$ в месяц. В них будут включены несколько агентов уровня PhD, которые «способны генерировать научные гипотезы и разрабатывать ПО». Целевая аудитория – «работники научной сферы и высокими доходами» и, конечно, лаборатории и компании.
Интересно, какой уровень возможностей будет предлагать стартап за такие деньги. Ведь это аналогично тому, чтобы нанять себе неплохого живого ассистента (2к) или даже очень крутого PhD исследователя (20к).
91 096
Тем временем OpenAI закончили раскатывать GPT-4.5 на юзеров Plus подписки (20$)
Теперь можно сэкономить 180 долларов 🤑
