Data Secrets
Open in Telegram
Главный по машинному обучению Сотрудничество: @veron_28 РКН: clck.ru/3FY3GN
Show more
Network:📈 Analytical overview of Telegram channel Data Secrets
Channel Data Secrets (@data_secrets) in the Russian language segment is an active participant. Currently, the community unites 91 189 subscribers, ranking 1 371 in the Technologies & Applications category and 6 149 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 91 189 subscribers.
According to the latest data from 11 July, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 785 over the last 30 days and by 0 over the last 24 hours, overall reach remains high.
- Verification status: Verified (Officially confirmed by Telegram)
- Engagement rate (ER): The average audience engagement rate is 25.32%. Within the first 24 hours after publication, content typically collects 18.38% reactions from the total number of subscribers.
- Post reach: On average, each post receives 23 080 views. Within the first day, a publication typically gains 16 755 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 269.
- Thematic interests: Content is focused on key topics such as claude, openai, контекст, стартап, llm.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN”
Thanks to the high frequency of updates (latest data received on 12 July, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
91 189
Subscribers
No data24 hours
+2017 days
+78530 days
Posts Archive
91 201
Ищем автора эталонного кода! 💎
Если вы уверены, что вашему коду подходит звание «Эталонный», а вам — звание «Автор самого красивого кода», то приглашаем принять участие в Конкурсе красоты кода 2.0 и выиграть классные призы от Сбера: iPhone 16 и умную колонку SberBoom.
Опытные эксперты определят победителей в пяти категориях: Backend, Frontend, DevOps, AI и Mobile, — а награждение пройдёт на ключевом IT-событии HighLoad в Москве, 2 и 3 декабря.
Больше 40 участников прошлого конкурса стали частью команды Сбера. Возможно, следующим станете именно вы — переходите по ссылке и изучайте подробности!
91 201
Tesla показала нового робота Optimus
В целом, изменилось мало что: роботы все так же ходят, машут, танцуют. Единственное: в этот раз некоторых из них еще поставили в качестве барменов за стойку, но о том, что при этом они управляются людьми, опять тактично умолчали...
В продажу обещают к 2027 году (чему, зная Маска, не очень-то стоит верить). Роботы будут стоит 20-30 тысяч долларов и смогут справляться со всеми бытовыми задачами, интегрируясь с системами умного дома.
91 201
На Kaggle закончилось соревнование, в котором нужно было предсказывать пользовательские предпочтения
Это именно те предпочтения, которые определяют места моделей на Арене. Кстати, Kaggle как раз и проводила соревнование вместе с LMSYS. Разборы решений победителей уже выложили на YouTube и в виде райтапа вот здесь. Что там было интересного:
⚙️ Среди используемых моделей внезапно лучше всех оказалась способна понимать человеческие предпочтения Gemma-2-9b
⚙️ Среди тех участников, кто использовал модели побольше, наиболее успешные решение получились у тех, кто использовал дистилляцию
⚙️ Многие также использовали специальные Reward/ranking модели вместо базовых или instruct: они оказывались эффективнее
⚙️ Псевдо-лейбелинг снова показал себя как главный инструмент победителей
⚙️ Выигрышной стратегией оказалось усреднение оценок нескольких LoRA
Вот так как-то, принимаем к сведению 🔑
91 201
Кстати, смотрите, какой супер-симпатичный гайд The Nobel Prize подготовили по статье про AlphaFold
Блогпост полностью можно почитать здесь
91 201
Новая аналитика от любимых Epoch AI: с 2022 Nvidia продала около 3 млн GPU H100 💵
При этом большинство продаж пришлось всего на 4 комапнии: Google, Microsoft, Meta и Amazon (не удивляйтесь, что тут нет OpenAI: они арендуют компьют у Microsoft).
При этом все перечисленные гиганты дополнительно разрабатывают собственные чипы, которые, правда, в основном не продают, а просто используют внутри компании или сдают в аренду в облаках.
91 201
Крутая статья от Microsoft: Differential Transformer
Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема.
Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores.
Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование.
Статья полностью – здесь
91 201
⁉️ Открытый урок «Методы сегментации в рекомендациях»
🗓 17 октября в 20:00 МСК
🆓 Бесплатно. Урок в рамках старта курса «Рекомендательные системы» от Otus.
На вебинаре разберем:
✔️ как использовать RFM-анализ, методы кластеризации и look-a-like моделирование;
✔️ как применять аналитические и машинные методы для сегментации клиентов;
✔️ примеры практического применения этих методов в реальных задачах.
🔗 Ссылка для регистрации на урок: https://otus.pw/U6es/
#реклама
О рекламодателе
91 201
Forbes: аналитики предсказали, что Microsoft выкупит OpenAI в течение трех лет
Эксперты объясняют это тем, что скоро хайп вокруг ИИ начнет спадать, и инвесторы уже не будут так щедры. Тем временем стартапам нужно будет все больше и больше денег, которых у них самих не хватит.
В итоге крупные компании, для которых ИИ имеет большую ценность (такие как Microsoft и Amazon) начнут скупать успешные стартапы вроде OpenAI и Anthropic.
Вот это поворот...
91 201
Нобелевкой по физике дело не кончилось и нобелевку по химии тоже получили машинлернеры
Ее выдали Демису Хассабису и Джону Джамперу из Google за модель AlphaFold2 для предсказания структуры белка
91 201
Кстати, история знакомства Хинтона и Суцкевера была хрестоматийной. Вот как об этом рассказывал сам Хинтон:
«Это случилось в моем кабинете, в выходные. В дверь очень нетерпеливо постучали и вошел молодой студент. Он сказал, что все лето жарил картошку фри, но теперь предпочел бы работать в моей лаборатории. Я спросил: «Почему же ты не записался, чтобы поговорить со мной?», на что он ответил «Хорошо, могу я записаться на сейчас?». Это полностью отражает характер Ильи. Мы поговорили и я дал ему прочитать статью про обратное распространение ошибки. Он пришел через неделю и сказал, что ничего не понял. Я был разочарован и сказал ему, что там нет ничего сложного, это просто цепочка вычислений. От ответил: «О, нет-нет, это я понял. Я не понял, почему вы не используете разумный оптимизатор для градиентов». Над этим вопросом я думал следующие несколько лет. »
91 201
Делимся полезным контентом по ML: выложили доклады с Practical ML Conf 2024
Отдельно рекомендуем посмотреть доклад Саввы Степурина — старшего рексис разработчика в Яндекс Музыке. Тема была по-настоящему горячая: как рекомендовать незнакомый контент. Любые крупные рексис с этим сталкиваются, и Савва понятно разложил, как можно перейти от обычных фильтров на отдельные модели отбора кандидатов и ранжирования. В конце у доклада приятная плюшка – универсальные неочевидные советы "Как улучшить вашу рексис": например, оказывается, что для пользователей чувство серендипности — ключевое, и поэтому обязательно стоит увеличивать вес незнакомого контента.
Вот еще парочка интересных тем докладов, которые советуем посмотреть самостоятельно:
⚙️ Как обучить LLM работе с кодом. Доклад руководителя ML-лаборатории в Yandex Platform Engineering с занятными деталями о том, почему исследователи решили предсказывать стейтменты и как это повысило результаты онлайн-метрик качества.
⚙️ Как создавался Нейро — поиск на основе ИИ. Рассказали все про то, как обучали модель, выбирали архитектуру, боролись с отморозами и галлюцинациями, а также подискутировали про будущее поиска.
⚙️ Как в в Яндекс Книгах появился «Виртуальный рассказчик» — нейронная сеть для синтеза аудиокниг. Особенно интересно послушать про то, как в системе внедряли длинный контекст в low-resource real-time модель, и при чем тут диффузионки.
А еще были крутые доклады про бенчмаркинг, синтетические данные, оптимизацию RAG-систем, VLM и, конечно, рексис. В общем, такое однозначно смотрим.
91 201
Новоиспеченный Нобелевский лауреат Джеффри Хинтон и его прозрачные намеки
«Я горжусь тем, что один из моих студентов уволил Сэма Альтмана» – невозмутимо заявил он 😁
91 201
LLM знают больше, чем показывают: исследование ученых из Техниона, Google Research и Apple
Оказывается, языковые модели в своих representations слоях (имеются в виду слои эмбеддингов) энкодят гораздо больше информации о "правдивости" ответов, чем затем выплевывают в генерации. Другими словами, модель знает больше, чем говорит: в том числе она как бы может знать, что неправа, или даже знать правильный ответ, но при этом все равно болтать чепуху.
Самое интересное: информация о правдивости (в статье это называется truthfulness information) содержится в определенных токенах. К тому же, ученые доказали, что можно предсказать "тип" ошибки, которую выдаст модель, опять же по ее внутренним representations. Они даже обучили классификатор на такую детекцию. Точность получилась вполне приемлемая.
Статья полностью – тут
91 201
+1
В Твиттере реагируют незамедлительно 👆
Кстати, многие всерьез недовольны новостью: мол, «при чем тут физика». А вы как считаете?
91 201
Нобелевскую премию по физике в этом году вручили за открытия в области ИИ – и не кому-нибудь, а Джеффри Хинтону и Джону Хопфилду
Джеффри Хинтон – это один из соавторов статьи про метод обратного распространения ошибки и наставник Суцкевера. Хорфилд – изобретатель ассоциативной нейросети. Оба они считаются отцами ML.
Премию вручили за основополагающие открытия в области ML и искусственных нейронных сетей.
Где-то плачет один Ян Лекун
91 201
+3
Для тех, кто давно хотел разобраться с тем, как устроена архитектура MoE
Автор книги Hands-On LLM выпустил гайд в картинках, где на пальцах очень подробно объясняет, как работает Mixture of Experts (в частности две ее основных составляющих: роутер и эксперты).
Кроме того, в разборе раскрыты и практические детали. Например, написано про важность балансировки и MoE для vision моделей. Так что такое читаем!
91 201
За последний месяц произошел какой-то бум опенсорса. Сами оцените, вот краткая сводка:
➡️ NVIDIA релизнули Nemotron 51B, NVLM 1.0 (мультимодальную), OpenMath, Nemotron Reward, RADIO
➡️ Llama 3.2 – первая VLM от Meta. Кроме того, компания дропнула SAM 2.1 и CoTracker 2.1
➡️ Molmo от AllenAl, очень впечатляюще
➡️ Emu3 от BAAI: моделька полностью на next token prediction, умеет работать с видео/картинками/текстом как на вход, так и на выход
➡️ Даже OpenAl в стороне не осталась: компания выложила веса для модельки транскрибирования аудио whisper 3
➡️ И это не все: еще Google обновили Gemma для японского, Apple релизнули Depth Pro, IBM вместе с NASA выкатили Prithvi WxC для прогнозов погоды, у ColQwen2 вышел visual retriever на основе Qwen2-VL и ColBERT, и конечно мы увидели новую Llava
Красивое 🤩
