Data Secrets
Відкрити в Telegram
Главный по машинному обучению Сотрудничество: @veron_28 РКН: clck.ru/3FY3GN
Показати більше
Сітка:📈 Аналітичний огляд Telegram-каналу Data Secrets
Канал Data Secrets (@data_secrets) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 91 189 підписників, посідаючи 1 371 місце в категорії Технології та додатки та 6 149 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 91 189 підписників.
За останніми даними від 11 липня, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 785, а за останні 24 години на 0, загальне охоплення залишається високим.
- Статус верифікації: Верифікований (Офіційно підтверджено Telegram)
- Рівень залученості (ER): Середній показник залученості аудиторії становить 25.32%. Протягом перших 24 годин після публікації контент зазвичай збирає 18.38% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 23 080 переглядів. Протягом першої доби публікація в середньому набирає 16 755 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 269.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як claude, openai, контекст, стартап, llm.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN”
Завдяки високій частоті оновлень (останні дані отримано 12 липня, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
91 189
Підписники
Немає даних24 години
+2017 днів
+78530 день
Архів дописів
91 201
Ищем автора эталонного кода! 💎
Если вы уверены, что вашему коду подходит звание «Эталонный», а вам — звание «Автор самого красивого кода», то приглашаем принять участие в Конкурсе красоты кода 2.0 и выиграть классные призы от Сбера: iPhone 16 и умную колонку SberBoom.
Опытные эксперты определят победителей в пяти категориях: Backend, Frontend, DevOps, AI и Mobile, — а награждение пройдёт на ключевом IT-событии HighLoad в Москве, 2 и 3 декабря.
Больше 40 участников прошлого конкурса стали частью команды Сбера. Возможно, следующим станете именно вы — переходите по ссылке и изучайте подробности!
91 201
Tesla показала нового робота Optimus
В целом, изменилось мало что: роботы все так же ходят, машут, танцуют. Единственное: в этот раз некоторых из них еще поставили в качестве барменов за стойку, но о том, что при этом они управляются людьми, опять тактично умолчали...
В продажу обещают к 2027 году (чему, зная Маска, не очень-то стоит верить). Роботы будут стоит 20-30 тысяч долларов и смогут справляться со всеми бытовыми задачами, интегрируясь с системами умного дома.
91 201
На Kaggle закончилось соревнование, в котором нужно было предсказывать пользовательские предпочтения
Это именно те предпочтения, которые определяют места моделей на Арене. Кстати, Kaggle как раз и проводила соревнование вместе с LMSYS. Разборы решений победителей уже выложили на YouTube и в виде райтапа вот здесь. Что там было интересного:
⚙️ Среди используемых моделей внезапно лучше всех оказалась способна понимать человеческие предпочтения Gemma-2-9b
⚙️ Среди тех участников, кто использовал модели побольше, наиболее успешные решение получились у тех, кто использовал дистилляцию
⚙️ Многие также использовали специальные Reward/ranking модели вместо базовых или instruct: они оказывались эффективнее
⚙️ Псевдо-лейбелинг снова показал себя как главный инструмент победителей
⚙️ Выигрышной стратегией оказалось усреднение оценок нескольких LoRA
Вот так как-то, принимаем к сведению 🔑
91 201
Кстати, смотрите, какой супер-симпатичный гайд The Nobel Prize подготовили по статье про AlphaFold
Блогпост полностью можно почитать здесь
91 201
Новая аналитика от любимых Epoch AI: с 2022 Nvidia продала около 3 млн GPU H100 💵
При этом большинство продаж пришлось всего на 4 комапнии: Google, Microsoft, Meta и Amazon (не удивляйтесь, что тут нет OpenAI: они арендуют компьют у Microsoft).
При этом все перечисленные гиганты дополнительно разрабатывают собственные чипы, которые, правда, в основном не продают, а просто используют внутри компании или сдают в аренду в облаках.
91 201
Крутая статья от Microsoft: Differential Transformer
Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема.
Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores.
Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование.
Статья полностью – здесь
91 201
⁉️ Открытый урок «Методы сегментации в рекомендациях»
🗓 17 октября в 20:00 МСК
🆓 Бесплатно. Урок в рамках старта курса «Рекомендательные системы» от Otus.
На вебинаре разберем:
✔️ как использовать RFM-анализ, методы кластеризации и look-a-like моделирование;
✔️ как применять аналитические и машинные методы для сегментации клиентов;
✔️ примеры практического применения этих методов в реальных задачах.
🔗 Ссылка для регистрации на урок: https://otus.pw/U6es/
#реклама
О рекламодателе
91 201
Forbes: аналитики предсказали, что Microsoft выкупит OpenAI в течение трех лет
Эксперты объясняют это тем, что скоро хайп вокруг ИИ начнет спадать, и инвесторы уже не будут так щедры. Тем временем стартапам нужно будет все больше и больше денег, которых у них самих не хватит.
В итоге крупные компании, для которых ИИ имеет большую ценность (такие как Microsoft и Amazon) начнут скупать успешные стартапы вроде OpenAI и Anthropic.
Вот это поворот...
91 201
Нобелевкой по физике дело не кончилось и нобелевку по химии тоже получили машинлернеры
Ее выдали Демису Хассабису и Джону Джамперу из Google за модель AlphaFold2 для предсказания структуры белка
91 201
Кстати, история знакомства Хинтона и Суцкевера была хрестоматийной. Вот как об этом рассказывал сам Хинтон:
«Это случилось в моем кабинете, в выходные. В дверь очень нетерпеливо постучали и вошел молодой студент. Он сказал, что все лето жарил картошку фри, но теперь предпочел бы работать в моей лаборатории. Я спросил: «Почему же ты не записался, чтобы поговорить со мной?», на что он ответил «Хорошо, могу я записаться на сейчас?». Это полностью отражает характер Ильи. Мы поговорили и я дал ему прочитать статью про обратное распространение ошибки. Он пришел через неделю и сказал, что ничего не понял. Я был разочарован и сказал ему, что там нет ничего сложного, это просто цепочка вычислений. От ответил: «О, нет-нет, это я понял. Я не понял, почему вы не используете разумный оптимизатор для градиентов». Над этим вопросом я думал следующие несколько лет. »
91 201
Делимся полезным контентом по ML: выложили доклады с Practical ML Conf 2024
Отдельно рекомендуем посмотреть доклад Саввы Степурина — старшего рексис разработчика в Яндекс Музыке. Тема была по-настоящему горячая: как рекомендовать незнакомый контент. Любые крупные рексис с этим сталкиваются, и Савва понятно разложил, как можно перейти от обычных фильтров на отдельные модели отбора кандидатов и ранжирования. В конце у доклада приятная плюшка – универсальные неочевидные советы "Как улучшить вашу рексис": например, оказывается, что для пользователей чувство серендипности — ключевое, и поэтому обязательно стоит увеличивать вес незнакомого контента.
Вот еще парочка интересных тем докладов, которые советуем посмотреть самостоятельно:
⚙️ Как обучить LLM работе с кодом. Доклад руководителя ML-лаборатории в Yandex Platform Engineering с занятными деталями о том, почему исследователи решили предсказывать стейтменты и как это повысило результаты онлайн-метрик качества.
⚙️ Как создавался Нейро — поиск на основе ИИ. Рассказали все про то, как обучали модель, выбирали архитектуру, боролись с отморозами и галлюцинациями, а также подискутировали про будущее поиска.
⚙️ Как в в Яндекс Книгах появился «Виртуальный рассказчик» — нейронная сеть для синтеза аудиокниг. Особенно интересно послушать про то, как в системе внедряли длинный контекст в low-resource real-time модель, и при чем тут диффузионки.
А еще были крутые доклады про бенчмаркинг, синтетические данные, оптимизацию RAG-систем, VLM и, конечно, рексис. В общем, такое однозначно смотрим.
91 201
Новоиспеченный Нобелевский лауреат Джеффри Хинтон и его прозрачные намеки
«Я горжусь тем, что один из моих студентов уволил Сэма Альтмана» – невозмутимо заявил он 😁
91 201
LLM знают больше, чем показывают: исследование ученых из Техниона, Google Research и Apple
Оказывается, языковые модели в своих representations слоях (имеются в виду слои эмбеддингов) энкодят гораздо больше информации о "правдивости" ответов, чем затем выплевывают в генерации. Другими словами, модель знает больше, чем говорит: в том числе она как бы может знать, что неправа, или даже знать правильный ответ, но при этом все равно болтать чепуху.
Самое интересное: информация о правдивости (в статье это называется truthfulness information) содержится в определенных токенах. К тому же, ученые доказали, что можно предсказать "тип" ошибки, которую выдаст модель, опять же по ее внутренним representations. Они даже обучили классификатор на такую детекцию. Точность получилась вполне приемлемая.
Статья полностью – тут
91 201
+1
В Твиттере реагируют незамедлительно 👆
Кстати, многие всерьез недовольны новостью: мол, «при чем тут физика». А вы как считаете?
91 201
Нобелевскую премию по физике в этом году вручили за открытия в области ИИ – и не кому-нибудь, а Джеффри Хинтону и Джону Хопфилду
Джеффри Хинтон – это один из соавторов статьи про метод обратного распространения ошибки и наставник Суцкевера. Хорфилд – изобретатель ассоциативной нейросети. Оба они считаются отцами ML.
Премию вручили за основополагающие открытия в области ML и искусственных нейронных сетей.
Где-то плачет один Ян Лекун
91 201
+3
Для тех, кто давно хотел разобраться с тем, как устроена архитектура MoE
Автор книги Hands-On LLM выпустил гайд в картинках, где на пальцах очень подробно объясняет, как работает Mixture of Experts (в частности две ее основных составляющих: роутер и эксперты).
Кроме того, в разборе раскрыты и практические детали. Например, написано про важность балансировки и MoE для vision моделей. Так что такое читаем!
91 201
За последний месяц произошел какой-то бум опенсорса. Сами оцените, вот краткая сводка:
➡️ NVIDIA релизнули Nemotron 51B, NVLM 1.0 (мультимодальную), OpenMath, Nemotron Reward, RADIO
➡️ Llama 3.2 – первая VLM от Meta. Кроме того, компания дропнула SAM 2.1 и CoTracker 2.1
➡️ Molmo от AllenAl, очень впечатляюще
➡️ Emu3 от BAAI: моделька полностью на next token prediction, умеет работать с видео/картинками/текстом как на вход, так и на выход
➡️ Даже OpenAl в стороне не осталась: компания выложила веса для модельки транскрибирования аудио whisper 3
➡️ И это не все: еще Google обновили Gemma для японского, Apple релизнули Depth Pro, IBM вместе с NASA выкатили Prithvi WxC для прогнозов погоды, у ColQwen2 вышел visual retriever на основе Qwen2-VL и ColBERT, и конечно мы увидели новую Llava
Красивое 🤩
