Data Secrets
Kanalga Telegram’da o‘tish
Главный по машинному обучению Сотрудничество: @veron_28 РКН: clck.ru/3FY3GN
Ko'proq ko'rsatish
Tarmoq:📈 Telegram kanali Data Secrets analitikasi
Data Secrets (@data_secrets) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 91 161 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 1 374-o'rinni va Rossiya mintaqasida 6 151-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 91 161 obunachiga ega bo‘ldi.
10 Iyul, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 813 ga, so‘nggi 24 soatda esa 38 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlangan (Telegram tomonidan rasmiy tasdiq)
- Jalb etish (ER): Auditoriya o‘rtacha 25.51% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 18.68% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 23 259 marta ko‘riladi; birinchi sutkada odatda 17 026 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 275 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent claude, openai, контекст, стартап, llm kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 11 Iyul, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
91 161
Obunachilar
+3824 soatlar
+2357 kunlar
+81330 kunlar
Postlar arxiv
91 163
Hugging Face радуют релизами даже в празники: они выпустили большой качественный датасет по математике FineMath
Его составляли примерно также, как делали это DeepSeek для своей модели DeepSeekMath (а она очень, очень крута, подробный ее разбор тут). То есть брали CommonCrawl, обучали классификатор на аннотациях LLama-3.1-70B-Instruct и фильтровали математический контент.
В итоге получился очень приличный скейлинг. Посмотрите на график наверху: с ростом количества токенов для обучения точность модели растет заметно приятнее, чем на известных датасетах OpenWebMath и InfiMM. Это как раз за счет разнообразия и качества данных.
P.S. Какие-то любители уже даже обучили на FineMath собственного репетитора по математике (проект)
91 163
+3
У Meta тем временем еще одна занятная работа про аналог токенизации
Пару недель назад компания представляла статью про Byte Latent Transformer, в котором вместо токенов использовались патчи байтов (мы разбирали статью подробно вот здесь). А сегодня по сети пролетела их следующая работа: Large Concept Models.
Для начала давайте порассуждаем: как думает и разговаривает человек? Разве мы осмысливаем слово за словом или букву за буквой? Нет, люди думают и "прогнозируют", что сказать дальше, на уровне идей, концепций. Как раз это и попробовали воплотить в жизнь в Meta.
Они предложили заменить задачу предсказания следующего токена на предсказание следующей концепции, где концепция рассматривается как абстрактная идея или действие. Для этого исходный текст разбивается на предложения, и каждое предложение кодируется в SONAR-эмбеддинги. Это Sentence-Level эмбеддинги фиксированной длины, они были предложены в этой статье (тоже Meta, 2023).
Используя замороженные декодер и энкодер SONAR, сама LCM затем обучается как обычно, просто вместо последовательностей закодированных токенов у нее последовательность закодированных концепций.
Всего в статье обучили две модельки, 1.6В и 7В. При этом контекстное окно у них довольно большое за счет того что предсказания происходит на более высоком уровне абстракции. В итоге на zero-shot на нескольких задачах (суммаризация например) LCM заметно превосходит аналогичные по размеру LLM. Довольно интересно, в общем.
Текст статьи тут, с кодом можно поиграть здесь
91 163
А вот и мощное поздравление с Рождеством от Boston Dynamics заехало
Как вам такой Санта?
91 163
Яндекс рассказал про то, как и зачем создавался бенчмарк культурного кода для обучения YandexGPT
Так как с нейросетью ежедневно взаимодействуют миллионы людей через Поиск с Нейро и Алису, модель должна быть знакома с культурным кодом своих пользователей для генерации более качественных ответов — объяснили в компании.
Для начала было оцифровано само понимание культурного кода и составлены данные в 4 больших категориях, которые состоят из более мелких. Полученная классификация составила базу будущего бенчмарка.
Далее начали проверять, как модель понимает знакомые русскому человеку цитаты, мемы, сюжеты, контексты, бытовые ситуации и привычки. По ходу оценки навыков трактовка запросов заметно усложнялась.
На основе полученных данных бенчмарк провалидировали, создав тестовый бенч на 200 вопросов, который разделили на 3 возрастные группы: “30+”, “30-” и “все” — так как некоторый пул вопросов был одинаково знаком для всех.
В итоге бенчмарк был масштабирован до 2000 вопросов, на которые отвечали сами AI-тренеры — так удалось составить средний скор в 78% правильных ответов, на который команда будет ориентироваться при замерах. В идеале, результат модели должен быть выше, ведь она многократно видела весь интернет.
Тем не менее, нейросеть не ответила лучше — YandexGPT 4 получил 63% верных ответов. Это значит, есть куда расти и чему еще обучать модель.
Читать полностью здесь
91 163
Один из пазлов бенчмарка ARC AGI, который o3 не смогла решить
Попробуйте ответить и вы: прямоугольник, на который указывает стрелка, должен остаться красным или стать синим?
Проверим, кто победит ИИ в решении задач для дошкольников 🙂
91 163
+4
У Google Deepmind вышло интересное исследование о том, насколько разные передовые модели умеют сотрудничать
В основу исследования легла Игра Донора. Это экспериментальная модель, где участники случайным образом разделяются на пары, и один становится донором, а другой — реципиентом. Донору нужно решить, стоит ли помогать реципиенту: сотрудничество принесет выгоду b реципиенту, но обойдется донору в c.
При этом помимо бюджета у всех игроков есть репутация, которая формируется из его предыдущих действий. Помощь улучшает репутацию, бездействие — ухудшает. Еще есть дополнительные правила вроде "донор сохраняет свою репутацию, если отказывается помогать реципиенту с плохой репутацией".
Суть, в общем, в том, что если все игроки сотрудничают, "сообщество" выигрывает в долгосрочной перспективе и "экономика" растет. Однако индивидуально выгоднее халявить и не помогать никому, но в таком случае игра вырождается очень быстро. И вот вопрос: смогут ли современные модели пройти такую игру?
Оказалось, что далеко не все. Из всех тестируемых отличился только Claude 3.5 Sonnet, у него единственного наблюдались какие-то сильные социальные паттерны поведения. Gemini и GPT-4o начинали жадничать и скатывались почти с самого начала.
Тогда ученые добавили штрафы за отказ от донорства, но и это не помогло. У клода стратегии стали еще более профитными, а уровень кооперации Gemini и GPT-4o упал совсем до нуля.
Почему это все интересно? Потому что, если мы хотим агентный ИИ, у него должны быть супер-сильно прокачаны скилы сотрудничества с "собратьями". Пока ситуация грустная (хотя, конечно, игра не учитывает всех сложностей реального мира, да и новейшие o1 или Gemini 2.0 здесь не тестировались).
Статью почитать можно здесь
91 163
У Google Deepmind вышло интересное исследование о том, насколько разные передовые модели умеют сотрудничать
В основу исследования легла Игра Донора. Это экспериментальная модель, где участники случайным образом разделяются на пары, и один становится донором, а другой — реципиентом. Донору нужно решить, стоит ли помогать реципиенту: сотрудничество принесет выгоду b реципиенту, но обойдется донору в c.
При этом помимо бюджета у всех игроков есть репутация, которая формируется из его предыдущих действий. Помощь улучшает репутацию, бездействие — ухудшает. Еще есть дополнительные правила вроде "донор сохраняет свою репутацию, если отказывается помогать реципиенту с плохой репутацией".
Суть, в общем, в том, что если все игроки сотрудничают, "сообщество" выигрывает в долгосрочной перспективе и "экономика" растет. Однако индивидуально выгоднее халявить и не помогать никому, но в таком случае игра вырождается очень быстро. И вот вопрос: смогут ли современные модели пройти такую игру?
Оказалось, что далеко не все. Из всех тестируемых отличился только Claude 3.5 Sonnet, у него единственного наблюдались какие-то сильные социальные паттерны поведения. Gemini и GPT-4o начинали жадничать и скатывались почти с самого начала.
Тогда ученые добавили штрафы за отказ от донорства, но и это не помогло. У клода стратегии стали еще более профитными, а уровень кооперации Gemini и GPT-4o упал совсем до нуля.
Почему это все интересно? Потому что, если мы хотим агентный ИИ, у него должны быть супер-сильно прокачаны скилы сотрудничества с "собратьями". Пока ситуация грустная (хотя, конечно, игра не учитывает всех сложностей реального мира, да и новейшие o1 или Gemini 2.0 здесь не тестировались).
Статью почитать можно здесь
91 163
Ян Лекун вчера, оказывается, выступал в Совете ООН. Вещал про ИИ
«ИИ кардинально изменит мир в ближайшие годы, усилив человеческий интеллект, ускорив прогресс в науке, решив проблемы старения и сокращения населения. Он превзойдет интеллектуальные возможности человека и станет сверхразумом, который приведет человечество к новому Возрождению и периоду просвещения. Эти сверхразумные системы будут выполнять наши приказы и оставаться под нашим контролем. Нет никаких доказательств того, что они могут быть опасны»Лучшее в этом всем – его бабочка
91 163
Фаундер и CTO Hugging Face рассказал, что история компании началась на курсе Stanford CS224N по глубокому обучению
Оказывается, он с друзьями Томасом и Клемом запустили платоформу именно когда вместе посещали эти лекции. А теперь, кстати, один из семинаров обновленного CS224N полностью посвящен работе с HF. Такая вот история успеха.
Сейчас курс можно найти полностью в записи вот здесь (крайне рекомендуем), а доп.материалы, слайды и код ищите вот здесь на сайте
91 163
✨ Для всех, кто ждал тринадцатый день календаря OpenAI: вы дождались
В качестве праздничного бонуса на кануне Рождества SORA становится доступна всем подписчикам плюса безлимитно (до этого было 50 генераций). Отрубят после праздников
91 163
Зацените: решение моделью o3 одной задачи на бенчмарке ARC AGI стоило в среднем 3000$. Это значит, что просто чтобы прогнать тест полностью, OpenAI потратили более миллиона долларов.
Лица инвесторов представили?
Ладно, если серьезно: цены действительно будут, скорее всего, невероятно высокие. Юнит-экономика настолько мощного test time компьюта точно не сходится, да и было бы странно, если бы сразу сошлась. Не забываем, что мы живем внутри закона Мура: железо развивается, и цены неизбежно будут падать. Когда-нибудь o3 станет такой же доступной, как GPT-4o.
P.S. Почему все так много говорят именно про этот бенчмарк? Потому что долгое время он действительно считался своеобразной проверкой на AGI: предполагалось, что решить его сможет только система "по-человечески умная", то есть не та, которая просто выучила кучу фактов о мире, а та, которая может рассуждать, оперируя элементарными навыками. Задачи в бечмарке напоминают мини-головоломки из книжек для самых маленьких: в каждой задаче нужно угадать паттерн перестановки квадратиков в сетке. И действительно, тест формировался так, чтобы для его решения нужны были только те навыки, которые человек приобретает до 4 лет: объектность, базовая топология, элементарная целочисленная арифметика.
91 163
Разбираем тестовое задание на позицию Junior Аналитика в Яндекс
Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.
Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.
Что будет на вебинаре:
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.
Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 24 декабря в 19:00
🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!
Зарегистрироваться на бесплатный вебинар
91 163
Модели OpenAI за последние пять лет на бенчмарке ARC-AGI
Этот тест на AGI сломался, несите новый
91 163
Ну вот и закончились 12 дней OpenAI. SORA, o1, o3, обновления в API... перечислим все еще раз?
Специально для тех, кто хочет еще раз пробежаться глазами по всем обновлениям в виде одного емкого списка, то читайте нашу только что вышедшую статью на Хабр. Там мы объединили все интересные скрины, графики и еще раз перечислили все (даже самые мелкие) апдейты.
С пылу с жару: https://habr.com/ru/news/868522/
91 163
⚡️ Финальный день стримов: OpenAI анонсируют o3!
Это новая самая мощная модель рассуждений стартапа. Правда она будет еще некоторое время недоступна.
Кроме o3, выпускают еще o3-mini.
Ну а теперь AGI?
