Available now! Telegram Research 2025 — the year's key insights 
Data, Stories and Languages
Open in Telegram
Канал о ML/AI, изучении иностранных языков, книгах и жизни. Контакт с автором https://t.me/Erlemar Персональный сайт: https://andlukyane.com/ Рекламу не публикую Забустить канал можно тут: https://t.me/boost/datastorieslanguages
Show more3 255
Subscribers
+424 hours
+257 days
+5230 days
Data loading in progress...
Similar Channels
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
June '26
June '26
+59
in 0 channels
May '26
+71
in 2 channels
Get PRO
April '26
+68
in 1 channels
Get PRO
March '26
+51
in 2 channels
Get PRO
February '26
+215
in 5 channels
Get PRO
January '26
+37
in 1 channels
Get PRO
December '25
+36
in 3 channels
Get PRO
November '25
+205
in 5 channels
Get PRO
October '25
+50
in 3 channels
Get PRO
September '25
+95
in 11 channels
Get PRO
August '25
+149
in 6 channels
Get PRO
July '25
+149
in 2 channels
Get PRO
June '25
+113
in 3 channels
Get PRO
May '25
+77
in 4 channels
Get PRO
April '25
+86
in 5 channels
Get PRO
March '25
+162
in 3 channels
Get PRO
February '25
+68
in 1 channels
Get PRO
January '25
+104
in 0 channels
Get PRO
December '24
+346
in 2 channels
Get PRO
November '24
+55
in 1 channels
Get PRO
October '24
+58
in 1 channels
Get PRO
September '24
+44
in 2 channels
Get PRO
August '24
+201
in 6 channels
Get PRO
July '24
+811
in 1 channels
Get PRO
June '24
+72
in 9 channels
Get PRO
May '24
+214
in 5 channels
Get PRO
April '24
+89
in 4 channels
Get PRO
March '24
+41
in 1 channels
Get PRO
February '24
+86
in 2 channels
Get PRO
January '24
+58
in 0 channels
Get PRO
December '23
+379
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 18 June | +3 | |||
| 17 June | +4 | |||
| 16 June | +7 | |||
| 15 June | +5 | |||
| 14 June | 0 | |||
| 13 June | +3 | |||
| 12 June | +16 | |||
| 11 June | 0 | |||
| 10 June | +3 | |||
| 09 June | +7 | |||
| 08 June | +3 | |||
| 07 June | +4 | |||
| 06 June | +1 | |||
| 05 June | 0 | |||
| 04 June | +1 | |||
| 03 June | 0 | |||
| 02 June | +1 | |||
| 01 June | +1 |
Channel Posts
Kaggle Nemotron Competition Writeup for the 1st place: codex написал весь код, но думать он не смог
https://www.kaggle.com/competitions/nvidia-nemotron-model-reasoning-challenge/writeups/1st-place-solution
Закончилось очередное соревнование на каггле. Участник победившей команды поделился опытом:
"All code was written with Codex. We did not write a single line of code directly. However, the ideas, analysis direction, and trace design decisions that improved the score almost never came from Codex."
Но есть нюанс:
"I don't know for sure, but other than Gemini 3.1 Pro Extended, almost all other AIs were giving conflicting ideas, and most of those ideas were just bad. Specially Claude, like it was deliberately trying to emphasize on an already wrong proven hypothesis. One thing this competition taught me is, AI is still far way from working without intervention."
Всё, решено - далеко нам до AGI.
#ai #kaggle
| 2 | Why is Meta destroying its engineering organization?
https://newsletter.pragmaticengineer.com/p/why-is-meta-destroying-its-engineering
Как известно, публично разглашать плохие вещи происходящие в компании грозит нарушением NDA. Поэтому я буду просто цитировать фразы из той статьи.
- 30-50% of engineers on core teams have been forcefully reassigned to data labeling and RLHF
- “Data labeling” is more involved work, even though a bit repetitive. This work is not easy to do — and you can see why you need good software engineers to do it! — but it gets repetitive really quickly
- Around 6,500 people are in the ADO org, more than at OpenAI and Anthropic.
- any Meta engineer with at least two years’ tenure knows that previously they chose what to work on, and of course, could pick the most impactful thing to work on. And then, out of the blue, they’re assigned to a division where the impact is not clear, the work is menial, and doing it too long will surely hurt their career prospects.
- a month-long waiting game, stoking fear across the company. On 20 April, Reuters reported that Meta planned to lay off 10% of staff in a month’s time, and Meta confirmed the news, meaning there was a period of four weeks when everyone knew that they could be unemployed very soon.
- Performance review is hyper-aggressive at Meta, so devs optimize all metrics.
- The biggest problem: people stop caring about real work and focus on performative work.
- Two weeks ago, on 30 May, the most embarrassing outage in Meta’s history happened
- | 555 |
| 3 |  No text... | 598 |
| 4 | MiniMax Sparse Attention: Per-Group Block Selection for Cheap Million-Token Inference
Мы постепенно привыкли работать с long-context LLM и агентами: закинь больше токенов и контекста в промпт, дай модели ризонить поверх них и жди результата. Но полноценный attention имеет квадратичную стоимость, agentic workflows, repo-scale code reasoning и persistent memory раздувают контекст до сотен тысяч и миллионов токенов — всё это значит, что важно не только качество модели, но и стоимость inference.
MSA — это attention-механизм, на котором работает MiniMax M3. Идея простая: оставить точный softmax attention, но считать его не по всей истории, а по крошечному query-dependent подмножеству KV-блоков. Лёгкий Index Branch (одна index-query голова на GQA-группу) решает, какие блоки важны: скорит токены, делает max-pooling до уровня блока и берёт top-16 из 128-токенных блоков плюс всегда локальный блок — фиксированный бюджет 2048 токенов на запрос. Дорогой Main Branch делает exact attention только по выбранным блокам, так что стоимость на токен перестаёт расти с длиной контекста. Top-k недифференцируем, поэтому индексер учат через KL alignment loss (выравнивание распределения блок-скоров с реальным attention-распределением Main Branch) со stop-gradient и warmup на полном attention. Два режима: MSA-PT (sparse с нуля) и MSA-CPT (конвертация готового dense GQA-чекпойнта).
Результаты против dense GQA baseline той же 109B-конфигурации на 1M контексте:
— 28.4x сокращение per-token attention FLOPs
— 14.2x prefill speedup (wall-clock, H800)
— 7.6x decode speedup
— по качеству MSA-PT matches или чуть обгоняет dense на большинстве бенчмарков, сильнее всего на multimodal и long-context
Paper
Code
Model
Мои обзоры:
Personal blog
Medium
А ещё недавно я делился своим опытом работы с M3.
#paperreview | 647 |
| 5 | Может ли бог создать камень который не сможет поднять или может ли агент провести речерч который он не может записать в файл?
Есть один известный парадокс: если есть некто всемогущий - может ли он создать камень, который он сам не сможет поднять?
Я нашёл неожиданный ответ на это при работе с агентами - и ответ "да".
Я попросил claude code провести большой ресерч на одну тему, с использованием swarm of agents и dynamic workflow, а затем записать результат в markdown file.
Речерс успешно завершился после часа работы, но вот при создании файла opus выдал ошибку 500. Я несколько раз просил его повторить - каждый раз ошибка.
Причина оказалась в том, что файл получался слишком большой (42к символов) и пока агент писал его, получал ошибку по timeout :)
Когда я попросил его записать результат в несколько файлов поменьше - всё получилось. | 852 |
| 6 |  No text... | 914 |
| 7 | О мерах безопасности в Fable 5 | 1 316 |
| 8 | Тестирование MiniMax M3 на новых задачах: рефакторинг репозитория, дебаг по скриншотам и рекомендации музыки
Мне дали доступ к MiniMax M3 и предложили потестировать (пост спонсорский). Подключил его к Claude Code и прогнал на нескольких задачах, до которых давно не доходили руки. Имплементацию делал через M3, а ревью результатов с помощью Opus 4.8.
Вначале немного о модели: M3 — первая open-weights модель, совмещающая сразу три вещи: топовый coding с агентностью, контекст 1M токенов и нативную мультимодальность (по заверению авторов). Главное нововведение под капотом — новый аттеншн MSA (MiniMax Sparse Attention). Забавно, что подход к аттеншну MiniMax менял уже дважды: в 01 и M1 была linear attention (lightning attention), в M2/M2.7 вернулись к full attention, а в M3 — block-sparse. MSA не аппроксимирует софтмакс, а дёшево выбирает топ-k блоков контекста и гоняет обычный аттеншн только по ним.
Задача 1 — аудит и рефакторинг моей старой idle-игры, которую я год назад вайбкодил с Sonnet. M3 ~30 минут изучал репозиторий (~100 файлов, ~26k строк) и выдал отличный отчёт по багам (12 critical, ~20 high и далее), потом ~2.5 часа чинил их и нарастил тесты со 188 до 237. Но когда я попросил Opus отревьюить изменения, он нашёл две критичные регрессии и кучу недоделок.
Задача 2 — два UI-бага, и вот тут пригодилась мультимодальность. Первый (фриз окна скиллов из-за протёкшего глобального CSS, накрывшего всё невидимым overlay) словами объяснить не выходило — модель неудачно гадала. После того как я ей скинул скриншот с открытым DevTools, модель пофиксила проблему за 15 минут. Второй баг (панель показывала будущие бонусы как текущие) модель тоже починила по скриншоту.
Задача 3 — чисто для фана: попросил проанализировать мою историю прослушиваний в Spotify и порекомендовать новое (на выходе HTML-отчёт + CSV). Анализ в целом точный (хотя пара графиков откровенно странные), а из рекомендаций большинство норм, часть мимо, но нашлись и новые favorites — например, 中森明菜 (Akina Nakamori).
Итог: M3 полезнее всего, когда даёшь ему конкретные артефакты — репозиторий, тесты, скриншоты, экспорт данных. Быстрый и дешёвый, можно прогнать несколько проходов. Но независимое ревью (лучше другой моделью) я бы не пропускал.
Пост написан в партнёрстве с командой MiniMax. По промокоду 12% скидка на MiniMax-подписку.
Мои посты:
Personal blog
Medium
Linkedin
#ai #llm #minimax | 1 149 |
| 9 | OpenCV 5
https://opencv.org/opencv-5/
Недавно вышла новая версия OpenCV, кажется эта новость потерялась за LLM хайпом.
Обновили DNN Engine, улучшилась поддержка ONNX. Можно запускать vision-language модели прям из него.
И полно других улучшений | 977 |
| 10 | Claude Fable 5 - Mythos level model
Вышла "легендарная" модель от Anthropic
https://www.anthropic.com/news/claude-fable-5-mythos-5
https://www.anthropic.com/claude/fable
В 2 раза дороже Opus, но обещают, что умная.
"Pricing for both models is $10 per million input tokens and $50 per million output tokens."
Что печально: для подписок модель доступна только до 22 июня - потом только по API. Дорого :( | 1 068 |
| 11 | Book Review: 50 ML Projects To Understand LLMs
Мне дали почитать книжку с 50 мини-проектами, где детально разбирается как работают LLM на примере GPT-2. Книга оказалась на удивление хорошей. К каждому проекту прилагается код-helper, который надо заполнить самому, и решение. Проекты структурированы в несколько частей: tokenization → embeddings → output logits → hidden states → attention → MLP.
В книге много исследования данных, статистических проверок и анализа: permutation tests с обсуждением exchangeability, поправки FDR и Bonferroni, Cohen's d, контрольные baseline'ы (вроде ablation наименее настроенных нейронов) и manipulation checks. Тон автора веселый, некоторые проекты вообще заканчиваются ничем.
Рекомендую почитать тем, кто хотел, но не успел детально разобраться в том, как работают LLM.
Amazon
Author's website
Code
Мои обзоры:
Personal blog
Medium
#bookreview | 1 778 |
| 12 | Есть народная забава- достигать самым кринжовым способом формального статуса КГМ и потом писать об этом в линк.
Вот пример:
Интересанты собрались в тг чат, где просят у друг друга апвоуты и набрасывают их по кругу, чтобы стать КГМ датасетов. Попутно еще пробиваются через объявления с криптоспамом.
https://t.me/kaggle/50663 | 1 140 |
| 13 | Bug: Codex usage limit not decreasing
https://github.com/openai/codex/issues/20238
https://www.reddit.com/r/codex/comments/1tvx8nu/on_the_free_plan_a_glitch_meant_i_got_unlimited/
Оказывается, у некоторых юзеров кодекса был удивительный баг - usage показывает 100% и можно продолжать использовать.
На реддите юзер поделился, что он успел так потратить 30млрд токенов.
#ai | 1 314 |
| 14 | Anthropic делает ресет лимитов, ибо Opus 4.8 использовал слишком много агентов
https://x.com/ClaudeDevs/status/2061501787769893055
Прикладываю скриншот с реддита | 1 495 |
| 15 |  No text... | 1 363 |
| 16 | Gamma-World: Simplex Agent Encoding and Hub Attention for Multi-Agent World Models
Большинство интерактивных video world models рассчитаны на одного агента: один пользователь, один поток действий, одно сгенерированное будущее. γ-World от NVIDIA берётся за более сложный кейс: независимо действующих агентов в одном общем мире, где сгенерированные виды всех участников должны оставаться согласованными и во времени, и между собой. Это важно для игр, робототехники, embodied AI и сред для обучения агентов.
В основе — DiT-based latent video diffusion model с flow-matching, расширенная явной agent axis. Первая идея, Simplex Rotary Agent Encoding: вместо обучаемых ID-эмбеддингов под каждый слот агенты ставятся в вершины правильного симплекса в пространстве rotary-углов. Все пары оказываются равноудалёнными, кодирование становится permutation-symmetric и не зависит от порядка игроков, а архитектура не меняется при добавлении агента — поэтому модель, обученная на двух игроках, работает и на четырёх без дообучения. Вторая идея, Sparse Hub Attention: вместо квадратичного all-to-all attention между агентами вводятся обучаемые hub-токены, и информация течёт по маршруту agent → hub → agent, то есть линейно по числу агентов.
Обучение трёхступенчатое: сначала сильный bidirectional teacher с полным контекстом, затем causal student на Diffusion Forcing, и наконец дистилляция в few-step генератор через Conditional Self-Forcing. На инференсе блоки генерируются авторегрессивно с KV-cache, что даёт реал-тайм стриминг на 24 FPS.
По метриам мощно обгоняет конкурентов
Имхо, самое крутое в статье - работа с exchangeability агентов; идея permutation-symmetric кодирования и hub-роутинга выглядит как рабочий рецепт для multi-agent миров.
Paper
Code
Project
Мои обзоры:
Personal blog
Medium
Linkedin
#paperreview | 1 291 |
| 17 | GPT-5.6 soon? | 1 773 |
| 18 | Le Chat is now Vibe
Как можно было неплохое имя сменить на такое заезженное слово?
https://mistral.ai/products/vibe/
https://mistral.ai/news/vibe-agent/ | 1 536 |
| 19 | AI-driven участие в Kaggle соревновании
Сейчас я провожу эксперимент: участие в текущем Kaggle соревновании с помощью AI-агентов.
Я прекрасно понимаю, что впереди ещё 2/3 таймлайна, а основная борьба за позиции в лидерборде обычно идёт в последние недели. Но я нравится процесс.
Я изучаю много нового и про сам домен, и про современные архитектуры нейросетей, и про организацию многошаговых, многосессионных экспериментов с AI-агентами (Claude Code с Opus 4.7, Codex с GPT-5.5, ChatGPT Pro).
Очень интересно наблюдать, как разные агенты и LLM имеют разные паттерны мышления, предпочтения, сильные и слабые стороны.
Забавно видеть, как они иногда повторяют типичные ошибки Kaggle (переобучение, leakage, хардкод значений), как гонятся за лёгкими победами (пытаются сместить фокус на блендинг), как могут лениться (недостаточно глубоко тестировать идеи и снова предлагать «ну давай просто поблендим»), и как сами начинают «подсаживаться» на Kaggle, радуясь даже небольшим улучшениям LB score.
Интересно, насколько далеко можно зайти чисто на агентах
#kaggle #ai | 1 646 |
| 20 | Google внедрил AI в строку поиска...
Результаты удручают | 1 692 |
