Data Secrets
Главный по машинному обучению Сотрудничество: @veron_28 РКН: clck.ru/3FY3GN
Show more📈 Analytical overview of Telegram channel Data Secrets
Channel Data Secrets (@data_secrets) in the Russian language segment is an active participant. Currently, the community unites 90 837 subscribers, ranking 1 401 in the Technologies & Applications category and 6 182 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 90 837 subscribers.
According to the latest data from 01 July, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 628 over the last 30 days and by 36 over the last 24 hours, overall reach remains high.
- Verification status: Verified (Officially confirmed by Telegram)
- Engagement rate (ER): The average audience engagement rate is 26.37%. Within the first 24 hours after publication, content typically collects 19.13% reactions from the total number of subscribers.
- Post reach: On average, each post receives 23 954 views. Within the first day, a publication typically gains 17 375 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 318.
- Thematic interests: Content is focused on key topics such as claude, openai, контекст, стартап, llm.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN”
Thanks to the high frequency of updates (latest data received on 02 July, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
➡️ Каждый вид слоев сети живет на своем многообразии. Например, мы хотим, чтобы полносвязыне слои не растягивали веса слишком сильно. Для этого в качестве многообразия можно выбрать пространство матриц, у которых строки/столбцы ортонормированы (просто исходя из свойств такая матрица почти не будет увеличивать норму сигнала). Значит, при любом обновлении весов, после каждого шага обучения, матрица весов на этом слое во что бы то ни стало должна обладать таким свойством. ➡️ На прямом проходе ничего не меняется, да и на бэкпропе градиенты сами по себе считаются как обычно. Но обновить веса по обычной формуле мы теперь не можем: так условия на матрицы перестанут выполнятся. Поэтому, прежде чем вычесть градиент, мы сначала проецируем его в касательное пространство. Интуитивно это значит, что в векторе обрезаются те направления, которые увели бы нашу матрицу из целевого подпространства. ➡️ Все, теперь с подправленным градиентом можно сделать шаг обучения. Теоретически полученные матрицы должны остаться в исходном пространстве. Но из-за численных ошибок они могут немного съехать. Поэтому заключительным этапом еще идет аккуратная ретракция (примерно то же, что и проекция). Для стабильности еще предлагают вводить бюджет шагов. Это чтобы все слои двигались примерно равномерно.Короче, на игрушечном эксперименте с CIFAR-10 такой оптимизатор действительно показывает метрики гораздо лучше, чем AdamW (+ лучшую стабильность). И вроде все круто, и с исследовательской точки зрения проект правда интересный. Но до практики пока далеко, потому что остается еще куча вопросов: а как подбирать пространства, а как будет сходиться, а заведется ли на больших сетях, а будет ли работать с float16 и прочее-прочее. Это не говоря уже об огромных вычислительных затратах. thinkingmachines.ai/blog/modular-manifolds/
1. Система получает на вход Seed-программу и верификатор, который считает метрики качества (фитнес). На каждом шаге свежие полученные скрипты добавляются в единый архив (это наш "банк" родителей). 2. LLM тут выступает мутационным оператором: на каждом шаге из банка берутся один или два родителя, и модель предлагает какие-то изменения в их коде в одном из определенных режимов: diff-патч поверх родителя, полная перезапись, кроссовер (смешивание идей из двух программ). Кстати, LLM выбирается не всегда одна и та же: есть специальный многорукий бандит, который смотрит, кто чаще приносит улучшения на данном типе задач при приемлемой цене, и подстраивает приоритеты. 3. Полученных кандидатов прогоняют через верификатор, но сначала они проходят дополнительный фильтр novelty-rejection. Считаются эмбеддинги программы, проверяется похожесть на архив. Слишком похожие идеи отбраковываются ещё до рассчета метрик, это резко экономит время и деньги.Оставшихся прогоняем через оценщика и лучших добавляем в архив. А дальше – все с начала. Кстати, в архиве есть «острова» (несколько независимых популяций). Если система совсем встает в тупик и разнообразие решений начинает падать – можно осуществить между ними миграцию. Интересный инженерный ход. Тестировали в четырех разничных областях. Результаты занятные: 1. На задаче математической оптимизации всего за 150 сэмплов система вывела новое решение для задачи Circle Packing, превосходящее аналогичные подходы. 2. При проектировании ИИ-агента за ~75 поколений фреймворк "изобрел" трехчастную архитектуру, которая побила бейзлайн на AIME. 3. На задачках из спортивного программирования система добавила много полезных оптимизаций, и в итоге дотянула до уровня серебрянного медалиста. 4. И еще проверяли, насколько хорошо ShinkaEvolve сможет обучить другую LLM. Это самое интересное: примерно 30 поколений система билась с лоссом для MoE, и внезапно вывела функцию потерь, которая по эффективности превзошла многие популярные решения. И главное: в отличие от AlphaEvolve воспользоваться фреймворком можно прямо сейчас и бесплатно. Код вот тут. Просто переписываете evaluate.py под вашу задачу, кладете initial.py и запускаете shinka_launch variant=experiment_name. Подробная инструкция тут.
Мы отправили им множество писем с предупреждениями, но они не остановились. Судебный иск был единственным выходом после того, как мы исчерпали все остальные.Из смешного, в материалах дела даже приводится ссылка на июльское письмо юриста xAI одному из бывших лидов стартапа, в котором он обвинил того в нарушении NDA. В ответ от сотрудника пришло только простое лаконичное «suck my dick».
• Смотрит на дашборд и пишет, что там происходит. • Отвечает на ваши вопросы по данным в чате. • Помогает создавать кастомные графики, генерируя необходимый код.Выгода очевидна: меньше рутины, больше инсайтов и ускорение проверки гипотез на 30%.
Available now! Telegram Research 2025 — the year's key insights 
