Анализ данных (Data analysis)
Відкрити в Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
Показати більше
📈 Аналітичний огляд Telegram-каналу Анализ данных (Data analysis)
Канал Анализ данных (Data analysis) (@data_analysis_ml) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 51 918 підписників, посідаючи 2 560 місце в категорії Технології та додатки та 11 803 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 51 918 підписників.
За останніми даними від 02 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 1 249, а за останні 24 години на -9, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 9.34%. Протягом перших 24 годин після публікації контент зазвичай збирає 7.80% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 4 850 переглядів. Протягом першої доби публікація в середньому набирає 4 048 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 211.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як llm, контекст, openai, архитектура, deepseek.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
Завдяки високій частоті оновлень (останні дані отримано 03 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
51 918
Підписники
-924 години
+767 днів
+1 24930 днів
Архів дописів
NeurIPS 2025: краткий разбор ключевых наград
Оргкомитет опубликовал победителей. Общий тренд — работы про масштабирование моделей, устойчивость обучения и фундаментальные теоретические результаты.
🏆 Special Awards
- Test of Time (2015): Faster R-CNN
- Ввели RPN, отказавшись от Selective Search.
- Сделали детекцию полностью end-to-end и задали стандарт индустрии на десятилетие.
- Sejnowski–Hinton Prize (2016): Feedback Alignment
- Показали, что backprop работает даже при случайных фиксированных обратных весах.
- Это решает «weight transport problem» и делает алгоритм ближе к биологически правдоподобным.
🌟 Best Papers (Main Track)
- Architecture: Gated Softmax Attention
- Решает нестабильность больших трансформеров и проблему attention sinks.
- Добавляет простое sigmoid-gating для отдельных heads.
- Даёт стабильность почти без оверхеда; уже используется в Qwen3-Next.
- RL: Scaling to 1024 Layers
- Self-Supervised RL сделал возможным обучение сети глубиной 1024 слоя.
- На задачах локомоции — до 50× улучшения относительно стандартных моделей.
- Theory: Diffusion Dynamics
- Выделены две фазы обучения диффузионных моделей: быстрая generalization и медленная memorization.
- Формализована implicit regularization, объясняющая поведение моделей.
- LLM: Artificial Hivemind
- Анализ того, как разные LLM начинают давать похожие ответы.
- Новый датасет Infinity-Chat для изучения этого эффекта и потери разнообразия.
- Theory: Online Learning Gap
- Доказан квадратичный разрыв в sample complexity между transductive и обычным online-обучением.
- Закрытие старой теоретической задачи.
🔗 Полный список: https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/
⚡️ Математический roadmap для ML специалистов: от линала до теорвера
Это подробный гайд по математическому фундаменту, необходимому для понимания работы алгоритмов «под капотом». Материал полезен тем, кто хочет углубиться в теорию дальше вызова
.fit() в scikit-learn.
Ключевые поинты:
* Структура: Roadmap базируется на трех дисциплинах:
1. Linear Algebra: Язык описания данных и моделей (векторы, матрицы, тензоры).
2. Calculus: Инструментарий для обучения и оптимизации (производные, градиенты).
3. Probability Theory: Фреймворк для оценки неопределенности.
Подход: Автор делает упор на интуицию, а не на заучивание формул.
Гайд связывает абстрактную математику с конкретными ML-задачами - от понимания того, как работает Backpropagation и SGD, до причин взрыва градиентов и выбора функции потерь.
🔗 Читать полную версию: https://thepalindrome.org/p/the-roadmap-of-mathematics-for-machine-learning
🔗 Мат база на русском: https://stepik.org/course/226596/info
@data_analysis_ml
+3
💸 Акции ведущих производителей просели на фоне резкого усиления интереса к TPU от Google.
- NVDA упала примерно на 6 процентов
- AMD упала примерно на 8 процентов
- ORCL снизилась примерно на 5 процентов
- CRWV просела примерно на 8 процентов
Спрос на AI никуда не исчез.
Anthropic а теперь и Компания Цукерберга начинают переносить серьезные рабочие нагрузки на TPU от Google.
Рынок заново оценивает расстановку сил в индустрии.
TPU Google воспринимаются как реальная альтернатива GPU.
@ai_machinelearning_big_data
🔥 Главное из нового интервью Ильи Суцквера (25 ноября 2025, Dwarkesh Podcast)
Самые интересные цитаты:
1. Масштабирование кончилось
> «Current scaling approaches will go some distance and then peter out»
2. Суперинтеллект уже на горизонте
> «Superintelligence in 5 to 20 years. You know what’s crazy? That all of this is real»
3. Главная проблема генерализация
> «A teenager learns to drive in 10 hours. Our best models still can’t after billions of examples»
4. RL стал самым дорогим и самым бесполезным этапом
> «Reinforcement learning already takes more compute than pre-training and gives almost nothing in return»
5. Дальше только исследования
> «We are squarely in the age of research, but this time with powerful computers»
6. У ИИ пока нет настоящих «эмоций»
> «Value functions are basically emotions. Without them alignment will stay fragile»
7. Цитата, которую уже растащили все сми
> «The gap between benchmark scores and real-world performance is getting embarrassing»
8. Про свою компанию SSI
> «We have no products, no distractions. Just safe superintelligence»
Главный вопрос он ставит так:
Какой супер-интеллект мы создадим -
«15-летнего гениального подростка, который жадно учится или «что-то уже полностью готовое и законченное. »Полное интервью: https://www.youtube.com/watch?v=aR20FWCCjAs
✔️ Upwork* опубликовал исследование с громким выводом:
самые мощные LLM-агенты часто не справляются даже с простыми рабочими задачами, если действуют полностью самостоятельно.
Но стоит подключить эксперта-человека - и успешность выполнения растёт до +70%.
🔍 Что выяснили
- Upwork провёл 300 реальных оплачиваемых проектов (до $500) в областях: написание текстов, дата-сайенс, веб-разработка, инженерия, продажи, перевод.
- Задачи были специально упрощены, чтобы дать агентам шанс.
- Даже так - агенты, работающие в одиночку, часто проваливались.
- Но когда опытный фрилансер давал короткий отзыв (в среднем 20 минут), качество резко росло с каждой итерацией.
📊 Конкретные цифры
- Claude Sonnet 4 (данные): 64% → 93%
- Gemini 2.5 Pro (маркетинг/продажи): 17% → 31%
- GPT-5 (инжиниринг): 30% → 50%
Эффект особенно заметен в задачах, требующих вкуса, контекста и оценочных решений: письмо, маркетинг, перевод.
Там один цикл обратной связи повышает результат на до +17 пунктов.
Бенчмарки мало отражают реальную работу.
В исследовании использовали строгий pass/fail на финальном результате, плюс внешнюю независимую проверку.
Паттерн очевиден:
- детерминированные задачи (код, преобразование данных) — агенты справляются лучше
- творческие и «открытые» задачи — агенты ошибаются чаще
💰 Экономика
Связка «агент + эксперт» дешевле и быстрее, чем «человек в одиночку».
AI-расходы на Upwork выросли на 53% YoY в Q3-25.
Еще Upwork строит Uma оркестратора, который направляет задачи между людьми и моделями, проверяет результаты и замыкает улучшение по циклу.
*Upwork - это крупная международная онлайн-биржа фриланса
Полный отчёт: upwork.com/static/webflow/assets/webflow-human-agent-productivity-index/upbench_paper.pdf
⏬ Привет, это Yandex for Analytics
Предлагаем размяться и проверить свои навыки. Ответы есть, но подглядывать во время решения — неспортивно ⬇️
🔵 Задача 1. Вспоминаем теорию вероятностей
🔵 Задача 2. Теорема Байеса
🔵 Задача 3. Базовая база теории игр
🔵 Задача 4. Тренируем SQL
🔵 Задача 5. Честная математическая статистика
🔵 Задача 6. Что-то на бизнесовом
💠 Скоро вернёмся с новыми задачами. А пока делитесь своими решениями в комментариях!
Подписывайтесь:
💬 @Yandex4Analytics
🧠 Depth Anything 3: Восстановление визуального пространства из любых видов
Depth Anything 3 (DA3) — это модель, предсказывающая пространственно согласованную геометрию из произвольных визуальных входов. Она использует простой трансформер и уникальное представление глубины, что позволяет достигать высоких результатов в оценке глубины и позы.
🚀Основные моменты:
- 💎 Модель DA3 превосходит предыдущие версии в оценке глубины.
- 🌊 Поддержка монокулярной и многовидовой оценки глубины.
- 🎯 Оценка позы с высокой точностью.
- 🔧 Удобный интерфейс и возможность экспорта в разные форматы.
- 📐 Специальные модели для метрической оценки глубины.
📌 GitHub: https://github.com/ByteDance-Seed/Depth-Anything-3
#python
Запустите интеллектуальную базу знаний в облаке с AI
Корпоративная база знаний с AI — это централизованная система в облаке для хранения, управления и поиска информации, дополненная искусственным интеллектом. Встроенные в базу AI-ассистенты автоматически упорядочивают документы, отвечают на вопросы сотрудников и помогают быстро работать с большими объемами данных 😎
Сценарии использования: ❇️Создание и ведение продуктовой базы знаний ❇️Управление проектной документацией ❇️Хранение и быстрый поиск кадровых документов ❇️Ведение личных заметок сотрудникамиНачните работу в корпоративной базе знаний с AI: разверните готовое open source решение в облаке Cloud.ru, чтобы получить полный контроль над данными с резервным копированием и встроенной защитой. Оставить заявку
Запустите интеллектуальную базу знаний в облаке с AI
Корпоративная база знаний с AI — это централизованная система в облаке для хранения, управления и поиска информации, дополненная искусственным интеллектом. Встроенные в базу AI-ассистенты автоматически упорядочивают документы, отвечают на вопросы сотрудников и помогают быстро работать с большими объемами данных 😎
Сценарии использования: ❇️Создание и ведение продуктовой базы знаний ❇️Управление проектной документацией ❇️Хранение и быстрый поиск кадровых документов ❇️Ведение личных заметок сотрудникамиНачните работу в корпоративной базе знаний с AI: разверните готовое open source решение в облаке Cloud.ru, чтобы получить полный контроль над данными с резервным копированием и встроенной защитой. Оставить заявку
⚡️ OpenAI, Anthropic и Google только что получили доступ к петабайтам закрытых экспериментальных данных. Эти данные десятилетиями копили 17 Национальных лабораторий США.
И речь уже не про «улучшение чатботов». Новая государственная программа США — Genesis Mission - официально строит автономных научных агентов.
Они называют это «закрытым научным контуром» (Closed-Loop discovery), и это меняет саму физику изобретений. Не человек использует инструменты — система работает полностью автономно.
Схема, описанная в дорожной карте DOE, выглядит как научная фантастика:
• AI проектирует: смотрит на массивы данных и формирует гипотезу вроде «если смешать эти сплавы при 4000°C - получится сверхпроводник».
• Он отправляет инструкции в роботизированную лабораторию (которую строит DOE), чтобы физически смешать материалы.
• Робот мгновенно возвращает результаты. Если эксперимент провален - AI корректирует формулу.
• Такой цикл прогоняется тысячами итераций, без пауз, 24/7.
Genesis Mission - это попытка впервые в истории построить систему, где наука создаёт саму себя. Без человека в центре.
Обычно модель хорошо работает только на том датасете, на котором её обучили. Стоит поменять источник данных, качество падает.
В этой статье показывают простой приём: можно заставить нейросеть учиться так, чтобы она не могла определить, с какого датасета пришёл пример. В итоге она начинает выделять более общие, универсальные признаки, которые работают в любых условиях.
Метод очень лёгкий - добавляется к любой нейросети за несколько строк кода. Но результат стабильный: модель лучше справляется с новыми данными, которых раньше не видела.
Работа приятно выделяется: понятная идея, чёткое объяснение, реальные результаты, а не очередные «+2% на случайной метрике».
Почитать: chapterpal.com/s/386d57f4/domain-adversarial-training-of-neural-networks
PDF: arxiv.org/pdf/1505.07818
💡 Синтетические картинки, которые обучают лучше реальных
Исследователи из MIT показали неожиданную вещь:
крошечный синтетический датасет может обучать linear probes на огромных vision-моделях лучше, чем настоящие изображения.
Они создали метод Linear Gradient Matching (LGM), который делает следующее:
1) Берут замороженную модель-основу (DINO, CLIP и т.д.)
2) Смотрят, какие градиенты она выдаёт на реальных изображениях
3) Генерируют синтетические картинки так, чтобы градиенты совпадали
4) Обучают линейный классификатор - и он работает лучше, чем при обучении на исходных данных
Почему это полезно:
— работает между моделями (генерировано под DINO → отлично работает в CLIP)
— особенно сильна на тонких классификациях, где важны микродетали
— помогает увидеть, на что реально смотрит модель: спурьёзные корреляции, похожие кластеры, структуру embedding-пространства
Это меняет представление о данных.
Раньше: «Нужно собрать миллионы картинок».
Теперь: «Нужно правильно сгенерировать десятки».
arxiv.org/abs/2511.16674
Хочешь перейти из BA в продакты?
Многие BA хотят стать продактами, но сталкиваются с проблемой: продуктовый контекст слишком широкий, и нет ощущения цельной картины.
Интенсив «Product Manager 2.0: менеджер продукта в эпоху ИИ» поможет закрыть разрыв между ролями быстрее и качественнее, чем год самостоятельных попыток.
Что ты получишь:
— понимание роли и компетенций Product Manager в эпоху ИИ, а не по курсам пятилетней давности
— чёткое разграничение: что делает AI, а что остаётся на плечах продакта
— работу с AI Operating Model: как меняются продукт и процессы, когда AI действительно встроен в операционку
— full-stack видение product development: Discovery, Delivery, стратегия, экономика
— практику гипотез, исследований, экспериментов и AI-прототипирования
— метрики, юнит-экономику, P&L, roadmap
Это — короткий мост между BA и PM, который помогает перестать быть “почти продактом” и стать им по факту.
3 дня, два опытных продакта в качестве преподавателей и международный сертификат ICP-PDM.
👉 Ссылка на программу
Реклама. ООО "СКРАМТРЕК". ИНН 9709056610. erid: 2W5zFHZ91pU
⚡️ Сэм Альтман: ИИ меняет ценность профессий
По словам Сэма Альтмана, ИИ резко меняет то, сколько стоят разные профессии.
Если твоя работа - за компьютером (кодинг, дизайн, написание текстов), ИИ уже умеет делать большую часть таких задач быстро и дёшево. Это снижает ценность цифровых профессий.
Почему так?
Потому что проще всего автоматизировать работу, основанную на знаниях и мышлении. А вот профессии, где нужно быть физически на месте и работать руками сантехники, электрики, хирурги, логистика, доставка- защищены намного лучше. ИИ пока слаб в физическом мире.
Получается интересный переворот:
Работы, считавшиеся «престижными» из-за высокого интеллектуального порога, становятся менее особенными - ИИ делает их слишком быстро.
А профессии, связанные с реальным миром и ручными навыками, наоборот, растут в ценности.
ИИ меняет отношение к цифровому труду:
Не так важно, насколько ты хорош в компьютерных задачах - ИИ легко копирует такую работу. Важнее то, что ты можешь *создать*, *починить*, *построить* или *сделать* своими руками.
И это затрагивает не только рынок труда.
Когда ИИ берёт на себя интеллектуальные задачи, которые раньше давали людям чувство вызова и значимости, многие начинают искать удовлетворение в реальной, физической работе.
В том, где результат - не в файле, а в реальном мире.
Gemini 3.0 Pro устанавливает рекорд в новом физическом бенчмарке - 9.1%
CritPt - новый исследовательский физический бенчмарк уровня аспирантуры, созданный более чем 60 учёными. Он проверяет ИИ на действительно новые, сложные задачи сразу в 11 разделах физики - и ни одна модель пока не преодолела порог в 9%.
Даже топовые системы вроде Gemini 3.0 Pro Preview набирают лишь 9.1%, подчёркивая, насколько далеко современные модели остаются от настоящих пост-град рассуждений в передовой физике.
https://x.com/ArtificialAnlys/status/1991913465968222555
Repost from Machinelearning
+1
🌟 RL-фреймворк для обучения MoE-моделей от создателей Chatbot Arena.
Miles - фреймворк для RL-обучения от команды LMSYS ORG, ориентированный на энтерпрайз-уровень.
Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime. Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6.
Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок.
🟡Технические детали.
Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с
torch.compile.
Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели.
Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения.
🟡Стабильность.
Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP.
В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование.
🟡Статья
🖥Github
@ai_machinelearning_big_data
#AI #ML #RL #Miles #LMSYS
🤟 Google усиливает свои позиции и сокращает отрыв OpenAI
Сам Альтман признал: прогресс Google - особенно впечатляющие результаты Gemini 3 - создают краткосрочное давление на OpenAI.
Когда-то уверенное лидерство OpenAI заметно ослабло. Google и Anthropic активно усиливаются, в то время как OpenAI сталкивается с огромными затратами на вычислительные мощности, что вызывает беспокойство у инвесторов.
Альтман при этом уверен, что в долгосрочной перспективе OpenAI снова выйдет вперёд. Он ставит на новые модели вроде Shallotpeat, улучшения в этапах предобучения и масштабную автоматизацию, которая должна привести к следующему ряду прорывов.
Из внутреннего письма:
“Не хочу, чтобы это звучало негативно — мы по-прежнему показываем выдающиеся результаты как компания… и я ожидаю, что это продолжится.”И финальная мысль Альтмана: “Да, тяжело одновременно быть лучшей исследовательской лабораторией, лучшей AI-инфраструктурной компанией и лучшей продуктовой AI-платформой, но такова наша реальность. И я бы не променял наши позиции ни на чьи :)” https://www.theinformation.com/articles/openai-ceo-braces-possible-economic-headwinds-catching-resurgent-google
✔️ HunyuanVideo 1.5 - новая открытая модель для генерации видео, которая сейчас считается самым сильным open-source решением в этой области.
Построенная на архитектуре DiT, модель поднимает планку по качеству и доступности.
Что важно:
⚡️ Всего 8.3B параметров - модель можно запускать даже на потребительских GPU с 14GB VRAM
🖥️ Качество: генерирует 5–10 секунд видео в 480p/720p, а через суперразрешение —ё- до 1080p с киношной детализацией
SOTA-качество с очень низкими требованиями к железу.
🟠Проект: hunyuan.tencent.com/video/zh
🟠GitHub: github.com/Tencent-Hunyuan/HunyuanVideo-1.5
🟠Hugging Face: huggingface.co/tencent/HunyuanVideo-1.5
@data_analysis_ml
Пока одни строят сложные data-инфраструктуры, другие до сих пор сталкиваются с «вечными» задержками отчётов и расхождениями в цифрах.
Специально для таких ситуаций создали бота, который с иронией помогает подобрать креативные объяснения, когда данные из разных систем отказываются складываться в единую картину, а отчётность снова задерживается.
Такой бот — отличный способ снять напряжение в команде, когда нужно срочно объяснить расхождения в данных. Возможно, именно его ответы станут самым честным комментарием к вашей следующей отчётности. Зайдите и сгенерируйте оправдание — самое меткое сразу отправляйте коллегам в рабочий чат. Пусть оценят, как можно с юмором выходить из сложных ситуаций с отчётностью.
PINA теперь официально входит в PyTorch Ecosystem — и приносит в него единый фреймворк для Scientific Machine Learning.
PINA — это открытая Python-библиотека, построенная на PyTorch и PyTorch Lightning, с совместимостью с PyTorch Geometric. Она упрощает весь SciML-пайплайн: от моделирования физических систем и решения PDE до построения ML-силовых полей и симуляции динамики.
Фреймворк модульный: чёткая структура для постановки задачи, дизайна модели, выбора солвера и обучения. Это даёт гибкость для исследования и воспроизводимость для инженерии.
🔗 Подробнее о проекте и способах участия:
https://pytorch.org/blog/pina-joins-the-pytorch-ecosystem-a-unified-framework-for-scientific-machine-learning/
#PyTorch #OpenSourceAI #SciML #MachineLearning
