Анализ данных (Data analysis)
Відкрити в Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
Показати більше
📈 Аналітичний огляд Telegram-каналу Анализ данных (Data analysis)
Канал Анализ данных (Data analysis) (@data_analysis_ml) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 51 928 підписників, посідаючи 2 568 місце в категорії Технології та додатки та 11 792 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 51 928 підписників.
За останніми даними від 05 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 902, а за останні 24 години на 8, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 9.76%. Протягом перших 24 годин після публікації контент зазвичай збирає 8.15% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 5 066 переглядів. Протягом першої доби публікація в середньому набирає 4 230 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 212.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як llm, контекст, openai, архитектура, deepseek.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
Завдяки високій частоті оновлень (останні дані отримано 06 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
51 928
Підписники
+824 години
+297 днів
+90230 днів
Архів дописів
⚡️ Учёные нашли способ сделать электронику в 1000 раз быстрее
Американские исследователи сделали прорыв в управлении квантовыми материалами. Они научились переключать 1T-TaS₂ — особый кристалл — между состояниями изолятора и проводника при обычных температурах и на стабильное время.
▪ Ключ к переключению — метод thermal quenching
▪ Материал реагирует на свет, изменяя свои электронные свойства
▪ Работает как транзистор, но в разы быстрее и без кремния
▪ Главное: переключение обратимое и мгновенное
💡 Почему это важно:
Такие материалы способны заменить традиционные транзисторы, которые уже упёрлись в физические ограничения кремния. Это открывает путь к:
- сверхбыстрым процессорам
- минимальным размерам чипов
- новой архитектуре вычислений
Если технология масштабируется — это будет шаг к новой квантовой электронике, где компьютеры станут быстрее не на 20%, а в сотни раз.
Источник: https://sciencealert.com/quantum-breakthrough-could-make-your-devices-1000-times-faster
@data_analysis_ml
🧠 Как оживить open-source LLM без дообучения?
Большинство открытых языковых моделей "замерзают" во времени: они не умеют гуглить, не могут обновляться и, как следствие, проваливаются на свежих научных задачах.
📄 Новый подход — X‑Master
Он превращает любую LLM в агента с доступом к коду, вебу и самокритике, не изменяя веса модели.
💡 Как это работает:
– Модель может вставить Python-код прямо в ответ
– Код выполняется в песочнице, результат возвращается в чат
– Это позволяет модели использовать «внешнюю память»: веб-скрапинг, вычисления, даже вызов инструментов
Чтобы избежать случайных ошибок, авторы запускают 5 Solver-клонов, а затем роли Critic → Rewriter → Selector доводят ответ до ума.
Этот «поиск → чистка» напоминает reinforcement rollouts, но не требует переобучения.
📈 Результат:
– DeepSeek-R1 на задаче «Humanity’s Last Exam»: с 17.7% до 32.1%
– Обходит закрытые модели на сложном биотесте на +5 пунктов
💥 И всё это — без дообучения. Просто обёртка.
Промпты, sandbox, и немного здравого смысла — и ваша модель снова в игре.
arxiv.org/abs/2507.05241
🔥 Meta строит ИИ-монстра: кластер Prometheus уже потребляет 1 ГВт
По данным SemiAnalysis, Meta заливает $30 млрд в перезапуск суперИИ — новые дата-кластеры, миллионы GPU и зарплаты уровня "заберите всех ресерчеров".
📍 В Огайо Meta строит один из крупнейших кластеров для обучения ИИ в мире — Prometheus (1 ГВт потребления).
📍 В Луизиане — Hyperion, цель к 2027 году: 2 ГВт. Всё на базе NVIDIA и собственных газовых турбин. Без дизеля — умная система охлаждения + временные тентовые ЦОДы, которые ставятся за месяцы.
🚫 Что пошло не так в прошлой попытке Llama‑гиганта:
- плохая реализация chunked attention
- сбои в expert choice routing
- низкое качество данных
- плохая координация масштабирования
Теперь Meta берёт в расчёт всё: вычисления, инфраструктуру, данные и кадры. Ставка — на абсолютное лидерство в суперИИ.
Война моделей — это уже не про параметры, а про ГигаВатты.
*Meta признана экстремистской и запрещена в России.
📌 Подробнее
@data_analysis_ml
🎓 Machine Learning Visualized — лучший способ понять, как работает ML *на самом деле*
Обычно машинное обучение учат по формулам или просто вызывают
fit(). Но если ты хочешь увидеть, как алгоритмы учатся шаг за шагом, — этот проект создан для тебя.
🔍 Что это:
Открытый Jupyter Book с интерактивными ноутбуками, в которых:
- Алгоритмы реализованы «с нуля» на NumPy
- Каждый шаг визуализирован: потери, веса, градиенты, границы решений
- Можно изменять параметры и наблюдать, как это влияет на обучение
📘 Темы:
- Градиентный спуск
- Логистическая регрессия
- Перцептрон
- K‑Means и PCA
- Обратное распространение в нейросетях
🧠 Полезно:
- Если ты изучаешь машинное обучение и хочешь понять, что происходит внутри моделей
- Если преподаёшь ML и ищешь понятные наглядные материалы
- Если хочешь объяснить ML-процессы коллегам без магии
🚀 Запуск:
git clone https://github.com/gavinkhung/machine-learning-visualized
cd machine-learning-visualized
./download_notebooks.sh
jupyter-book build .
Хотите освоить Python с экспертами НИУ ВШЭ и начать путь в аналитику?
Онлайн-магистратура «Аналитика больших данных» запускает бесплатный интенсив по Python и аналитике. 4 вечера, чтобы разобраться с базовыми инструментами анализа данных и решить свои повседневные задачи.
Что вас ждёт:
— 4 онлайн-занятия: от синтаксиса Python до работы с таблицами и визуализации
— Практические примеры и мини-кейсы
— Домашки и пошаговые материалы на Stepik для отработки навыка
Когда: 15–19 июля, 19:00 (по МСК)
Формат: онлайн + чат с преподавателем
Если давно хотели разобраться с Python, это удобная точка входа с экспертной поддержкой и ценными знаниями.
🔗 Зарегистрироваться
🎮 Инженеры X (команда Илона Маска) сделали рабочую игру 3D-FPS за 4 часа с помощью Grok 4
Разработчик из xAI, Дэнни Лимансета, собрал шутер от первого лица всего за 4 часа, используя Grok 4 — LLM от команды Илона. Модель помогла с кодом, импортом ассетов, базовой логикой и генерацией окружения.
🛠 Что внутри:
— 3D-персонаж и базовое перемещение
— Импорт моделей и текстур из сети
— Логика стрельбы, здоровье, базовый UI
— Всё собрано в одном пайплайне с помощью Grok 4
💬 Реакция комьюнити на Reddit:
> “Это неплохо для 4 часов, но опытный геймдев сделал бы не хуже без ИИ.”
> “Я такое соберу вручную за пару часов с ассетами.”
🔗 Пост
@data_analysis_ml
🦉 Как CAMEL-AI автоматизировали построение графиков с помощью Gemini 2.5 Pro
Команда CAMEL-AI показала, как связала свою систему агентов OWL с моделью Gemini 2.5 Pro, чтобы всё делалось само: от поиска данных до готового графика.
Что делает агент:
1. Ищет нужную информацию (например, бенчмарки ИИ-моделей)
2. Кратко объясняет, что в ней важного
3. Пишет Python-код для графика
4. Строит график и сохраняет и код, и изображение
💡 Всё это происходит по простому текстовому запросу — прямо в браузере через готовый интерфейс.
Почему это круто:
— Не нужно писать код самому
— Система сама выбирает нужные шаги
— Всё работает в одном окне: и модель, и инструменты, и визуализация
— Можно подключать любые API и расширять под себя
📌 Подробнее
+3
🛠Вышла новая модель от Mistral — Devstral‑Small‑2507
Это обновлённая версия модели для работы с кодом.
Поддерживает 128k токенов, работает локально и показывает рекордные результаты среди открытых моделей.
Что нового:
• 53.6% на SWE‑Bench Verified
• Поддержка function calling, XML и промтов для код‑агентов
• Запускается на 1×RTX 4090 или Mac с 32 GB ОЗУ
• Apache 2.0
• Доступна через Ollama, LM Studio, Hugging Face, vLLM
Тарифы API:
$0.1 за миллион входных токенов
$0.3 за миллион выходных
Подходит для:
— Автоматизации правок и генерации тестов
— Интеграции в IDE и агенты
— Анализа больших проектов
🔗 Модель: https://huggingface.co/mistralai/Devstral-Small-2507
🚀 Fine-tuning LLM с помощью RL — это несложно!
Вот минимальная реализация GRPO/PPO для Qwen3 на JAX — всего ~400 строк кода от начала до конца.
Что внутри:
- GRPO (Gradient-Regularized PPO) и PPO, реализованные с нуля
- Поддержка Qwen3, open LLM от Alibaba
- JAX-first подход: чистый, модульный и легко читаемый код
- Простая архитектура для быстрого ресёрча и экспериментов
Особенности:
- Без лишней магии и абстракций — всё прозрачно
- Минимум зависимостей
- Отличный старт для тех, кто хочет разобраться в LLM+RLHF
Подходит для:
- Исследователей, изучающих RL на языковых моделях
- Разработчиков, которые хотят понять PPO руками
- Всех, кто хочет обучать LLM «по-честному»
🧠 Хочешь разобраться в fine-tuning LLM через RLHF — начни с этого простого и понятного репозитория!
📦 Репозиторий: https://github.com/kvfrans/lmpo
🔥 Новый инструмент на Hugging Face: **AllTracker**
AllTracker — это open-source модель для плотного отслеживания всех точек в видео. В отличие от классических подходов, она умеет отслеживать пиксели даже на больших временных расстояниях и при высоком разрешении (до 1024×768).
Что умеет:
- Отслеживает движение всех точек (dense point tracking)
- Работает быстро и точно на видеороликах высокого качества
- Подходит для компьютерного зрения, motion analysis и видеоредактирования
В репозитории:
- Готовые веса модели (`.pth`)
- Мини-версия для быстрой инференции
- Демо-приложение на Gradio прямо в браузере: загрузи видео, кликни точку — и смотри, как она движется по кадрам
Используй для:
- Анализа движения
- Видеомонтажа с отслеживанием
- Исследований в области CV
model: https://huggingface.co/aharley/alltracker
demo: https://huggingface.co/spaces/aharley/alltracker
@data_analysis_ml
👩💻 Всем программистам посвящается!
Вот 17 авторских обучающих IT каналов по самым востребованным областям программирования:
Выбирай своё направление:
👩💻 Python — t.me/python_ready
🤔 InfoSec & Хакинг — t.me/hacking_ready
🖥 SQL & Базы Данных — t.me/sql_ready
🤖 Нейросети — t.me/neuro_ready
👩💻 C/C++ — https://t.me/cpp_ready
👩💻 C# & Unity — t.me/csharp_ready
👩💻 Linux — t.me/linux_ready
📖 IT Книги — t.me/books_ready
👩💻 Frontend — t.me/frontend_ready
📱 JavaScript — t.me/javascript_ready
👩💻 Backend — t.me/backend_ready
📱 GitHub & Git — t.me/github_ready
👩💻 Java — t.me/java_ready
👩💻 Весь IT — t.me/it_ready
👩💻 Bash & Shell — t.me/bash_ready
🖼️ DevOps — t.me/devops_ready
🖥 Design — t.me/design_ready
📌 Гайды, шпаргалки, задачи, ресурсы и фишки для каждого языка программирования!
Repost from Machinelearning
+1
🚨 Grok 4 — новая мощная модель от xAI
📊 Лидер на бенчмарках:
- Решает математику AIME25 на 100% — не ошиблась ни в одной из самых сложных задач
- ARC-AGI-2: 15.9% против 8.6% у прошлых лидеров — почти в два раза выше, чем у Claude 4 Opus.
🧠 Главное достижение — Humanity’s Last Exam:
- С максимальными ресурсами и включённой поддержкой внешних инструментов — 44.4% (а на текстовой части даже 50.7%).
- Даже без внешних инструментов — всё ещё лучше всех: 25.4%, у ближайшего конкурента (Gemini 2.5 Pro) — 21.6%.
- Почти половина презентации была посвящена именно этому тесту.
🛠 Что под капотом:
- Архитектура — та же, что у Grok 3.
- Изначально это должна была быть версия Grok 3.5, но решили увеличить объём обучения.
- На стадию логического обучения (reasoning) потратили в 10 раз больше ресурсов.
- Теперь объём дообучения через RL (reinforcement learning) сопоставим с основным обучением.
- Важно: теперь модель сразу обучают использовать внешние инструменты во время RL, как это делают в OpenAI (в o3 и o4-mini).
📉 Слабые места:
- Мультимодальность пока на слабом уровне: большинство тестов — чисто текстовые, и на HLE модель показывает просадку.
- Маск пообещал, что в следующей версии это исправят.
📏 Контекст увеличили до 256k токенов.
💬 API уже запущен:
- Стоимость — как у Grok 3 и Claude Sonnet.
- Но из-за "разговорчивости" на практике модель по цене ближе к Claude Opus.
- Grok 4 Mini не выпустили — жаль, ведь Grok 3 Mini была отличной за свою цену.
🏭 Инфраструктура xAI растёт стремительно:
- Через 3–4 недели стартует тренировка видеомодели на 100k+ GPU GB200.
- В июне компания привлекла $10 млрд: половина — инвестиции, половина — в долг.
- В планах — новое расширение дата-центра Colossus.
📌 Grok 4 — это не просто обновление, а важный шаг вперёд в развитии reasoning-моделей и интеграции с внешними возможностями.
Тестим здесь.
@ai_machinelearning_big_data
#grok
+4
Google DeepMind расширяет линейку своих моделей Gemma
Представлены две новинки:
✔️ T5Gemma — новая жизнь для классической архитектуры encoder-decoder от Google DeepMind
Большинство современных LLM используют архитектуру *decoder-only*, но Google решила напомнить о силе классической схемы *encoder-decoder*, особенно эффективной в задачах вроде перевода, и QA.
Это новая линейка LLM, в которой уже обученные модели Gemma 2 (decoder-only) превращаются в мощные encoder-decoder через метод адаптации. Такой подход даёт сразу два бонуса:
- сохранение знаний из Gemma 2;
- гибкость и эффективность encoder-decoder архитектуры.
Особенности:
- Обновлённая версия Gemma 2 с архитектурой encoder-decoder.
- Отличный баланс между качеством и скоростью инференса (по сравнению с decoder-only).
- Доступны чекпойнты: Small, Base, Large, XL, 2B-2B, 9B-9B, 9B-2B.
- Достигает большей точности, не жертвуя временем инференса.
- Открывает путь к “небалансным” конфигурациям, когда, например, энкодер мощный, а декодер компактный.
✔️ MedGemma — открытые мультимодальные модели для медицины от Google DeepMind
🟡 MedGemma 4B Multimodal
- 64.4% на MedQA — одна из лучших моделей в классе <8B.
- В слепом тесте: 81% отчётов по рентгенам, сгенерированных MedGemma 4B, были признаны квалифицированным рентгенологом достаточно точными для принятия медицинских решений.
- Также показывает SOTA-уровень на задачах медицинской классификации изображений.
🟢 MedGemma 27B (Text + Multimodal)
- 87.7% точности на MedQA — почти как у DeepSeek R1, но в 10 раз дешевле по инференсу.
- Конкурирует с гораздо более крупными моделями на задачах:
- Определение диагноза;
- Интерпретация ЭМК (электронных медкарт);
- Комбинированное понимание текста и изображений.
Открытые модели — можно кастомизировать, дообучать и использовать локально.
🟡T5gemma: https://developers.googleblog.com/en/t5gemma/
🟡MedGemma: https://research.google/blog/medgemma-our-most-capable-open-models-for-health-ai-development/
#GoogleDeepMind #ai #ml #llm #med
🧠 Хочешь сделать свой ИИ-стартап? Начни с базы!
Microsoft запустила бесплатный курс по MCP — это про то, как подключать нейросети к реальным приложениям: сайтам, чатам, бэкендам и не только.
📚 Что внутри:
• 11 модулей с теорией и практикой
• Примеры кода на разных языках
• Всё можно пройти на русском
Идеально, если хочешь научиться использовать ИИ не на уровне «поиграться», а реально внедрять.
👉 Курс бесплатный — забираем здесь
ML-инженеры, какая встреча!
19 июля в Москве снова пройдет Turbo ML Conf от группы Т-Технологий. В этом году — еще масштабнее!
В программе 5 тематических потоков, продовые кейсы и технологии.
Среди спикеров — эксперты Т-Банка, Сбера, Яндекса и других ведущих специалистов.
Будет много нетворкинга, прикладные доклады, настольные игры, лимитированный мерч. Участие бесплатное.
Успейте оставить заявку
🎯 Hugging Face показал, как ускорить обучение мультимодальных моделей, устранив главное узкое место — неэффективную загрузку данных.
Они представили Multimodal Data Pipeline (MMDP) — мощный, но простой пайплайн, который решает проблему простоя GPU из-за паддинга и медленного I/O.
Вот как это работает:
1. Визуализация данных — сначала анализируются длины текстов и структура мультимодальных примеров.
2. Constrained Padding — вместо бездумного паддинга, обрезаются аномально длинные примеры.
3. Packing как bin-packing — батчи собираются по максимальному числу токенов, а не по фиксированному количеству примеров.
4. Multimodal-aware batching — учитывается и число изображений в батче.
5. ConstantLengthDataset — кастомный класс с producer-consumer очередями и плотной упаковкой без паддинга.
💡 Результат — более плотные батчи, меньше токенов вхолостую, выше эффективность обучения.
Исходники и туториал:
📌 https://huggingface.co/blog/mmdp
📌 https://github.com/ariG23498/mmdp
Если ты тренируешь VLM или LLM с изображениями — это must-have.
@data_analysis_ml
🧠 Hugging Face представили SmolLM-3B — компактную и мощную open-source LLM на 3 млрд параметров, которая работает *прямо на ноутбуке*.
📦 Особенности:
• Тренирована на 1T токенов (RefinedWeb + книги + код + академические тексты)
• Обгоняет Mistral-7B и LLaMA-3 8B на многих задачах
• Работает в GGUF, поддерживается LM Studio, Ollama, LM Deploy и др.
💡 Зачем это нужно?
SmolLM — не про SOTA, а про локальные сценарии: быстрый запуск, приватность, низкие требования к железу.
📁 Репозиторий и демо:
https://huggingface.co/blog/smollm3
@data_analysis_ml
+3
🚀 Новинка от Hugging Face — FineWeb‑2: огромный высококачественный веб‑датасет на базе CommonCrawl!
📊 Основные характеристики:
- ~8 ТБ сжатого текста (~3 трлн слов) из 96 дампов CommonCrawl (2013–2024)
- Более 1000 языков и почти 1900 языковых-скриптовых пар
- Высокое качество: извлечён только основной текст, проведена фильтрация и дедупликация
- Лицензия ODC‑By 1.0 — можно использовать в коммерческих и исследовательских целях
📝 Зачем это нужно:
- Даёт открытому ИИ доступ к качеству, сравнимому с закрытыми наборами (как у LLaMA 3 или Mixtral)
- Существенно улучшает результаты на бенчмарках вроде MMLU и ARC, особенно при обучении с FineWeb‑Edu
🔧 Где применить FineWeb‑2:
- Обучение LLM с нуля
- Дообучение на редких языках
- Синтетическая генерация, RAG и пр.
📥 Скачать: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2
Первый открытый Call for Papers на IT Elements 2025 — last call!
10–11 сентября ИТ-сообщество традиционно соберется на большой осенней конференции для тех, кто делает ИТ в России. Готовьтесь к новым трекам, новым спикерам и новой грандиозной площадке!
Если у вас есть сильный кейс, нестандартный опыт или нешаблонное решение — пришло время предложить свой доклад. Главное требование — экспертность и новизна темы.
Рассматриваются доклады по ключевым направлениям:
▪️ИТ-инфраструктура
▪️Сетевые решения
▪️Кибербезопасность
▪️Прикладные решения, AI и ML
Станьте главным элементом IT Elements 2025!
Узнать больше и подать заявку можно до 20 июля.
+5
🧠 Energy-Based Transformers — модель, которая умеет думать, а не просто угадывать
Новая архитектура EBT (Energy-Based Transformers) показывает, что трансформеры можно сделать умнее и универсальнее.
Что делает EBT:
- 📊 Лучше классических трансформеров (включая Transformer++) по всем параметрам: данные, глубина, количество параметров, вычисления
- ⏱ При "долгом размышлении" даёт +29% прирост качества на тестах
- 🌍 Отлично работает с любыми типами данных: текст, видео, звук, 3D и др.
- 🧠 Умеет обобщать — справляется с новыми задачами без дообучения
- ❌ Не нуждается в наградах (как в reinforcement learning)
Почему это важно:
EBT — это шаг к ИИ, который способен реально *думать*, а не просто воспроизводить шаблоны. Он не просто быстрее, он глубже понимает, что делает.
Website: https://energy-based-transformers.github.io
Paper: https://arxiv.org/abs/2507.02092
@data_analysis_ml
