Анализ данных (Data analysis)
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
Показати більше📈 Аналітичний огляд Telegram-каналу Анализ данных (Data analysis)
Канал Анализ данных (Data analysis) (@data_analysis_ml) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 50 179 підписників, посідаючи 2 677 місце в категорії Технології та додатки та 12 565 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 50 179 підписників.
За останніми даними від 15 червня, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на -8, а за останні 24 години на 25, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 8.82%. Протягом перших 24 годин після публікації контент зазвичай збирає 5.98% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 4 427 переглядів. Протягом першої доби публікація в середньому набирає 2 999 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 30.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як llm, контекст, openai, архитектура, deepseek.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
Завдяки високій частоті оновлень (останні дані отримано 16 червня, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
# Clone the repository
git clone https://github.com/bowang-lab/BioReason.git
cd BioReason
# Install package
pip install -e .
🔗 GitHub: https://github.com/bowang-lab/BioReason
📄 Статья: https://arxiv.org/abs/2406.02491
@data_analysis_mldit.py — архитектура DiT
- dit_components.py — эмбеддинги, нормализация, вспомогательные блоки
- attention.py — совместное внимание (Joint Attention)
- noise.py — планировщик шума
- t5_encoder.py, clip.py — текстовые энкодеры
- tokenizer.py — токенизация
- metrics.py — Fréchet Inception Distance
- common.py, common_ds.py — функции и датасет для обучения
📦 Структура:
- model/ — чекпоинты и логи
- encoders/ — предобученные модули (VAE, CLIP и др.)
🛠 Подходит для:
• обучения и экспериментов
• хакинга архитектур
• кастомной тренировки без головной боли
🚀 Если хотите понять, как собрать Stable Diffusion 3.5 "на коленке" — miniDiffusion создан именно для этого.Cross-Layer Transcoders выжимают из модели разреженные признаки, которые объясняют работу MLP-слоев. Визуализируют это через графы атрибуции — это карты влияния признака на выход модели.Натренировали на 100M токенов из FineWeb, получили ~590K признаков. Точность CLT-реплики модели составила 59%, что близко к оригинальным статьям. Тестировали на задаче сравнения чисел («больше, чем»), идеальном полигоне, где уже известны ключевые механизмы.
Задача "Больше, чем" (ориг. "greater-than") взята из статьи Michael Hanna, она заставляет предсказывать большие числа для второго года в диапазоне дат.▶️ Главный эксперимент: Промпт «The war lasted from the year 1711 to 17». CLT построил граф, где признаки с токена «11» (последняя цифра года) активнее всего влияли на предсказание. Дальше, выделили топ-160 признаков, для каждого построили логит-атрибуции — теплокарты, показывающие, как признак влияет на выходные годы (ZZ) при разных входных (YY). ▶️ Что нашли: 🟢Признаки «больше, чем»: Feature 425104 (слой 8) активируется на больших числах в хронологии (даты, войны). Но его теплокарта продвигает выходы >60, независимо от входа, а вот Feature 461858 работает только для YY=6–14 и продвигает ZZ=10–30. Похоже, CLT подсветил кучу узкоспециализированных «сравнивателей», а не универсальные нейроны, как в ручных исследованиях. 🟢Сюрпризы: Feature 399423 — вообще не про числа. Он кодирует четность и контраст: активируется на «and» в «pros and cons», а в задаче продвигает четные ZZ при нечетных YY. Абстракция уровня «противоположность» — такого в прошлых работах не видели. 🟢Странности: Feature 402486 вообще саботирует задачу: продвигает малые числа. Или Feature 349410 — работает только для YY=11, хотя ее max-активации показывают числа до 30. ▶️ Выводы: CLT автоматически находит интерпретируемые признаки, даже такие неочевидные, как абстрактная четность. Но их «разреженный» мир выглядит иначе, чем ручная трассировка цепей: тут больше узких признаков-«спецов» (Feature 461858 для диапазона 10–30) и меньше универсальных механизмов. Возможно, дело в методе: CLT смотрит изолированные вклады фич, а в полной модели они взаимодействуют. В общем, эксперименты с CLT показал, что под капотом языковых моделей не только четкие «сравниватели чисел», но и куча скрытых паттернов вроде детекторов контраста или любителей чисел, кратных 5. И да, полуавтономный анализ иногда видит то, что люди упускают. 🔜 Читать полную статью @ai_machinelearning_big_data #AI #ML #LLM #Research #CLT
pip install --extra-index-url=https://pypi.nvidia.com cuopt-server-cu12==25.5.* cuopt-sh==25.5.*
📈 Результат — решения почти в реальном времени, даже для сложных задач.
👉 Попробуй
Вже доступно! Дослідження Telegram за 2025 — головні інсайти року 
