Анализ данных (Data analysis)
Kanalga Telegram’da o‘tish
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
Ko'proq ko'rsatish
📈 Telegram kanali Анализ данных (Data analysis) analitikasi
Анализ данных (Data analysis) (@data_analysis_ml) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 51 926 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 2 562-o'rinni va Rossiya mintaqasida 11 795-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 51 926 obunachiga ega bo‘ldi.
04 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 1 146 ga, so‘nggi 24 soatda esa 3 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 9.42% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 8.11% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 4 889 marta ko‘riladi; birinchi sutkada odatda 4 213 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 209 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent llm, контекст, openai, архитектура, deepseek kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 05 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
51 926
Obunachilar
+324 soatlar
+437 kun
+1 14630 kun
Postlar arxiv
🧠 Архитектурные фишки GPT-OSS: краткий разбор
gpt-oss — это MoE-трансформер в самом чистом виде. Минимум магии, максимум эффективности.
GPT-OSS использует передовые техники, собрав в себе лучшее из современных LLM:
1️⃣ Sliding Window Attention
📄 [arXiv:1901.02860](https://arxiv.org/abs/1901.02860)
Эффективное внимание для длинных контекстов без полной self-attention матрицы
2️⃣ Mixture of Experts (MoE)
📄 [arXiv:2101.03961](https://arxiv.org/abs/2101.03961)
Активация только части слоёв — масштаб + эффективность одновременно
3️⃣ RoPE + YaRN
📄 [arXiv:2309.00071](https://arxiv.org/abs/2309.00071)
Комбинация Rotary Embeddings с расширением контекста до 128K+
4️⃣ Attention Sinks
📄 [arXiv:2309.17453](https://arxiv.org/abs/2309.17453)
Стабильное стриминг-внимание для генерации в реальном времени
ПО итогу gpt-oss: - это максимально “стандартный” MoE-трансформер — и это неплохо
Модель собрана без лишних выкрутасов, но включает всё, что действительно работает. Вот несколько деталей:
🔹 Attention sinks (a.k.a. регистры) — помогают сохранить информацию между токенами
🔹 Sliding window attention — применяется через слой
🔹 YaRN — расширение контекста (до 128K)
🔹 RMSNorm без bias'ов
🔹 ❌ Нет QK normalization, ❌ нет attention softcap
⚙️ GPT-OSS — это не просто open-source альтернатива, а тщательно собранный набор проверенных инноваций для высокой скорости, длинного контекста и производительности на inference.
— GPT-OSS-120B
— GPT-OSS-20B
@data_analysis_ml
🔍 Как трансформеры меняют область NLP и что стоит за LLM?
На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с принципами работы трансформерных моделей и их применением в современных технологиях.
Это откроет вам доступ к самым актуальным методам NLP и поможет стать востребованным специалистом в Data Science.
🚀 Регистрируйтесь и получите скидку на курс «NLP / Natural Language Processing»: https://otus.pw/Jnvy/?erid=2W5zFK5eMyz
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🔥 Google представила новую игровую платформу для состязания искусственных интеллектов в стратегиях — начинается захватывающий чемпионат по шахматам между нейросетями! Сегодня стартовала онлайн-трансляция турнира, участие в котором принимают сразу восемь сильных претендентов, среди них модели o4-mini, Grok 4 и Claude Opus 4.
Каждый вечер зрителей ждут новые интригующие поединки, а финальный матч состоится уже 7 августа. Следите за ходом чемпионата и болейте за своего фаворита!
📌 Ссылка на стрим
@data_analysis_ml
Repost from Machinelearning
🔥 Новые модели OpenAI нашли в релизе Transformers 4.55
GPT-OSS — долгожданysq опенсорс для продвинутого reasoning и агентных задач.
🧠 Представленно два варианта:
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!)
💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4), что обеспечивает быстрое и дешёвое инференс-время (активны только 3.6B и 5.1B параметров).
✔️ Особенности:
• Архитектура Token-choice MoE с SwiGLU
• Контекст до 128K токенов с RoPE
• Чередуются full-attn и sliding-window слои
• Модель хорошо работает с CoT (chain-of-thought)
• Поддержка instruction-following и tool-use
• Совместима с transformers, vLLM, llama.cpp, ollama
• Используется тот же токенизатор, что и в GPT-4o
• Открытая лицензия Apache 2.0 (есть небольшое policy-дополнение)
Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-сценариев.
📎 Пример кода инференса уже доступен — достаточно 16GB GPU с mxfp4!
🏴☠️Лицензирование: Apache 2.0
https://github.com/huggingface/transformers/releases/tag/v4.55.0
@ai_machinelearning_big_data
#openai #opensource #chatgpt
💡 GPT-5 получит встроенный детектор галлюцинаций. OpenAI разрабатывает новую архитектуру для GPT-5 с модулем Universal Verifier, который будет проверять каждое утверждение модели на достоверность. Источники The Information сообщают, что это значительно снизит количество ошибочных ответов.
Следующая версия модели, по слухам, будет обладать адаптивным распределением вычислительных ресурсов: модель сама будет выбирать, сколько мощности выделить на задачу. Также обещают улучшенную генерацию кода и способность решать сложные пользовательские проблемы, например, взаимодействие со службами поддержки.
🔗 Ссылка - *клик*
@data_analysis_ml
🧠**ИИ открыл новые законы физики — понятным языком**
Учёные из Университета Эмори (США) дали ИИ задачу не «угадывать результаты», а самому вывести формулы. Вот что получилось.
🔍 Что исследовали
- Пыльная плазма — это горячий ионизированный газ, в котором летают микроскопические пылевые частицы.
- Частицы отталкиваются и притягиваются сложным образом; классическая теория не всё объясняла.
🧠 Как работал ИИ
- Ему показали короткие 3-D видеозаписи движения частиц (маленький датасет).
- В алгоритм заранее «вшили» базовые принципы: сопротивление воздуха, гравитацию.
- ИИ искал уравнения, которые лучше всего описывают траектории.
📈 Что открыл
- Нереципрокные силы: сила от A к B ≠ сила от B к A. Раньше про них только догадывались.
- Исправил старую ошибку: заряд частицы зависит от её размера иначе, чем считали.
- Показал, как быстро затухают взаимодействия с расстоянием — формула тоже обновилась.
🚀 Почему это важно
- Малый объём данных: хватает секундных видеороликов.
- Обычный ПК: нужен лишь настольный компьютер, не суперкомпьютер.
- Метод переносится на любые «многие частицы» — от порошковых материалов до клеток в биологии.
Вывод: ИИ уже способен не только анализировать данные, но и выводить новые законы природы. Скорость открытий растёт экспоненциально.
https://interestingengineering.com/innovation/ai-decodes-dusty-plasma-new-forces-physics
@data_analysis_ml
🚀 GitHub решил главную боль open-source ИИ-проектов — теперь inference доступен всем
Новая инициатива GitHub Models позволяет запускать LLM прямо из кода или CI,
⚡️ без API-ключей OpenAI, без развёртывания моделей, без костылей.
🔧 Как это работает:
- Полная совместимость с
openai.ChatCompletion.create
- Поддержка GPT‑4o, Llama 3, DeepSeek и др.
- Авторизация через обычный GITHUB_TOKEN
- Бесплатно для OSS и личных аккаунтов
- Можно использовать даже в GitHub Actions (просто `permissions: models: read`)
💡 Зачем это нужно:
- Убирает барьер входа для пользователей и контрибьюторов
- Помогает легко добавлять ИИ‑фичи в open-source проекты
- Работает с OpenAI SDK, LangChain, Python, Node.js и другими библиотеками
📦 Теперь запускать AI в open-source так же просто, как git push.
📝 Подробности:
https://github.blog/ai-and-ml/llms/solving-the-inference-problem-for-open-source-ai-projects-with-github-models
🚀 Hugging Face Jobs — полностью автоматический способ запускать CPU и GPU задачи прямо из CLI или Python-скриптов ⚡
Вам не нужно искать железо или настраивать окружение — просто запускайте скрипт, экспериментируйте и стройте свои проекты!
📦 Запускается очень просто:
hf jobs run python:3.12 python -c "print('Hello from the cloud!')"
+7
⚡ NVIDIA показала 7 простых «приемов» на Python, которые мгновенно ускоряют Data Science-пайплайны — без переписывания кода.
🔹 В чём идея?
Многие привычные библиотеки (pandas, NumPy, scikit-learn) можно заменить их GPU-версией, сохранив API.
Это даёт прирост скорости в десятки раз.
🟠 Drop-in замены в коде:
-
pandas → %load_ext cudf.pandas
- polars → .collect(engine="gpu")
- scikit-learn → %load_ext cuml.accel
- xgboost → device="cuda"
- umap → %load_ext cuml.accel
- hdbscan → %load_ext cuml.accel
- networkx → %env NX_CUGRAPH_AUTOCONFIG=True
🚀 Плюсы:
- Минимальные изменения кода (API почти идентичен).
- GPU-ускорение: от 10х до 100х быстрее на больших данных.
- Отлично подходит для ETL, ML и обработки сигналов.
Если ты работаешь с большими данными в Python, достаточно «заменить импорт» и получить колоссальный прирост скорости без боли и переписывания кода.
🚀 Подробнее: developer.nvidia.com/blog/7-drop-in-replacements-to-instantly-speed-up-your-python-data-science-workflows
🔧 Data-Juicer — универсальная система для обработки текстовых и мультимодальных данных, предназначенная для работы с foundation-моделями. Проект предлагает более 100 готовых операторов для очистки, анализа и синтеза данных, поддерживая сценарии предобучения и тонкой настройки моделей.
Data-Juicer уже интегрирован в платформу Alibaba PAI и позволяет обрабатывать миллиарды образцов данных за часы благодаря распределённым вычислениям через Ray. Для тестирования доступен облачный JupyterLab, а сообщество активно развивает рецепты обработки под разные задачи.
🤖 GitHub
@data_analysis_ml
+6
🧠 Что такое "векторы персональности" в ИИ — и зачем они нужны?
Языковые модели иногда ведут себя странно: могут льстить, врать или даже угрожать. Почему? Потому что их "характер" формируется внутри нейросети — и до сих пор был чёрным ящиком.
Anthropic предложила решение: persona vectors — векторы персональности. Это нейронные шаблоны, которые отвечают за конкретные черты модели:
например, *льстивость*, *галлюцинации*, *злобность*.
Что можно с ними делать:
✅ Отслеживать, когда модель "съезжает" в плохое поведение — прямо во время диалога.
✅ Фильтровать данные, которые формируют вредные черты ещё до начала обучения.
✅ Предотвращать появление токсичности — как прививка: немного “злобности” в безопасной форме делает модель устойчивой.
✅ Менять характер модели прямо во время работы: включить “юмор” или отключить “галлюцинации”.
🔬 Векторы находят автоматически: даёшь описание (например, “льстивый = говорит приятное, но неискренне”), и система сама находит нейронный паттерн.
А потом можно его вставить, убрать — и увидеть, как модель *буквально меняет личность*.
Это мощный шаг к тому, чтобы управлять характером ИИ, а не просто наблюдать за его капризами.
📄 Подробности — в свежей работе от Anthropic: https://www.anthropic.com/research/persona-vectors
@data_analysis_ml
#Anthropic #ml #ai #llm
+4
🚀 Шикарный ресурс для всех, кто хочет разобраться как работают модели Qwen3 : Qwen3 From Scratch
Это подробное пошаговое руководство по запуску и анализу моделей Qwen3 — от 0.6B до 32B — с нуля, прямо в PyTorch.
📌 Что внутри:
— Как загрузить модель Qwen3‑0.6B и предобученные веса
— Настройка токенизатора и генерация текста
— Поддержка reasoning-версии модели
— Трюки для ускорения инференса: компиляция, KV-кеш, батчинг
📊 Автор также сравнивает Qwen3 с Llama 3:
✔️ Глубина vs ширина модели
✔️ Производительность на разном железе
✔️ Как ведут себя модели 0.6B, 1.7B, 4B, 8B, 32B
⚡ Идеально, если хочешь разобраться, как устроен inference, токенизация и архитектура Qwen3 — без магии и чёрных ящиков.
🖥 Github
@data_analysis_ml
+1
🚨 ANTHROPIC ОТКЛЮЧИЛА OPENAI ОТ ДОСТУПА К CLAUDE
> Anthropic отозвала доступ OpenAI к API своих моделей Claude
> Заявление: “Технические сотрудники OpenAI использовали наши инструменты для программирования перед запуском GPT-5”
> “К сожалению, это прямое нарушение условий использования”
🔥 Кажется, война ИИ-компаний вышла на новый уровень.
@data_analysis_ml
#GPT5 #openai #ANTHROPIC
+3
🚀 MixGRPO от Tencent — теперь в открытом доступе! Новый подход к обучению моделей по человеческим предпочтениям
🔧 Что нового и крутого:
1⃣ Первый фреймворк с гибридным семплированием ODE+SDE — меньше шагов, меньше вычислений
2⃣ До 71% быстрее обучения (вариант MixGRPO‑Flash), при этом точнее и эффективнее, чем DanceGRPO
3⃣ Поддержка ускоренных ODE-решателей — ещё выше скорость без потери качества
4⃣ Работает как с диффузионными, так и с flow-based моделями — требует всего несколько итераций
🔗 Проект: https://tulvgengenr.github.io/MixGRPO-Project-Page/
📦 Код и модели: https://github.com/Tencent-Hunyuan/MixGRPO
📄 Статья: https://arxiv.org/abs/2507.21802
@data_analysis_ml
👾 DreamScene – новый end-to-end фреймворк для генерации высококачественных, редактируемых 3D-сцен по текстовому описанию!
🔹 Scene Planning: GPT-4 автоматически определяет объекты и их пространственные связи для построения гибридного графа.
🔹 Graph-based Placement: алгоритм обеспечивает структурированный компоновку без пересечений.
🔹 Formation Pattern Sampling: многошаговая семплинг-оптимизация генерирует реалистичную геометрию объектов.
🔹 Progressive Camera Sampling: адаптивная стратегия рендеринга для любых локаций — от интерьеров до открытых пространств.
🔹 Финетюнинг и редактирование: перемещение объектов, изменение внешнего вида и анимация 4D-движений.
Узнайте больше и попробуйте демо → https://huggingface.co/papers/2507.13985
#AI #3D #TextTo3D #DeepLearning #DreamScene
✨ FLUX Krea — дистиллированная опесноср версия модели Krea‑1, полностью совместимая с экосистемой FLUX.
📸 Модель собрана с упором на эстетику, чтобы устранить типичную проблему «AI-эффекта» в изображениях.
💎 В отличие от моделей, обученных на гигантских сырых датасетах, FLUX.1 Krea обучалась на вручную отобранных и высококачественных данных — ради максимального качества и реалистичности.
🖌 Поддерживает image prompts, кастомные стили и другие настройки.
Вы можете:
• протестировать её бесплатно тут: https://krea.ai
• или скачать веса и запускать на своём оборудовании.
🎨 Доступна в основном генераторе изображений Krea — попробуйте прямо сейчас.
🔗 Поробовать : https://krea.ai
🔗 HF: https://huggingface.co/black-forest-labs/FLUX.1-Krea-dev
🔗Comfy Workflow - https://docs.comfy.org/tutorials/flux/flux1-krea-dev
@data_analysis_ml
+1
🧠 Цукерберг запускает новый формат собеседований с ИИ-помощником прямо во время кодинга
🔥 Кандидатам теперь разрешено использовать AI во время интервью — компания Цукерберга тестирует формат, где:
— Кандидат пишет код
— Встроенный ИИ‑ассистент (на базе собственной LLM Meta) подсказывает, тестирует, даёт подсказки
— Рекрутер управляет сложностью задач и видит, как кандидат работает с подсказками
💡 Логи фиксируют, кто копирует всё подряд, а кто умеет управлять ИИ, писать спеки и проверять результат.
По словам Цукерберга, к концу 2026 года большая часть кода в компании будет писаться агентами уровня middle‑разработчика. Поэтому от новых сотрудников ждут другого: не тупо кодить, а:
✅ Проектировать архитектуру
✅ Писать точные спеки
✅ Отлаживать и дообучать ИИ‑модули
⚙️ Это уже не собеседование “на чистую голову” — это проверка умения работать вместе с ИИ. И будущее найма, похоже, будет именно таким.
📖 Источник: https://www.wired.com/story/meta-ai-job-interview-coding/
@data_analysis_ml
Ближе к индустрии: что изменилось в обучении IT-специалистов
Современные технологии меняются быстрее классических университетских программ. Но иногда выпускники оказываются асами в теории, а на практике руку еще не набили. В ответ на это появляются новые гибкие программы, в которых главное — работа с реальными кейсами и задачами.
Одна из таких — магистратура «Машинное обучение в цифровом продукте», созданная Факультетом компьютерных наук ВШЭ совместно с Авито. Ее цель — научить студента работать с ML как с продуктом, который решает задачи бизнеса.
Что внутри?
— много практики на реальных кейсах от Авито
— изучение полного продуктового цикла: от разработки ML-решений до их масштабирования
— синергия базовых дисциплин (MLOps, NLP, алгоритмы на Python) и предметов по выбору, например, компьютерного зрения и теории аукционов
— преподаватели — эксперты Факультета компьютерных наук ВШЭ и датасаентисты из Авито
— возможность пройти оплачиваемую стажировку в Авито с дальнейшим трудоустройством
Приём заявок на сайте ВШЭ продлится до 8 августа, потом всех кандидатов ожидает несколько этапов отбора. На программу зачислят 35 человек, обучение части из них профинансирует Авито.
+1
🧠 Цукербьерг запускает новый формат собеседований с ИИ-помощником прямо во время кодинга
🔥 Кандидатам теперь разрешено использовать AI во время интервью — компания Цукерберга тестирует формат, где:
— Кандидат пишет код
— Встроенный ИИ‑ассистент (на базе собственной LLM Meta) подсказывает, тестирует, даёт подсказки
— Рекрутер управляет сложностью задач и видит, как кандидат работает с подсказками
💡 Логи фиксируют, кто копирует всё подряд, а кто умеет управлять ИИ, писать спеки и проверять результат.
По словам Цукерберга, к концу 2026 года большая часть кода в компании будет писаться агентами уровня middle‑разработчика. Поэтому от новых сотрудников ждут другого: не тупо кодить, а:
✅ Проектировать архитектуру
✅ Писать точные спеки
✅ Отлаживать и дообучать ИИ‑модули
⚙️ Это уже не собеседование “на чистую голову” — это проверка умения работать вместе с ИИ. И будущее найма, похоже, будет именно таким.
📖 Источник: https://www.wired.com/story/meta-ai-job-interview-coding/
@data_analysis_ml
🚀 Вышел репозиторий к книге "Production Ready Data Science"
На GitHub выложили доступен полный код к книге — с примерами, датасетами и готовыми пайплайнами.
📘 В репозитории:
• Отдельные папки по главам
• Исполняемый код для каждого раздела
• Настоящие датасеты для практики
• Приёмы продакшн‑подготовки моделей
Идеально, чтобы учиться на практике и закреплять й DS-навыки.
🔗 https://github.com/production-ready-data-science/repo
