Анализ данных (Data analysis)
Open in Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
Show more
📈 Analytical overview of Telegram channel Анализ данных (Data analysis)
Channel Анализ данных (Data analysis) (@data_analysis_ml) in the Russian language segment is an active participant. Currently, the community unites 51 971 subscribers, ranking 2 572 in the Technologies & Applications category and 11 791 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 51 971 subscribers.
According to the latest data from 11 November, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 579 over the last 30 days and by 16 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 11.39%. Within the first 24 hours after publication, content typically collects 8.64% reactions from the total number of subscribers.
- Post reach: On average, each post receives 5 921 views. Within the first day, a publication typically gains 4 493 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 242.
- Thematic interests: Content is focused on key topics such as llm, контекст, openai, архитектура, deepseek.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
Thanks to the high frequency of updates (latest data received on 12 November, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
51 971
Subscribers
+1624 hours
+557 days
+57930 days
Posts Archive
🔥Готовы расширить свой стек и добавить востребованные инструменты NLP?
⚡Ждем вас на открытом уроке «Named Entity Recognition (NER): распознавание именованных сущностей» 5 августа в 20:00 мск
Мы расскажем, что такое NER, зачем это нужно и где применяется. Вы узнаете о подходах к решению этой задачи, метриках для оценки качества NER и увидите практические примеры для русского и английского языков.
Спикер Андрей Коняев — Consultant GenAI Machine Learning Engineering (Professional Research & Development Engineer I) в T-Systems International.
👉Для регистрации пройдите тест https://otus.pw/d54x/?erid=LjN8K9TCq
Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот.На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области, но еще не успели войти в большинство программ, так как были предложены совсем недавно.
🌟 Симуляция и рендеринг тканей в реальном времени
Симуляция и рендеринг тканей, особенно имеющих сложную структуру, в режиме реального времени довольно сложны и требуют больших затрат ресурсов. Исследование, представленное в рамках конференции SIGGRAPH 2024, было создано учеными из Шаньдунского и Нанкинского университетов в Китае с целью решить эту проблему при помощи нейросетей.
Плетеные ткани, как правило, имеют регулярно повторяющуюся структуру и рисунок. Существенное снижение нагрузки и уменьшение объема достигается за счёт автокодировщика – алгоритма, который кодирует паттерн этой структуры в латентный вектор с помощью энкодера, а затем расшифровывает декодером для получения реалистичного отображения.
Энкодер в нейронной сети отвечает за сжатие информации о форме объекта и его внешнем виде в латентный вектор. Для этого алгоритм сначала преобразует геометрическую структуру объекта и параметры его внешнего вида в числовые характеристики. Затем эти характеристики объединяются в один вектор через небольшую нейронную сеть, чтобы представить материал объекта в более компактном виде для дальнейшей обработки декодером.
Декодер же интерпретирует этот латентный вектор в изображение, сохраняя паттерн структуры и материал объекта.
Именно благодаря кодированию ткани в состояние латентного вектора нейросеть может отражать разные материалы, разделяя их, в отличие от некоторых других способов, требующих предварительного обучения под каждый тип материала.
Создатели представили ряд тестов, которые показали, что их инструмент способен в реальном времени рендерить ткани, а также редактировать параметры, такие как цвет, твёрдость, паттерн ткани и масштаб. В результате был достигнут баланс между качеством, скоростью и оптимальным использованием ресурсов компьютера.
🟡 Arxiv
@data_analysis_ml
+1
⚡️ Stability AI представляет Stable Video 4D — модель, которая позволяет генерировать разные ракурсы по загруженному видео
Stable Video 4D позволяет загружать 1 видео и получать видео с 8 новыми ракурсами.
🟡 Анонс Stable Video 4D
🟡 Статья
@data_analysis_ml
+1
⚡️ Prompt Guard 86M — модель для защиты LLM от эксплуатации в неэтичных целях
Prompt Guard — это модель классификатора, обученная на большом датасете из вредоносных промптов и джейлбреков;
Prompt Guard способна обнаруживать вредоносные промпты и попытки пользователя обойти защитные механизмы LLM.
Модель Prompt Guard полезна в качестве отправной точки для защиты LLM и приложений на их основе; для достижения максимальных результатов рекомендуется дополнительно тонко настроить Prompt Guard, исходя из своих рисков и пользователей LLM-приложения.
🤗 Hugging Face
@data_analysis_ml
+2
🌟 Ax — построение LLM-агентов на базе исследования Стэнфорда — DSP (demonstrate, search, predict)
—
npm install @ax-llm/ax
Ax позволяет несложно создавать интеллектуальных агентов, реализовывать бесшовную интеграцию с несколькими LLM и VectorDB для создания конвейеров RAG или агентов, способных решать сложные задачи.
🖥 GitHub
🟡 Доки
@data_analysis_ml
+4«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️
Если в 2024 году вы хотите:
— научиться выбирать стиль интеграции под вашу задачу;
— начать проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и других, + брокеры сообщений);
— узнать как правильно собирать требования и моделировать в UML;
— подготовиться к собеседованию, решив более 100 заданий;
— запустить свой API на Python.
Значит наш курс для вас!
🚀 Начните с открытых бесплатных
уроков — переходите в бот курса и жмите «Старт»
👇
@studyit_help_bot
🚀 Скидка на курс
от канала — 1 000₽ на Stepik по промокоду MLDATA3 до конца июля.
+3
🌟 Dive into Deep Learning — свободная книга от исследователей Amazon: Zhang, Li и других
Мощная книга, которая на 1108 страницах подробно описывает реализацию алгоритмов ML и Deep Learning с помощью PyTorch, NumPy/MXNet, JAX и TensorFlow.
По этой книге читаются лекции в 500 университетах 70 стран.
🟡 Dive into Deep Learning
🟡 PDF
🖥 GitHub с кодом к книге
@data_analysis_ml
🔥Слышали о модели BERT, но не знаете, как ее использовать? Хотите глубже погрузиться в область NLP и понять, что делает ChatGPT таким умным?
Представьте, что вы знаете, как дообучать предобученные трансформерные модели и эффективно решать самые разные NLP-задачи. Вы уверенно используете BERT на практике и понимаете, как эта модель совершила революцию в мире Natural Language Processing.
⚡Присоединяйтесь к открытому вебинару 29 июля в 18:00 мск и сделайте этот прыжок в будущее!
Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.
👉Регистрация - вступительный тест https://otus.pw/bT2A/?erid=LjN8KTEax
Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот.На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области.
+2
🌟 Optax — библиотека Python для более удобной работы с JAX
—
pip install optax
Optax — это библиотека от DeepMind, созданная для облегчения ML-экспериментов с JAX;
Optax предоставляет множество элементов, из которых можно собирать ML-приложения.
В частности, Optax содержит реализации многих оптимизаторов (таких как Adam) и функций потерь.
🖥 GitHub
🟡 Доки
🟡 Notebook
@data_analysis_ml
❓Сталкиваетесь с проблемами в поиске болей клиентов? Не знаете, как правильно проводить качественные и количественные исследования?
Чувствуете, что вам не хватает знаний для уверенной работы в аналитике?
✨Представьте, что вы умеете подготавливать гипотезы, проводить глубинные интервью и обрабатывать результаты. Вы уверенно используете карту эмпатии и кластеризацию для анализа данных.
Ваши навыки востребованы и вы становитесь незаменимым специалистом в своей компании.
Присоединяйтесь к открытому бесплатному вебинару 24 июля в 20:00 и сделайте этот прыжок в будущее!
Регистрируйтесь на вебинар прямо сейчас и прокачайте свои навыки аналитика: https://otus.pw/n0Bb/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KLto6
+2
🌟 SlowFast-LLaVA — метод повышения точности работы VLLM от Apple
Apple представляет SlowFast-LLaVA — метод, который позволяет добиться сравнимой или более высокой производительности по сравнению с видеомоделями SotA.
Эксперименты показывают, что SF-LLaVA превосходит существующие необучаемые методы на широком спектре задач, связанных с видео. В некоторых бенчмарках она достигает сравнимой или даже лучшей производительности по сравнению с современными VLLM, которые точно настраиваются на наборах видеоданных.
🟡 Arxiv
@data_analysis_ml
Repost from Machinelearning
⚡️ Llama-3.1: Обновление семейства моделей
Llama 3.1 - набор предварительно обученных и настроенных по инструкции генеративных моделей размером 8B, 70B и 405B (текст в тексте/текст на выходе). Модели Llama 3.1 с инструкциями (8B, 70B, 405B) оптимизированы для использования в многоязычных диалогах и превосходят многие из доступных моделей с открытым исходным кодом и закрытых моделей для чатов в распространенных отраслевых тестах.
Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В настроенных версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для согласования с предпочтениями человека в отношении полезности и безопасности.
▶️Доступные для скачивания модели LLaMa 3.1( полный список)
Pretrained:
Meta-Llama-3.1-8B
Meta-Llama-3.1-70B
Meta-Llama-3.1-405B
Meta-Llama-3.1-405B-MP16
Meta-Llama-3.1-405B-FP8
Fine-tuned:
Meta-Llama-3.1-8B-Instruct
Meta-Llama-3.1-70B-Instruct
Meta-Llama-3.1-405B-Instruct
Meta-Llama-3.1-405B-Instruct-MP16
Meta-Llama-3.1-405B-Instruct-FP8
Llama-Guard-3-8B
Llama-Guard-3-8B-INT8
Llama-Guard-2-8B
Llama-Guard-8B
Prompt-Guard-86M
▶️ Комментарии к версии 405B:
🟢MP16 (Model Parallel 16) - полная версия весов BF16.
Эти веса можно запустить только на нескольких нодах с использованием pipelined parallel инференса. Минимально требуется 2 ноды с 8 GPU.
🟢MP8 - полная версия весов BF16, но может быть развернута на одной ноде с 8 GPU с использованием динамического квантования FP8 (Floating Point 8).
🟢FP8 (Floating Point 8) - квантованная версия весов. Эти веса можно запустить на одной ноде с 8 GPU и с использованием статического квантования FP.
📌 Модель 405B требует примерно 750 ГБ и минимум двух нод (по 8 GPU) для инференса в MP16.
📌Загрузить модели можно с сайта Meta.Ai или с официальное репозитория на Huggingface Для скачивания нужно заполнить форму запроса доступа.
🟠UPD: Первая GGUF-версия на HF в Q8 уже появилась.
@ai_machinelearning_big_data
#AI #Llama3.1 #ML #LLM![🌟 ZenML — фреймворк для упрощения и стандартизации MLOps процессов — pip install "zenml[server]" notebook ZenML упрощает пер](data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDACgcHiMeGSgjISMtKygwPGRBPDc3PHtYXUlkkYCZlo+AjIqgtObDoKrarYqMyP/L2u71////m8H////6/+b9//j/2wBDASstLTw1PHZBQXb4pYyl+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj/wAARCAAoACYDASIAAhEBAxEB/8QAHwAAAQUBAQEBAQEAAAAAAAAAAAECAwQFBgcICQoL/8QAtRAAAgEDAwIEAwUFBAQAAAF9AQIDAAQRBRIhMUEGE1FhByJxFDKBkaEII0KxwRVS0fAkM2JyggkKFhcYGRolJicoKSo0NTY3ODk6Q0RFRkdISUpTVFVWV1hZWmNkZWZnaGlqc3R1dnd4eXqDhIWGh4iJipKTlJWWl5iZmqKjpKWmp6ipqrKztLW2t7i5usLDxMXGx8jJytLT1NXW19jZ2uHi4+Tl5ufo6erx8vP09fb3+Pn6/8QAHwEAAwEBAQEBAQEBAQAAAAAAAAECAwQFBgcICQoL/8QAtREAAgECBAQDBAcFBAQAAQJ3AAECAxEEBSExBhJBUQdhcRMiMoEIFEKRobHBCSMzUvAVYnLRChYkNOEl8RcYGRomJygpKjU2Nzg5OkNERUZHSElKU1RVVldYWVpjZGVmZ2hpanN0dXZ3eHl6goOEhYaHiImKkpOUlZaXmJmaoqOkpaanqKmqsrO0tba3uLm6wsPExcbHyMnK0tPU1dbX2Nna4uPk5ebn6Onq8vP09fb3+Pn6/9oADAMBAAIRAxEAPwDZpvzZ6inZpOtAC5HrUeGDbjLx/dwKU9ep/KlxxQABl/vA/jRSAHuP0ooEBzk8ClB9j+VOooGNJGeuKXtzSYPqKUdKAEX65/GilxRTELUZzuPBoooABnI4NHzc8UUUXGhRuz04ooooA//Z)
+1
🌟 ZenML — фреймворк для упрощения и стандартизации MLOps процессов
—
pip install "zenml[server]" notebook
ZenML упрощает перенос ML-пайплайнов из ноутбуков в продакшн-среду.
Обеспечивает гарантированную воспроизводимость экспериментов за счет версионирования данных, кода и моделей.
ZenML также позволяет быстро переключаться между локальной и облачной средой, предоставляет готовые инструменты для сравнения и визуализации параметров и результатов, кеширования состояний конвейера для быстрых итераций и многое другое.
🖥 GitHub
🟡 Google Colab
@data_analysis_ml
Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT.
На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков.
Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий.
А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика.
Начните свой путь в сфере аналитики данных — присоединяйтесь к программе.
Промокод АНАЛИТИК-10 даст дополнительную скидку 10% от цены курса.
Записаться: https://netolo.gy/dj9s
Реклама. ООО "Нетология". Erid 2VSb5yvacac
+2
🌟 Реализация диффузионной модели с архитектурой UNet на чистом CUDA
В этом репозитории приведена реализация модели UNet на чистом CUDA с подробным описанием всех шагов.
Цель этого проекта — создать диффузионную модель на CUDA и достичь производительности PyTorch; выбрана архитектура UNet как ключевая архитектура для диффузионных моделей
В итоге, готовая модель была обучена на изображениях слонов из ImageNet 64x64 и теперь вполне успешно их генерирует.
🖥 GitHub
@data_analysis_ml
ML: с чего начинается Data Science?
Приглашаем на открытый урок, где вы узнаете про область ML, которая лежит в основе Data Science и AI сегодня.
🔹Расскажем, чем оно отличается от классического программирования и какие в ML существуют типы задач.
✅ Практика: Решите первую задачу ML на языке Python
В результате урока вы обучите свою первую модель машинного обучения для решения задачи классификации рукописных цифр
Урок приурочен курсу «Специализация Machine Learning» от Otus.
👉 Регистрация и подробности:
https://otus.pw/krTC/?erid=LjN8JwL3N
📌Skforecast — библиотека для прогнозирования временных рядов
—
pip install skforecast
Skforecast — это библиотека Python, которая облегчает использование моделей регрессии от scikit-learn для прогнозирования временных рядов.
Skforecast также работает с любыми моделями регрессии, совместимыми с API scikit-learn (LightGBM, XGBoost, CatBoost...)
🖥 GitHub
🟡 Доки
🟡 Примеры использования
@data_analysis_ml
🔥В OTUS стартует курс "Machine Learning. Professional", обучение на котором позволит последовательно освоить современные инструменты анализа данных и на профессиональном уровне создавать модели машинного обучения.
Студенты курса выбирают самостоятельно темы выпускных работ, поэтому все выпускные проекты на курсе–это ценные исследования для ML.
⚡24 июля в 18.00 мск приглашаем на открытый урок курса "Популярные ML-методы для поиска выбросов в данных".
На занятии:
- разберем задачу поиска аномалий;
- изучим как с помощью методов ML можно очищать данные от выбросов;
- в теории разберем несколько алгоритмов и применим их на практике.
👉Регистрация https://otus.pw/GGwO/?erid=LjN8KHDLN
При поступлении в группу обучения возможны разные способы оплаты и рассрочка платежа
🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость
Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре.
Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных.
Xorbits предоставляет набор полезных библиотек для анализа данных и ML.
🖥 GitHub
🟡 Доки
@data_analysis_ml
+2
🌟 Metarank — open-source сервис ранжирования для создания персонализированного семантического поиска и рекомендательных систем
Metarank позволяет реализовать персонализированное ранжирование статей, объявлений, результатов поиска — в общем отлично подходит для создания рекомендательных систем
Быстрый старт с Docker:
docker run -i -t -p 8080:8080 -v $(pwd):/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz