Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 911 名订阅者,在 技术与应用 类别中位列第 2 581,并在 俄罗斯 地区排名第 11 797 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 911 名订阅者。
根据 16 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 444,过去 24 小时变化为 -8,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.63%。内容发布后 24 小时内通常能获得 8.47% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 040 次浏览,首日通常累积 4 397 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 192。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 17 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 911
订阅者
-824 小时
+27 天
+44430 天
帖子存档
❗️ Какие инструменты нужны для эффективного машинного обучения?
👉 Узнайте на бесплатном открытом уроке «Bagging, Random Forest, стекинг - ансамбли моделей для решения ML-задач» от OTUS и Марии Тихоновой – Senior Data Scientist в «SberDevices» и преподавателя ВШЭ.
🔹 На вебинаре узнаете, как применять ансамбли моделей для решения задач ML и изучите основные подходы к ансамблированию моделей
🔹 Разберем методы ансамблирования Bagging, Random Forest и стекинг
Занятие пройдёт 23 ноября в 18:00 мск и будет приурочено к старту курса «Machine Learning. Professional»
📌 Результаты урока:
Вы освоите такие популярные методы как Bagging, Random Forest и Стекинг
👉 РЕГИСТРАЦИЯ
https://otus.pw/AA7m/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🔥 Используйте MLlib для решения задач распределенного машинного обучения и работы с большими массивами данных.
MLlib предоставляет инструменты для:
🔹 Классификации, регрессии, кластеризации и коллаборативной фильтрации
🔹 Извлечения, преобразования данных и методы отбора признаков
🔹 Построение и настройка конвейеров ML
и многое другое
📌 MLlib: https://spark.apache.org/docs/latest/ml-guide.html
@data_analysis_ml
🔥 Дайджест полезных материалов из мира Data Science за неделю
Почитать:
— Разработка алгоритмов обработки данных в реальном времени на Python
— Как автоматизировать проверки данных в Airflow с Great Expectations
— Нейронные сети для новичков и профи: топ бесплатных курсов по ИИ
— 5 уровней зрелости MLOps
— Лучшие ресурсы чтобы выучить Git и Github
— Парк юрского периода глазами нейросети: как развернуть Diffusers для генерации изображений за 10 минут
— Как найти приватный ключ в бинарном коде от Bitcoin Lightning Wallet уязвимость в Quasar Framework
— Использование Insightface для быстрого поиска и сравнения лиц на изображениях
— OpenAI DevDay – ещё 5 видео про то, как работает компания, и как AI применять разработчикам
— Understanding the Process of Running Metabase on Docker for the First Time 📊🐋
— What is the data science?And Why it is important ?
— Equipping yourself with Excel increase job opportunities
— Simplifying Data Streaming
— Mastering data formatting in excel
— Applications of Data Science in Cybersecurity
— Introducing NumPy, a hero in Pythonland
— Debugging Python Code in Amazon SageMaker Locally Using Visual Studio Code and PyCharm: A Step-by-Step Guide
— How to Scrape Walmart Prices Easily
— Unraveling the Power of Random Forest Algorithm in Data Science
Посмотреть:
🌐 Пишем генератор Shorts видео на Python для заработка на YouTube. (⏱ 11:50)
🌐 Озвучка и генерации контента с помощью #Python и AI (⏱ 00:44)
🌐 Замена лица на любой фотографии с помощью #python БЕСПЛАТНО! (⏱ 00:59)
🌐 Lightning Interview “Large Language Models: Past, Present and Future” (⏱ 01:00:00)
🌐 Thomas Scialom, PhD - Large Language Models: Past, Present and Future (⏱ 34:45)
🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24)
🌐 AI Art: How is This Quality Even Possible? (⏱ 05:29)
Хорошего дня!
@data_analysis_ml
LangChain + Streamlit + LlaMA: установка диалогового бота с ИИ на локальный компьютер
LLM — это модели машинного обучения, способные создавать тексты на языке, близком к человеческому, и воспринимать промпты (запросы) естественным образом. Эти модели проходят обучение на обширных массивах данных, включающих книги, статьи, сайты и другие источники. Выявляя в предоставляемых данных статистические закономерности, LLM предсказывают наиболее вероятные слова и фразы, которые должны следовать за введенным текстом.
LangChain — это фреймворк, находящийся в свободном доступе. Он помогает разработчикам создавать приложения на основе языковых моделей, в частности LLM.
В данной статье мы рассмотрим пошаговый процесс создания с нуля личного помощника по работе с документами. Будем использовать LLaMA 7b и Langchain, библиотеку с открытым исходным кодом, специально разработанную для бесшовной интеграции с LLM.
📌 Читать
@data_analysis_ml
Нижний Новгород, готовьтесь узнать всё о рекомендательных системах!
Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки.
Когда: 30 ноября, 18:30
Формат: офлайн
Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35
Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки!
● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec?
● Александр Немальцев — руководитель направления по исследованию данных — поделится опытом улучшения качества рекомендаций и роста конверсии, а также деталями, как были устроены наши модели на разных этапах: от базовой коллаборативной фильтрации до нейросетевых подходов.
● Артём Хусаенов — руководитель направления по исследованию данных — рассмотрит кросс-доменные модели рекомендаций для «холодных» пользователей Мегамаркета.
Будет интересно, приходите! Зарегистрироваться на RecSys Meetup by Sber
🔥Ускорение генеративного ИИ с помощью встроенного PyTorch.
В этом посте рассказывается о новых возможностях производительности PyTorch и о том, как их можно использовать для создания в 8 раз более быстрой, PyTorch-реализации Segment Anything.
▪Читать
@data_analysis_ml
OpenAI выложила на GitHub проект OpenCopilot - ИИ-помощник в ранней бета-версии.
➕ Интегрируется с базовыми API, использует большую языковую модель для определения вызовов API и их выполнения.
➕ Поддерживает Swagger OpenAPI 3.0.
➕ Позволяет взаимодействовать с платформами через текстовые промпты и обеспечивает 24/7 поддержку.
➕ Инструменты для настройки сложных сценариев и интеграция функций OpenChat.
OpenAI представила также дорожную карту развития OpenCopilot.
🐱 GitHub
@data_analysis_ml
Хотите разобраться в языковых моделях? Учитесь у профессионалов и получайте знания из первых рук — на интенсиве GPT Week Школы анализа данных Яндекса!
Эксперты ШАДа, разрабатывающие YandexGPT, подготовили насыщенную 5-дневную программу. Вы узнаете, как запустить генеративную модель на ограниченных ресурсах, какие вызовы есть в сборе гигантских датасетов и в чём особенности предобучения и alignment. Каждый участник сможет задать вопросы спикерам, а также познакомиться с устройством YandexGPT — от деталей создания до сложных инженерных аспектов.
Что ещё нужно знать? Интенсив пройдёт онлайн с 27 ноября по 1 декабря. Участие бесплатное, но потребуется регистрация. Записаться и посмотреть программу можно на сайте.
Реклама. ООО «ЯНДЕКС», ИНН 7736207543
🚀 Команда разработчиков только что сделала OpenAI Whisper в 6 раз быстрее, на 49% меньше, сохранив при этом 99% точности.
Модель уже доступна в библиотеке HuggingFace Transformers:
model_id = "distil-whisper/distil-large-v2".
Вы также можете попробовать демо в веб-интерфейсе.
⏩ Модель: https://huggingface.co/distil-whisper/distil-large-v2
🛠 Демо: https://huggingface.co/spaces/Xenova/distil-whisper-web
📕 Статья: https://arxiv.org/abs/2311.00430
@data_analysis_ml🎮Одним из самых увлекательных направлений, в котором широко используется обучение с подкреплением, является киберспорт.
🔥В программе курса Reinforcement Learning в OTUS подробно разбираются одни из самых интересных кейсов применения RL в игровой индустрии.
21.11 в 20.00 мск. приглашаем на открытый урок “Игры c человеком и компьютером”
📌На занятии:
- узнаем историю противостояния человека и компьютера в настольных и компьютерных играх;
- познакомимся с основными идеями и подходами при создании игровых интеллектуальных агентов с помощью обучения с подкреплением;
- покажем как обучить модель эффективно управлять группой юнитов в одной из популярных игр.
После урока вы будете понимать как разрабатываются интеллектуальные агенты для различных игр и какие шаги необходимо пройти для реализации собственного игрового бота.
👉Регистрация https://otus.pw/tb0b/
При поступлении в группу возможны разные способы оплаты и рассрочка платежа.
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K22Ec
⚡️ Data Warehouse vs Data Lake vs Data Mesh
📌Data Warehouse — это единое корпоративное хранилище архивных данных из разных источников (систем, департаментов и прочее). Цель Data Warehouse — обеспечить пользователя (компанию и ее ключевых лиц) возможностью принимать верные решения в ключе управления бизнесом на основе целостной информационной картины.
DWH — не только склад важных данных компании, но еще и основа бизнес-аналитики (BI). Именно из корпоративного хранилища компания получает сведения, необходимые для принятия управленческих и стратегических решений.
📌Data Lake (Озеро данных) — это метод хранения данных системой или репозиторием в натуральном (
RAW) формате, который предполагает одновременное хранение данных в различных схемах и форматах.
Обычно используется blob-объект (binary large object) или файл. Идея озера данных в том чтобы иметь логически определенное, единое хранилище всех данных в организации (enterprise data) начиная от сырых, необработанных исходных данных (RAW data) до предварительно обработанных (transformed) данных, которые используются для различных задач: отчеты, визуализация, аналитика и мо.
Data Lake включает структурированные данные из реляционных баз данных (строки и колонки), полуструктурированные данные (CSV, логи, XML, JSON), неструктурированные данные (почтовые сообщения, документы, pdf) и даже бинарные данные (видео, аудио, файлы).
📌Data Mesh - дословно можно перевести как «сеть данных», — это децентрализованный гибкий подход к работе распределенных команд и распространению информации. Главное в нем — междисциплинарные команды, которые публикуют и потребляют Data-продукты, благодаря чему существенно повышают эффективность использования данных.
Традиционно архитектура данных монолитна. Потребление, хранение, преобразование и вывод управляются через одно центральное хранилище (как правило, озеро данных). Data Mesh же позволяет упростить работу с распределенными пайплайнами, поддерживая отдельных потребителей, рассматривающих данные как продукт.
@data_analysis_ml💡 Список самых популярных алгоритмов машинного обучения вместе с кодом на Python и R для их запуска.
#python #r #MachineLearning
https://www.analyticsvidhya.com/blog/2017/09/common-machine-learning-algorithms
@data_analysis_ml
Не упустите возможность начать карьеру в одной из самых востребованных IT-профессий!
На курсе Data Scientist с нуля до Junior с трудоустройством вы:
✅ Изучите одно из 3 востребованных направлений на выбор — дата-аналитику, дата-инженерию или машинное обучение.
✅ Освоите Python, библиотеки для анализа данных и машинного обучения, SQL, Git, научитесь работать с Power BI и другими актуальными для дата-сайентиста инструментами.
✅ Попрактикуетесь на задачах с реальными данными.
✅ Добавите до 9 проектов в портфолио.
✅ С вами будет работать личный наставник. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы.
Подробнее по ссылке https://epic.st/aiFvo Оставьте заявку на курс сейчас и получите 3 месяца бесплатного обучения и год английского в подарок!
🎁В ЧЕРНУЮ ПЯТНИЦУ на курс действует скидка до 60% и при покупке вы получаете ВТОРОЙ КУРС в подарок
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
🛡 Как автоанализ кода с помощью ИИ повышает безопасность приложений
AppSec-инженеры занимаются безопасностью приложений, но им приходится делать много работы. Они должны быть экспертами по разным приложениям и разбираться во всем коде. Они также должны встречаться с разработчиками, чтобы узнать о внесенных изменениях. В небольших организациях это возможно, но для крупных организаций это сложно.
Мы считаем, что инструменты Gen AI, такие как ChatGPT, могут помочь AppSec-инженерам в их работе. Они могут помочь масштабировать работу и сделать ее более эффективной.
В этой статье мы расскажем, как ChatGPT может повысить эффективность AppSec-инженеров.
Начнем с главного
Как уже было сказано, наиболее значимыми рабочими процессами, выполняемыми AppSec-инженерами, являются моделирование угроз и проверка безопасности кода. Оба этих процесса всегда были ручными, требующими участия разработчиков и приличного количества знаний/времени/мотивации. Это, на наш взгляд, реальная возможность для Gen AI.
Чтобы не быть голословными, углубимся в детали и посмотрим, как это осуществить на практике. Обратим внимание на важнейшие сферы применения ИИ:
🟡Непрерывный анализ изменений кода приложений.
🟡Интерактивное моделирование и решение проблем, связанных с угрозами.
🟡Дополнительные области, на которые, по нашему мнению, инструменты ИИ могут повлиять в ближайшей перспективе.
И последнее уточнение: для иллюстрации рабочих процессов будем использовать ChatGPT (3.5). Стоит отметить, что между версиями 3.5 и 4 существуют различия, поэтому советуем рассмотреть и альтернативные варианты.
Итак, приступим к делу!
📌 Читать
@data_analysis_ml
❗️Как эффективно развертывать модели в облаках?
▶️ Узнайте на практике на бесплатном открытом уроке «Deploy моделей в облаках (MLOps в облаках)» от OTUS и Павла Филонова – Ex-Data Science Manager в Kaspersky.
На открытом уроке:
🔹Рассмотрим вариант развертывания моделей в облачном kubernetes
🔹Куда складывать образы и как создавать и управлять кластером
🔹Как безопасно подключить развертывание к CI/CD
✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.
👉 РЕГИСТРАЦИЯ
https://otus.pw/loVA/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8Jvdcm
𝗣𝗿𝗮𝗰𝘁𝗶𝗰𝗮𝗹 𝗱𝗲𝗲𝗽 𝗹𝗲𝗮𝗿𝗻𝗶𝗻𝗴 𝗰𝗼𝘂𝗿𝘀𝗲🌻: 𝗭𝗲𝗿𝗼-𝘀𝗵𝗼𝘁 𝗰𝗹𝗮𝘀𝘀𝗶𝗳𝗶𝗰𝗮𝘁𝗶𝗼𝗻 𝘄𝗶𝘁𝗵 𝗖𝗟𝗜𝗣
Узнайте, как промпт инжиниринг может помочь вам в классификации изображений в бесплатном курсе от
dataflowr!
📋 курс: https://dataflowr.github.io/website/modules/19-clip/
🤖 код: https://github.com/dataflowr/notebooks/blob/master/Module19/Zeroshot_with_CLIP.ipynb
@data_analysis_ml🤖Для обучения моделированию архитектуры на разных уровнях важно использовать инструмент, поддерживающий все основные элементы и связи языка, и контролирующий правила их применения. В качестве такого инструмента мы используем Archi. Узнайте больше на бесплатном уроке онлайн-курса «Archimate».
👉Приглашаем на бесплатный вебинар: «Описание технологического и физического слоя на языке Архимейт»: регистрация
На вебинаре мы:
— изучим элементы и правила построения технического и физических слоев;
— познакомимся с элементами слоёв;
— рассмотрим, как элементы технологического и физического слоя связываются с другими слоями.
Занятие проведет Максим Рогоза — руководитель курса и главный архитектор в крупнейшем IT-интеграторе.
🔥После вебинара вы сможете продолжить обучение на курсе по спеццене, в том числе, в рассрочку.
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8JxkX2
📕 Tutorial 2: Comparison to other methods of uncertainty quantification
В популярный учебник по глубокому обучению добавляен целый большой раздел-учебник по Конформной классификацией.
https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/DL2/Bayesian_Neural_Networks/dl2_bnn_tut2_student_with_answers.html#Conformal-prediction
@data_analysis_ml
🚀 Видеолекции, UC Berkeley Math 54 Линейная алгебра и дифференциальные уравнения
▪Курс
▪Лекции
@data_analysis_ml
🔥 Дайджест полезных материалов из мира Data Science за неделю
Почитать:
— Введение в Apache Flink: осваиваем фреймворк на реальных примерах
— Data Mesh – ячеистые топологии для работы с данными
— XGBoost – один из наиболее эффективных алгоритмов прогнозирования временных рядов.
— YOLO-NAS Pose: прорыв в технологии оценки позы
— Подбираем параметры сессии в Apache Spark, чтобы не стоять в очереди
— Milk Sad уязвимость в библиотеке Libbitcoin Explorer 3.x. Крупная кража на $ 900 000 у пользователей Биткоин Кошельков
— Прогнозирование временных рядов с помощью библиотеки Skforecast
— Руководство для начинающих по Spark UI: Как отслеживать и анализировать задания Spark
— Знакомство с разработкой SAP Data Services
— Easily Generate Mock Data with PostgreSQL
— How to Scrape Amazon Product Reviews Behind a Login
— The Future of Shopping: Innovative Startup with Robots for Automated Dark Stores
— A Step-by-Step Roadmap to Data Engineering
— Data Engineering for Beginners: Navigating the Foundations of a Data-Driven World
— The Comprehensive Guide to Time Series Models: Navigating the Depths of Temporal Data
— Looking for scam tokens using bubble charts in TON blockchain
— Fine-Tuning or Not, That Is the Question
— How Do I Build LLava AI ChatBot
— Common Table Expressions in Postgresql
Посмотреть:
🌐 Совет Python разработчикам - реши задачу Chain sum с реального собеседования. (⏱ 14:23)
🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28)
🌐 🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. #python (⏱ 00:20)
🌐 Applied Reinforcement Learning for Online Ads/Recommender - Kevin Noel (⏱ 42:37)
🌐 Sarah Bird, PhD - Building and Using Generative AI Responsibly: Microsoft’s Journey (⏱ 30:11)
🌐 The Ethics Of Digital Minds with Professor Nick Bostrom (⏱ 57:03)
🌐 Nick Bostrom, PhD - The Ethics of Digital Minds: A baffling new frontier (⏱ 36:28)
🌐 ML on-device: Building Efficient Models - Danni Li (⏱ 34:00)
🌐 Creating Virtual Worlds 20x Faster! (⏱ 06:08)
🌐 NVIDIA’s New AI: Wow, 8x Better Text To 3D! (⏱ 04:27)
🌐 OpenAI's ChatGPT: 7 Unexpected Results! (⏱ 08:57)
🌐 Тренировки по ML. Лекция 2: Линейная регрессия и регуляризация (⏱ 1:46:36)
Хорошего дня!
@data_analysis_ml
