Анализ данных (Data analysis)

Растите сильную команду. Топ-5 курсов Яндекс Практикума для IT 👾 Технологии меняются каждый день — проверено Яндексом. Мы ощущаем перемены на своих проектах. Постоянные вызовы, новые инструменты, штормы на рынках. Знаем, как важно, чтобы команда быстро развивалась и адаптировалась к изменениям. Поэтому создаём актуальное обучение, которое соответствует реальным задачам IT-сферы. Нам доверяют: 5000+ компаний уже обучили 36 000+ сотрудников в Яндекс Практикуме. 👉 Вот топ-5 курсов, которые выбирали компании для развития IT-команд в 2025 году: — SQL для работы с данными и аналитики — DevOps для эксплуатации и разработки — Python-разработчик — Архитектура программного обеспечения — Управление командой разработки — Навыки аргументации 👉Подобрать курс Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2Vtzqv9rzVf

🐬 Dolphin - это улучшенная и расширенная версия Whisper, оптимизированная для распознавания большого числа восточных языков и китайских диалектов, которая превосходит другие открытые модели и доступна для использования сообществом. На чем основана? Цель: Поддержка более широкого спектра языков, с особым акцентом на 40 восточных языках (Восточная Азия, Южная Азия, Юго-Восточная Азия, Ближний Восток) и 22 китайских диалектах. Как обучалась? Использовалась комбинация собственных (проприетарных) и общедоступных (open-source) наборов данных для обучения и оптимизации. Результаты: Эксперименты показали, что Dolphin значительно превосходит существующие лучшие модели с открытым исходным кодом по качеству распознавания для многих языков. Доступность: Разработчики делают обученные модели и исходный код для их использования (инференса) общедоступными, чтобы способствовать воспроизводимости и развитию сообщества. 🟡Model: https://huggingface.co/DataoceanAI/dolphin-base https://huggingface.co/DataoceanAI/dolphin-small 🟡 Paper: https://huggingface.co/papers/2503.20212

🔥 EasyControl — это фреймворк (набор инструментов и методов), разработанный для добавления управляющих сигналов (условий) к моделям генерации изображений на основе Diffusion Transformer (DiT). По сути, это попытка создать аналог популярного ControlNet (который в основном используется с U-Net архитектурами) для нового поколения диффузионных моделей, построенных на трансформерах. Его цель — сделать процесс управления генерацией в DiT моделях таким же гибким, эффективным и легко подключаемым. Как работает EasyControl? EasyControl решает проблемы интеграции управляющих сигналов в DiT, используя комбинацию нескольких ключевых идей: ▪ Легковесные Модули Внедрения Условий (Condition Injection LoRA): Вместо того чтобы переобучать всю огромную DiT модель или создавать громоздкие копии её частей для каждого нового условия (например, позы, контуры, глубина), EasyControl использует LoRA (Low-Rank Adaptation). Это техника, позволяющая "внедрить" дополнительную информацию (управляющий сигнал) в существующую модель, обучая лишь небольшое количество дополнительных параметров. Это делает процесс добавления новых типов контроля очень эффективным по ресурсам и позволяет сохранять исходные "знания" и стиль базовой DiT модели (style lossless). ▪ Парадигма Обучения с Учетом Позиции (Position-Aware Training Paradigm): Трансформеры (как в DiT) обрабатывают изображение как последовательность патчей (участков). Чтобы управляющий сигнал (например, карта позы) корректно влиял на соответствующие участки генерируемого изображения, EasyControl использует специальный подход к обучению, который помогает модели лучше понимать пространственное соответствие между управляющим сигналом и генерируемым контентом. ▪ Оптимизация Внимания и Кэширование (Causal Attention + KV Cache): Для повышения эффективности на этапе генерации (inference), EasyControl применяет оптимизации, характерные для трансформеров. Использование Causal Attention (причинного внимания) и KV Cache (кэширование ключей и значений в механизме внимания) позволяет ускорить процесс генерации, особенно при работе с длинными последовательностями патчей и дополнительными модулями условий. 🔗 Github 🔗Paper

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ для специалистов по работе с данными. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью. Всё о программе — на дне открытых дверей: — Расскажем про разные траектории обучения и как после выпуска стать ML-инженером, CV-инженером, NLP-инженером, Data Scientist или Data Engineer. — Обсудим, какие навыки будут у выпускников, чтобы соответствовать рынку и требованиям работодателей. — Поговорим про поступление: сроки, экзамены, документы, оплата. Спикеры: Станислав Павлов, директор по AI, Positive Technologies. Павел Рябов, академический руководитель программы, заместитель директора Института лазерных и плазменных технологий, НИЯУ МИФИ. Антон Моргунов, Senior инженер по компьютерному зрению, Базис. Центр, академический руководитель программы, Яндекс Практикум. Александр Югов, Curriculum Lead профессии «Инженер данных», Яндекс Практикум. Ждём вас 9 апреля в 19:00 мск. → Зарегистрироваться на встречу

🤖 Open-Arm— это инициатива, направленная на создание открытой экосистемы для разработки на базе микроконтроллеров ARM, в частности, семейства Cortex-M. Основная идея — предоставить полностью открытые (open source) аппаратные и программные средства, документацию и сообщество для всех, кто хочет работать с ARM-микроконтроллерами, избегая ограничений и лицензионных отчислений, связанных с проприетарными инструментами и платформами. Ключевые аспекты и цели проекта: ▪️ Открытое Оборудование (Open Hardware): Разработка и публикация схем, печатных плат (PCB) и другой документации для отладочных плат и периферийных устройств на базе ARM Cortex-M. Это позволяет любому производить, модифицировать и изучать аппаратную часть. ▪️ Открытое Программное Обеспечение (Open Source Software): Создание и поддержка открытых библиотек, драйверов, операционных систем реального времени (RTOS) и инструментов разработки (компиляторы, отладчики, SDK), которые не привязаны к конкретному производителю чипов или инструментов. ▪️ Доступность и Образование: Сделать разработку на ARM Cortex-M более доступной для студентов, хоббистов, исследователей и малого бизнеса, снижая порог входа за счет бесплатных и открытых инструментов и подробной документации. ▪️ Независимость от Вендоров: Предоставление альтернативы экосистемам конкретных производителей (например, STMicroelectronics STM32Cube, NXP MCUXpresso), чтобы пользователи не были "заперты" на инструментах или чипах одного поставщика. open-arm.org

Библиотека Python для файнтюнинга Gemma 3! 🔥 Включает документы по файнтюнингу, шардингу, LoRA, PEFT, мультимодальности и токенизации в LLM. 100% открытый исходный код. pip install gemma 📌 Документация

А и В сидели на трубе, А упало, В пропало, кто остался на трубе? Грустный продуктовый аналитик. Чтобы никто не грустил, мы запускаем онлайн-серию технологических митапов от hh.ru Первая встреча состоится 15 апреля. Спикерами будут специалисты hh.ru, Туту и Ozon. Что будут рассказывать? Не темы, а просто находки!

• Как Process mining помогает улучшить процесс принятия решений в A/B-тестах; • Как в hh.ru устроен пайплайн-расчет ETL в A/B-тестах; • A/B-тестирование, как метод полного контроля за принятием решений.

Встречаемся 15 апреля 19:00. Подробности и регистрация по ссылке. Реклама. Рекламодатель ООО «Хэдхантер», ИНН 7718620740 Erid: 2Vtzqve9Hyi

⚡️ OpenDeepSearch (ODS) — это открытый поисковый агент, разработанный для интеграции с любыми большими языковыми моделями (LLM). Он создан с целью демократизировать доступ к передовым поисковым технологиям, сократив разрыв между проприетарными решениями (например, Perplexity Sonar Reasoning Pro или GPT-4o-Search от OpenAI) и открытыми аналогами. ODS состоит из двух ключевых компонентов: Open Search Tool и Open Reasoning Agent, которые работают в связке для выполнения сложных поисковых и аналитических задач. ODS с DeepSeek-R1 обходит GPT-4o-Search от OpenAI на бенчмарке FRAMES (+9.7% точности). Доступен для сообщества: код и статья уже на GitHub и arXiv! #AI #OpenSource #Search ▪Paper: https://arxiv.org/abs/2503.20201 ▪ Code: https://github.com/sentient-agi/OpenDeepSearch @data_analysis_ml

✔️ Runway выпустили Gen-4 — это версия, в которой значительно улучшено качество, динамика движения и управляемость генерациями. - Улучшенная точность и динамика: Gen-4 позволяет генерировать видео с более реалистичным движением, сохраняя при этом согласованность стилей, объектов и сюжетных линий. - Контроль и согласованность: С помощью визуальных референсов и инструкций пользователи могут создавать контент с одними и теме же стилями, персонажами и локациями, что идеально подходит для повествовательных историй. - Поддержка физики и реализма: Модель способна лучше симулировать реальную физику, что делает сгенерированные сцены более правдоподобными. @data_analysis_ml

Авито представил новую стратегию внедрения генеративного искусственного интеллекта (GenAI) К 2028 году компания планирует инвестировать в это направление 12 млрд рублей и заработать более 21 млрд рублей. 🤖 Что это значит? Авито презентовал свои собственные генеративные модели — A-Vibe и A-Vision, которые работают с текстом и изображениями соответственно. Модели обучены на базе нейросети Qwen2.5 с 7 млрд параметров и специализируются на задачах, связанных с покупкой и продажей. Например, A-Vibe помогает создавать качественные и лаконичные описания товаров, а A-Vision анализирует фотографии и повышает качество визуального контента. Кроме того, в 2024 году Авито запустила магистратуру по Data Science в МФТИ. В сентябре 2025 года стартуют еще три новые программы: по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ. 🛠 Почему это важно? Использование GenAI не только улучшает взаимодействие пользователей с платформой, но и приносит реальную экономическую выгоду. Уже в 2024 году первые запуски продуктов с использованием GenAI принесли компании 670 млн рублей. А в 2025-м запланировано внедрение 20 новых сценариев использования GenAI с потенциалом заработка более 1 млрд рублей. @data_analysis_ml

Данные и облака — наше все 🧠 На конференции GoCloud ты найдешь новые знания об инструментах обработки данных. Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще: 😶‍🌫️покажем инструменты для упрощения процесса обработки данных 😶‍🌫️поговорим с компаниями, которые уже работают с данными в облаке 😶‍🌫️возможные риски потери данных и способы их предотвращения 😶‍🌫️покажем архитектуру DBaaS поверх K8s 30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля. Регистрация по ссылке 👈

Что такое torch.nn на самом деле? Когда я начинал работать с PyTorch, мой самый большой вопрос был: "Что такое torch.nn?". Эта статья довольно хорошо объясняет это. 📌 Читать

Хакатон от МТС: 5 треков и 1 500 000 рублей. Для тех, кто готов воплотить идею в прототип Приглашаем на хакатон МТС True Tech Hack 2025. Протестируй свои идеи и разработай решение на базе одной из пяти ИТ-платформ МТС. Призовой фонд соревнования — 1 500 000 рублей. Участие могут принять системные аналитики, Data Scientists, Data Engineers, frontend и backend-разработчики, Android-разработчики, бизнес-аналитики, аналитики данных, MLOps-инженеры, DevOps-инженеры, Product-менеджеры, ИТ-архитекторы, UI/UX-дизайнеры. На хакатоне ты сможешь: — Выбрать свой трек и создать решение на базе ИТ-платформ МТС. — Побороться за призовой фонд — 1 500 000 рублей. — Расширить свои профессиональные связи через нетворкинг с участниками хакатона и экспертами МТС. — Повысить шансы на прохождение стажировки в МТС. — Узнать больше о продуктах и технологиях МТС от экспертов компании Регистрация до 16 апреля. Регистрируйся прямо сейчас: https://truetechhack.ru/

🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года! Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​ ✔️ Основные нововведения: Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS. В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами. Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​ Чтобы начать использовать Xet, установите дополнительную зависимость:​ pip install -U huggingface_hub[hf_xet] После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​ Доплнительно: 😶 Расширен InferenceClient: 😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere. 😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы. 😶 Улучшен CLI 😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include). 😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size). ✔️ Полный список обновлений ✔️Блог ✔️Документация по Xet @ai_machinelearning_big_data #huggingface #release #xet

❓ LLaMA 4 уже на подходе? На LMSYS Arena появились новые модели под названием “Spider” и “Cybele" Также появилась модель, которая, судя по всему, принадлежит Google и называется Moonhowler. @data_analysis_ml

📌Пройдите тест из 9 вопросов и проверьте, насколько вы готовы к обучению на  курсе «BI-аналитика» от OTUS. Вы научитесь на курсе: + Визуализировать данные с помощью Power BI, Tableau и Analytic Workspace. + Создавать интерактивные дашборды и аналитические панели на Python в Dash, Numpy, Pandas, Matplotlib, Seaborn и Plotly. + Работать с Big Data и использовать решения с открытым исходным кодом в BI-аналитике. + Работать с DAX-формулами. + Обрабатывать и трансформировать данные в Power Query, создавать модели данных в Power Pivot. 🦉В честь дня рождения Отус, скидка 10% до 01.04 🎁Так же промо-код на курс «BI-аналитика» со скидкой 5% (суммируется на сайте):  BI_04 до 18.05. Успейте купить выгодно! 👉ПРОЙТИ ТЕСТ: https://otus.pw/8QNY/?erid=2W5zFJGJRLU Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576 #реклама О рекламодателе

🔥 No Ghibli Chrome Extension Весь X/twitter завален конентом с генерациями в стиле Ghibli, если вам надоел такой контент, умельцы создали Chrome расширение с открытым исходным кодом для удаления таких твитов. 📌 Github @data_analysis_ml

🖼Pyramid Flow — это метод авторегрессионной генерации видео на основе Flow Matching, оптимизированный для обучения и генерации видео с высоким разрешением и частотой кадров. 💡 Данный проект позволяет генерировать видеоролики длительностью до 10 секунд с разрешением 768p при 24 кадрах в секунду. Метод использует гибкость flow matching для интерполяции между латентными состояниями различных разрешений и уровней шума, что обеспечивает генерацию и декомпрессию визуального контента с меньшими вычислительными затратами. 🔍 Основные возможности Pyramid Flow включают: 🌟 Генерация текста-видео: можно создавать видео по текстовым описаниям, управляя визуальными параметрами 🌟 Преобразование изображений в видео: модель поддерживает генерацию видео на основе начального изображения, с возможностью добавления движения и динамики 🌟 Разрешение и производительность: поддерживается два варианта — 384p и 768p, для которых требуется примерно 26 и 40 ГБ видеопамяти соответственно 🌟 Модели и исходный код доступны на платформе Huggingface и могут быть использованы для дальнейших экспериментов и обучения 🔐 Лицензия: MIT 🔗 Huggingface: *клик* 📖 Arxiv: *клик* ▪️Github @data_analysis_ml

🤖 Awesome-robot-descriptions - тщательно подобранный список описаний роботов в форматах URDF, Xacro и MJCF. Эти описания охватывают широкий спектр роботов: от манипуляторов и гуманоидов до дронов и мобильных манипуляторов. Каждое описание включает информацию о производителе, формате файла, лицензии и наличии визуализаций, инерций и коллизий. ​ Форматы URDF (Unified Robot Description Format), Xacro и MJCF (MuJoCo XML) используются для описания кинематических и динамических характеристик роботов. Эти описания необходимы для симуляции, планирования движений и управления роботами в различных программных средах.​ ▪ GitHub

🖥 Как установить Deep Seek локально с помощью Ollama LLM в Ubuntu 24.04 Подробное руководство от TecMint, демонстрирующее, как установить и запустить модель DeepSeek локально на Linux (Ubuntu 24.04) с использованием Ollama. Гайд охватывает все этапы установки: обновление системы, инсталляцию Python и Git, настройку Ollama для управления DeepSeek, а также запуск модели через командную строку или с помощью удобного Web UI. ▪ Руководство также включает инструкции по автоматическому запуску Web UI при старте системы через systemd, что делает работу с моделью более комфортной и доступной. Подойдет для тех, кто хочет исследовать возможности работы с крупными языковыми моделями без привязки к облачным сервисам, обеспечивая полный контроль над моделью и её настройками. ▪ Читать