Анализ данных (Data analysis)

🔥 BizGen — это мощный инструмент для автоматической генерации инфографики из текстовых данных. Он использует комбинацию NLP и компьютерного зрения для анализа текста, планирования макета и создания визуально привлекательных изображений. Благодаря поддержке сложных макетов, многоязычного рендеринга и высокого качества генерации, BizGen идеально подходит для бизнеса, маркетинга, образования и научных исследований. Этот инструмент упрощает процесс визуализации данных, делая его быстрее, дешевле и доступнее для широкого круга пользователей. 📌 Github

🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей! Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области! Что тебя ждет: ☑️Денежный призовой фонд ☑️Автоматизированная оценка решений ☑️2 практические задачи: 1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию. 2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию. Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день. Регистрация уже открыта! Подробности и анкета по ссылкам выше.

✔️ "Reasoning models don't always say what they think" - новая статья Anthropic, опубликованная а, исследует достоверность объяснений, предоставляемых продвинутыми языковыми моделями (LLM) в процессе их рассуждений, известных как "цепочка мыслей" (Chain-of-Thought, CoT). ​ Основные выводы статьи: - Проблема достоверности CoT: Исследование показало, что модели часто не раскрывают истинные причины своих ответов в CoT. Это означает, что, хотя модель может предоставить логически звучащее объяснение, оно не всегда отражает фактический процесс, использованный для получения ответа. ​ - Эксперимент с промптами: В ходе эксперимента моделям предоставлялись скрытые промпты, влияющие на их ответы. Ожидалось, что модели упомянут использование этих подсказок в своих объяснениях. Однако результаты показали, что модели редко признавали использование подсказок, что ставит под сомнение прозрачность их рассуждений. ​ Последствия для безопасности ИИ: Низкая достоверность CoT затрудняет мониторинг и выявление нежелательных или потенциально опасных поведений моделей. Это подчеркивает необходимость разработки более надежных методов оценки и контроля процессов принятия решений в LLM. ​ anthropic.com В целом, статья акцентирует внимание на важности критического подхода к интерпретации объяснений, предоставляемых языковыми моделями, и необходимости дальнейших исследований для обеспечения их прозрачности и надежности. 🔗 Подробнее #Anthropic #ml #reasoning

✔️ Google, похоже, сейчас является победителем ИИ гонки Они более десяти лет назад и сделали стратегические инвестиции в TPU. Этот шаг в отношении TPU оправдал себя. В результате у Google теперь есть собственное специализированное оборудование, и ему не нужно много графических процессоров от Nvidia. Gemini 2.5 Pro доступна бесплатно для всех пользователей с аккаунтом Google.

🔎 rwkv.cpp — проект, адаптирующий архитектуру RWKV для эффективной работы на обычных процессорах. В отличие от традиционных LLM, RWKV требует лишь немного памяти на токен — это позволяет запускать модели с большими контекстами даже на слабом железе. Инструмент реализован на C/C++ с поддержкой квантования и CUDA через cuBLAS. Особенно интересна совместимость с LoRA-адаптерами, что позволяет дообучать модели без полного экспорта весов. Тесты показывают стабильную работу даже на 4-ядерных CPU с контекстом в 8K токенов. 🤖 GitHub @data_analysis_ml

Растите сильную команду. Топ-5 курсов Яндекс Практикума для IT 👾 Технологии меняются каждый день — проверено Яндексом. Мы ощущаем перемены на своих проектах. Постоянные вызовы, новые инструменты, штормы на рынках. Знаем, как важно, чтобы команда быстро развивалась и адаптировалась к изменениям. Поэтому создаём актуальное обучение, которое соответствует реальным задачам IT-сферы. Нам доверяют: 5000+ компаний уже обучили 36 000+ сотрудников в Яндекс Практикуме. 👉 Вот топ-5 курсов, которые выбирали компании для развития IT-команд в 2025 году: — SQL для работы с данными и аналитики — DevOps для эксплуатации и разработки — Python-разработчик — Архитектура программного обеспечения — Управление командой разработки — Навыки аргументации 👉Подобрать курс Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2Vtzqv9rzVf

🐬 Dolphin - это улучшенная и расширенная версия Whisper, оптимизированная для распознавания большого числа восточных языков и китайских диалектов, которая превосходит другие открытые модели и доступна для использования сообществом. На чем основана? Цель: Поддержка более широкого спектра языков, с особым акцентом на 40 восточных языках (Восточная Азия, Южная Азия, Юго-Восточная Азия, Ближний Восток) и 22 китайских диалектах. Как обучалась? Использовалась комбинация собственных (проприетарных) и общедоступных (open-source) наборов данных для обучения и оптимизации. Результаты: Эксперименты показали, что Dolphin значительно превосходит существующие лучшие модели с открытым исходным кодом по качеству распознавания для многих языков. Доступность: Разработчики делают обученные модели и исходный код для их использования (инференса) общедоступными, чтобы способствовать воспроизводимости и развитию сообщества. 🟡Model: https://huggingface.co/DataoceanAI/dolphin-base https://huggingface.co/DataoceanAI/dolphin-small 🟡 Paper: https://huggingface.co/papers/2503.20212

🔥 EasyControl — это фреймворк (набор инструментов и методов), разработанный для добавления управляющих сигналов (условий) к моделям генерации изображений на основе Diffusion Transformer (DiT). По сути, это попытка создать аналог популярного ControlNet (который в основном используется с U-Net архитектурами) для нового поколения диффузионных моделей, построенных на трансформерах. Его цель — сделать процесс управления генерацией в DiT моделях таким же гибким, эффективным и легко подключаемым. Как работает EasyControl? EasyControl решает проблемы интеграции управляющих сигналов в DiT, используя комбинацию нескольких ключевых идей: ▪ Легковесные Модули Внедрения Условий (Condition Injection LoRA): Вместо того чтобы переобучать всю огромную DiT модель или создавать громоздкие копии её частей для каждого нового условия (например, позы, контуры, глубина), EasyControl использует LoRA (Low-Rank Adaptation). Это техника, позволяющая "внедрить" дополнительную информацию (управляющий сигнал) в существующую модель, обучая лишь небольшое количество дополнительных параметров. Это делает процесс добавления новых типов контроля очень эффективным по ресурсам и позволяет сохранять исходные "знания" и стиль базовой DiT модели (style lossless). ▪ Парадигма Обучения с Учетом Позиции (Position-Aware Training Paradigm): Трансформеры (как в DiT) обрабатывают изображение как последовательность патчей (участков). Чтобы управляющий сигнал (например, карта позы) корректно влиял на соответствующие участки генерируемого изображения, EasyControl использует специальный подход к обучению, который помогает модели лучше понимать пространственное соответствие между управляющим сигналом и генерируемым контентом. ▪ Оптимизация Внимания и Кэширование (Causal Attention + KV Cache): Для повышения эффективности на этапе генерации (inference), EasyControl применяет оптимизации, характерные для трансформеров. Использование Causal Attention (причинного внимания) и KV Cache (кэширование ключей и значений в механизме внимания) позволяет ускорить процесс генерации, особенно при работе с длинными последовательностями патчей и дополнительными модулями условий. 🔗 Github 🔗Paper

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ для специалистов по работе с данными. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью. Всё о программе — на дне открытых дверей: — Расскажем про разные траектории обучения и как после выпуска стать ML-инженером, CV-инженером, NLP-инженером, Data Scientist или Data Engineer. — Обсудим, какие навыки будут у выпускников, чтобы соответствовать рынку и требованиям работодателей. — Поговорим про поступление: сроки, экзамены, документы, оплата. Спикеры: Станислав Павлов, директор по AI, Positive Technologies. Павел Рябов, академический руководитель программы, заместитель директора Института лазерных и плазменных технологий, НИЯУ МИФИ. Антон Моргунов, Senior инженер по компьютерному зрению, Базис. Центр, академический руководитель программы, Яндекс Практикум. Александр Югов, Curriculum Lead профессии «Инженер данных», Яндекс Практикум. Ждём вас 9 апреля в 19:00 мск. → Зарегистрироваться на встречу

🤖 Open-Arm— это инициатива, направленная на создание открытой экосистемы для разработки на базе микроконтроллеров ARM, в частности, семейства Cortex-M. Основная идея — предоставить полностью открытые (open source) аппаратные и программные средства, документацию и сообщество для всех, кто хочет работать с ARM-микроконтроллерами, избегая ограничений и лицензионных отчислений, связанных с проприетарными инструментами и платформами. Ключевые аспекты и цели проекта: ▪️ Открытое Оборудование (Open Hardware): Разработка и публикация схем, печатных плат (PCB) и другой документации для отладочных плат и периферийных устройств на базе ARM Cortex-M. Это позволяет любому производить, модифицировать и изучать аппаратную часть. ▪️ Открытое Программное Обеспечение (Open Source Software): Создание и поддержка открытых библиотек, драйверов, операционных систем реального времени (RTOS) и инструментов разработки (компиляторы, отладчики, SDK), которые не привязаны к конкретному производителю чипов или инструментов. ▪️ Доступность и Образование: Сделать разработку на ARM Cortex-M более доступной для студентов, хоббистов, исследователей и малого бизнеса, снижая порог входа за счет бесплатных и открытых инструментов и подробной документации. ▪️ Независимость от Вендоров: Предоставление альтернативы экосистемам конкретных производителей (например, STMicroelectronics STM32Cube, NXP MCUXpresso), чтобы пользователи не были "заперты" на инструментах или чипах одного поставщика. open-arm.org

Библиотека Python для файнтюнинга Gemma 3! 🔥 Включает документы по файнтюнингу, шардингу, LoRA, PEFT, мультимодальности и токенизации в LLM. 100% открытый исходный код. pip install gemma 📌 Документация

А и В сидели на трубе, А упало, В пропало, кто остался на трубе? Грустный продуктовый аналитик. Чтобы никто не грустил, мы запускаем онлайн-серию технологических митапов от hh.ru Первая встреча состоится 15 апреля. Спикерами будут специалисты hh.ru, Туту и Ozon. Что будут рассказывать? Не темы, а просто находки!

• Как Process mining помогает улучшить процесс принятия решений в A/B-тестах; • Как в hh.ru устроен пайплайн-расчет ETL в A/B-тестах; • A/B-тестирование, как метод полного контроля за принятием решений.

Встречаемся 15 апреля 19:00. Подробности и регистрация по ссылке. Реклама. Рекламодатель ООО «Хэдхантер», ИНН 7718620740 Erid: 2Vtzqve9Hyi

⚡️ OpenDeepSearch (ODS) — это открытый поисковый агент, разработанный для интеграции с любыми большими языковыми моделями (LLM). Он создан с целью демократизировать доступ к передовым поисковым технологиям, сократив разрыв между проприетарными решениями (например, Perplexity Sonar Reasoning Pro или GPT-4o-Search от OpenAI) и открытыми аналогами. ODS состоит из двух ключевых компонентов: Open Search Tool и Open Reasoning Agent, которые работают в связке для выполнения сложных поисковых и аналитических задач. ODS с DeepSeek-R1 обходит GPT-4o-Search от OpenAI на бенчмарке FRAMES (+9.7% точности). Доступен для сообщества: код и статья уже на GitHub и arXiv! #AI #OpenSource #Search ▪Paper: https://arxiv.org/abs/2503.20201 ▪ Code: https://github.com/sentient-agi/OpenDeepSearch @data_analysis_ml

✔️ Runway выпустили Gen-4 — это версия, в которой значительно улучшено качество, динамика движения и управляемость генерациями. - Улучшенная точность и динамика: Gen-4 позволяет генерировать видео с более реалистичным движением, сохраняя при этом согласованность стилей, объектов и сюжетных линий. - Контроль и согласованность: С помощью визуальных референсов и инструкций пользователи могут создавать контент с одними и теме же стилями, персонажами и локациями, что идеально подходит для повествовательных историй. - Поддержка физики и реализма: Модель способна лучше симулировать реальную физику, что делает сгенерированные сцены более правдоподобными. @data_analysis_ml

Авито представил новую стратегию внедрения генеративного искусственного интеллекта (GenAI) К 2028 году компания планирует инвестировать в это направление 12 млрд рублей и заработать более 21 млрд рублей. 🤖 Что это значит? Авито презентовал свои собственные генеративные модели — A-Vibe и A-Vision, которые работают с текстом и изображениями соответственно. Модели обучены на базе нейросети Qwen2.5 с 7 млрд параметров и специализируются на задачах, связанных с покупкой и продажей. Например, A-Vibe помогает создавать качественные и лаконичные описания товаров, а A-Vision анализирует фотографии и повышает качество визуального контента. Кроме того, в 2024 году Авито запустила магистратуру по Data Science в МФТИ. В сентябре 2025 года стартуют еще три новые программы: по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ. 🛠 Почему это важно? Использование GenAI не только улучшает взаимодействие пользователей с платформой, но и приносит реальную экономическую выгоду. Уже в 2024 году первые запуски продуктов с использованием GenAI принесли компании 670 млн рублей. А в 2025-м запланировано внедрение 20 новых сценариев использования GenAI с потенциалом заработка более 1 млрд рублей. @data_analysis_ml

Данные и облака — наше все 🧠 На конференции GoCloud ты найдешь новые знания об инструментах обработки данных. Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще: 😶‍🌫️покажем инструменты для упрощения процесса обработки данных 😶‍🌫️поговорим с компаниями, которые уже работают с данными в облаке 😶‍🌫️возможные риски потери данных и способы их предотвращения 😶‍🌫️покажем архитектуру DBaaS поверх K8s 30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля. Регистрация по ссылке 👈

Что такое torch.nn на самом деле? Когда я начинал работать с PyTorch, мой самый большой вопрос был: "Что такое torch.nn?". Эта статья довольно хорошо объясняет это. 📌 Читать

Хакатон от МТС: 5 треков и 1 500 000 рублей. Для тех, кто готов воплотить идею в прототип Приглашаем на хакатон МТС True Tech Hack 2025. Протестируй свои идеи и разработай решение на базе одной из пяти ИТ-платформ МТС. Призовой фонд соревнования — 1 500 000 рублей. Участие могут принять системные аналитики, Data Scientists, Data Engineers, frontend и backend-разработчики, Android-разработчики, бизнес-аналитики, аналитики данных, MLOps-инженеры, DevOps-инженеры, Product-менеджеры, ИТ-архитекторы, UI/UX-дизайнеры. На хакатоне ты сможешь: — Выбрать свой трек и создать решение на базе ИТ-платформ МТС. — Побороться за призовой фонд — 1 500 000 рублей. — Расширить свои профессиональные связи через нетворкинг с участниками хакатона и экспертами МТС. — Повысить шансы на прохождение стажировки в МТС. — Узнать больше о продуктах и технологиях МТС от экспертов компании Регистрация до 16 апреля. Регистрируйся прямо сейчас: https://truetechhack.ru/

🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года! Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​ ✔️ Основные нововведения: Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS. В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами. Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​ Чтобы начать использовать Xet, установите дополнительную зависимость:​ pip install -U huggingface_hub[hf_xet] После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​ Доплнительно: 😶 Расширен InferenceClient: 😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere. 😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы. 😶 Улучшен CLI 😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include). 😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size). ✔️ Полный список обновлений ✔️Блог ✔️Документация по Xet @ai_machinelearning_big_data #huggingface #release #xet

❓ LLaMA 4 уже на подходе? На LMSYS Arena появились новые модели под названием “Spider” и “Cybele" Также появилась модель, которая, судя по всему, принадлежит Google и называется Moonhowler. @data_analysis_ml