Анализ данных (Data analysis)

Цена доставки изменилась за 3 минуты? Это не магия. Это Switcher ⏳ Как платформы влияют на нашу готовность платить? 📦 Что происходит «под капотом» Авито-доставки? 🧩 И как собрать ценообразование, когда пользователей — миллионы? В кресле — Даша Пучкова, старший аналитик команды ценообразования доставки. В фокусе — логика, данные и неожиданные эффекты от алгоритмов. В голове — баланс между оптимизацией и пользовательским доверием. Смотреть второй выпуск → по ссылке.

🧠 Cua — лёгкий open-source агентный фреймворк на Python Cua — это минималистичный Python-фреймворк для создания LLM-агентов, ориентированный на простоту, прозрачность и модульность. Название «Cua» расшифровывается как Composable Universal Agents. 📦 Особенности: • Всего ~1,000 строк кода — легко читать, расширять и встраивать • Поддержка OpenAI, Anthropic, Mistral и других LLM-провайдеров • Нативные компоненты: агент, память, инструменты, цепочки • Интерфейс совместим с langchain и autogen, но гораздо проще 🚀 Что можно делать: • Создавать собственных агентов и наделять их инструментами • Интегрировать внешние API и базы данных • Вести диалоги, обрабатывать документы, выполнять цепочки задач • Быстро запускать эксперименты с собственными LLM-пайплайнами 🛠 Примеры в репозитории: - Агент с памятью и функцией поиска - Диалоговый бот с цепочкой инструкций - Генерация кода на основе естественного языка - Интеграция с HuggingFace и другими API 📚 Для кого подойдёт: • Тем, кто ищет простой аналог LangChain • Исследователям, которым нужно прозрачное поведение без «магии» • Разработчикам, экспериментирующим с LLM-агентами 🔗 GitHub

Вы когда-нибудь задумывались о том, что с помощью ИИ можно значительно ускорить время, затрачиваемое на поиск информации и повысить точность бизнес-решений? На вебинаре “LLM и RAG в действии: как ИИ уже помогает бизнесу работать эффективнее” мы покажем конкретные кейсы, включая реализованный проект внутри компании DSSL. А также: 1. Разберём, чем RAG отличается от fine-tuning. 2. Какие архитектуры применяются, и что выбрать для себя — облако или on-prem. 3. Как интегрировать AI-ассистента с Вашими системами и повысить эффективность исследований. Вебинар будет полезен тем, кто ищет практическое применение ИИ в компании уже сегодня. 📅 5 июня в 14:00 по Москве ➡️ Зарегистрироваться А еще все слушатели вебинара получат запись и презентацию выступающего, которые можно использовать в работе! Реклама. ООО "ДССЛ-ПЕРВЫЙ". ИНН 7701081730. erid: 2W5zFHrRukc

🧠 DataTune — простой способ оптимизировать датасеты для ИИ Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей. 🔥 Что делает DataTune: ▪ Автоматически находит и удаляет дубликаты ▪ Фильтрует нерелевантные, шумные и некачественные примеры ▪ Сортирует данные по «ценности» — оставляя то, что реально важно ▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets) 🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для: • Fine-tuning LLM • Подготовки eval-наборов • Фильтрации перед RAG 📦 Установка:

pip install datatune

https://github.com/vitalops/datatune @data_analysis_ml

🚀 AGI уже в 2025? Сэм Альтман (OpenAI) и Илон Маск (xAI) — дали самые смелые прогнозы в индустрии. Оба уверенно заявляют: AGI появится до конца 2025 года. 🧠 Альтман: "Теперь мы уверены, что знаем, как построить AGI"

⚡️Кто такие дата-инженеры и почему без них не обойтись современному бизнесу? Сейчас каждая компания собирает тонны данных: продажи, клиенты, маркетинг, логистика. Но сырые цифры бесполезны, если их нельзя превратить в понятные отчёты и выводы. Приглашаем вас на вебинар 3 июня в 18:30 по МСК, где наш новый спикер — Владислав Вареник, Data Engineer в Сравни.ру — расскажет кто такие дата-инженеры и как они ускоряют работу бизнеса. Что вы узнаете на вебинаре? 🟠Поговорим о профессии дата-инженера и почему эта профессия востребована. 🟠Как устроен процесс работы с данными. 🟠Как автоматизировать отчёты с помощью dbt и SQL. 🟠Пример из реальной практики. Даже если вы далеки от аналитики — покажем, как начать с нуля и быстро получить результат. Не упустите шанс научиться тому, что будет цениться ещё десятки лет! 🚀 🕗 Встречаемся 3 июня в 18:30 по МСК 😶Зарегистрироваться на бесплатный вебинар

🎥 Video-XL-2 — модель для понимании длинных видео Многие модели хорошо справляются с бенчмарками, но начинают "захлёбываться", когда ролики становятся длиннее. Video-XL-2 создана, чтобы работать быстро и эффективно с длинными видео, не теряя в качестве. 🔑 Ключевые особенности: • ⚡ Высокая скорость + низкое потребление памяти • 🎯 SOTA-показатели среди open-source моделей с аналогичным размером • 🔁 Поддержка до 10 000+ кадров на одной GPU • 🧩 Инновации в архитектуре: chunk-based pre-filling и выборочное KV-декодирование 📊 Результаты на бенчмарках: • MLVU — 74.9 • VideoMME — 66.4 • LVBench — 48.6 При этом модель использует меньше FLOPs, чем конкуренты, даже на больших входных данных — это говорит об отличной энергоэффективности. 🧪 Хорошо справляется с задачами: – Понимание длинных видеороликов – Поиск по видео – Временная локализация событий (Temporal Grounding) 📎 Подробнее и демо @data_analysis_ml #AI #VideoUnderstanding #ML #LLM #Multimodal #BAAI

📄 ColQwen2: поиск по документам с учётом визуального оформления ColQwen2 — это модифицированная версия модели ColPali, предназначенная для поиска документов по их визуальным признакам, а не только по тексту. 🔧 Как работает: • Каждая страница обрабатывается как изображение • Используется Qwen2-VL для извлечения не только текста, но и таблиц, графиков, макета • Создаются мультивекторные эмбеддинги • Поиск основан на сравнении этих векторов (late interaction) 📌 Зачем это нужно: Такой подход помогает точнее находить нужные документы — особенно если они содержат сложную структуру, таблицы или нестандартный формат. Подходит для: – PDF-файлов – Отсканированных документов – Презентаций и отчётов с визуальными элементами https://huggingface.co/docs/transformers/main/en/model_doc/colqwen2 @data_analysis_ml #Qwen

✔️ 13 полезных MCP-серверов, которые стоит попробовать MCP (Model Context Protocol) меняет то, как ИИ-модели и агенты взаимодействуют с инструментами. 1. Agentset MCP 🔗 https://github.com/agentset-ai/mcp-server Быстрое создание интеллектуальных приложений на основе документов (RAG) с open-source платформой Agentset. 2. GitHub MCP Server 🔗 https://github.com/github/github-mcp-server Интеграция с API GitHub — можно строить ИИ-инструменты, работающие с экосистемой GitHub. 3. arXiv MCP 🔗 https://github.com/andybrandt/mcp-simple-arxiv Работа с научными статьями arXiv: поиск, метаданные, аннотации, ссылки — всё через MCP. 4. MCP Run Python 🔗 https://github.com/pydantic/pydantic-ai/tree/main/mcp-run-python Запуск Python-кода в песочнице через Pyodide (Deno). Полная изоляция от ОС. 5. Safe Local Python Executor 🔗 https://github.com/maxim-saplin/mcp_safe_local_python_executor Безопасный локальный запуск Python-кода, сгенерированного LLM, через LocalPythonExecutor (от smolagents). 6. Cursor MCP Installer 🔗 https://github.com/matthewdcage/cursor-mcp-installer Автоматическое добавление MCP-серверов в редактор Cursor — удобно для разработчиков. 7. Basic Memory 🔗 https://memory.basicmachines.co/docs/introduction Система управления знаниями: создаёт устойчивый семантический граф из диалогов ИИ-агентов. 8. Filesystem MCP Server 🔗 https://github.com/modelcontextprotocol/servers/tree/HEAD/src/filesystem Чтение, запись, поиск файлов, создание, удаление и перемещение директорий — всё через MCP. 9. Notion MCP Server 🔗 https://github.com/makenotion/notion-mcp-server Позволяет моделям управлять вашим рабочим пространством в Notion: поиск, чтение, создание и обновление страниц и баз. 10. Markdownify MCP Server 🔗 https://github.com/zcaceres/markdownify-mcp Конвертирует PDF, изображения, аудио и веб-страницы в Markdown. 11. Fetch MCP Server 🔗 https://github.com/modelcontextprotocol/servers/tree/main/src/fetch Позволяет LLM извлекать данные с веб-страниц и автоматически преобразовывать HTML в Markdown. 12. Mobile Next MCP Server 🔗 https://github.com/mobile-next/mobile-mcp Взаимодействие с iOS/Android-приложениями: распознавание UI по скриншотам, автоматизация кликов. 13. MCP Installer 🔗 https://github.com/anaisbetts/mcp-installer Шутливо, но по делу: «MCP для установки MCP». Модель сама ставит MCP-серверы из npm и PyPi по вашему запросу. 🧠 Вывод: MCP-серверы — это мост между LLM и реальными действиями: код, браузер, мобильные приложения, знания, GitHub, файлы. Их можно комбинировать в цепочки, расширять ассистентов, строить автономные агенты. @data_analysis_ml #ml #ai #MCP

🏸 Робот, который играет в бадминтон — и делает это всерьёз Учёные научили четвероногого робота играть в бадминтон. Не просто двигаться — а видеть волан, рассчитывать траекторию, подходить к мячу и точно отбивать его. Всё это в реальном времени, в движении, на настоящей площадке. 🔬 Как это работает: - 🤖 Reinforcement Learning — робот учится на собственных ошибках - 👁 Компьютерное зрение — отслеживание волана даже с шумами, как в реальных камерах - 🧠 Модель предсказания траектории — чтобы "читать" мяч как опытный игрок - 🦿 Координация движения ног и руки — не падать и успевать отбивать 💥 Что получилось: Робот реально может играть против человека. Он не просто двигается — он принимает решения, адаптируется и бьёт по мячу в прыжке. Это не анимация. Это реальный робот. И это уже работает. Спорт — идеальная проверка для ИИ: реакции, зрение, моторика, стратегия. И этот робот сдал экзамен. @data_analysis_ml

🧰 MCP Tools — универсальный CLI-инструмент для работы с MCP-серверами Это настоящий швейцарский нож для взаимодействия с серверами, поддерживающими Model Context Protocol. 🔧 Возможности MCP Tools: • 🔍 Автоматически находит и вызывает инструменты на MCP-серверах • 📦 Получает доступ к ресурсам и использует их прямо из терминала • 🧪 Создаёт мок-серверы для тестирования клиентских приложений • 🧩 Проксирует MCP-запросы в shell-скрипты — легко расширяется • 🖥 Открывает интерактивную оболочку для изучения MCP-серверов • 🚀 Генерирует шаблоны новых проектов с поддержкой TypeScript • 🧾 Поддерживает множество форматов вывода: JSON, таблицы, читабельный текст • 🔐 Управляет доступом к отдельным инструментам и ресурсам • 🌐 Работает с любыми транспортами: HTTP, stdio и другими 📎 MCP Tools объединяет мощь, гибкость и удобство в одном инструменте. Идеально подходит для разработчиков, работающих с LLM-инфраструктурой и AI-интерфейсами. 🖥 Github @data_analysis_ml

🚀 Resemble AI открыли исходный код Chatterbox — передовой модели клонирования голоса нового поколения. Chatterbox объединяет синтез речи (TTS) и voice conversion, позволяя не только генерировать, но и трансформировать голос. 📊 В слепом тестировании 63,75% слушателей выбрали Chatterbox вместо ElevenLabs. ⚡️ Модель распространяется бесплатно и с открытым исходным кодом под MIT-лицензией. 💻 Установка: pip install chatterbox-tts 🔗 Полезные ссылки: Демо-примеры: https://resemble-ai.github.io/chatterbox_demopage/ GitHub: https://github.com/resemble-ai/chatterbox Hugging Face: https://huggingface.co/spaces/ResembleAI/Chatterbox Статистика: https://podonos.com/resembleai/chatterbox Chatterbox — альтернатива, которая звучит лучше, чем коммерческие аналоги.

🧠 Sakana AI представили Darwin Gödel Machine — саморазвивающийся ИИ, который переписывает собственный код https://sakana.ai/dgm Darwin Gödel Machine (DGM) — это новый тип интеллектуального агента, способного модифицировать и улучшать самого себя. В отличие от традиционных моделей, чьи возможности фиксированы после запуска, DGM задуман как эволюционирующий ИИ. 📌 Ключевая идея: поддержка «линейки вариантов» — разных версий агента, которые постепенно эволюционируют и исследуют пространство решений. Это позволяет системе улучшаться открыто и без ограничений, как это происходит в биологической эволюции. 📊 Результаты: • На SWE-bench точность выросла с 20.0% до 50.0% • На Polyglot — с 14.2% до 30.7%, заметно превзойдя hand-crafted baseline-агенты 🌱 Darwin Gödel Machine предлагает подход, при котором ИИ не просто обучается, а становится способным к собственному развитию и самокоррекции. 📄 Технический отчёт: https://arxiv.org/abs/2505.22954 @data_analysis_ml

🔁 BERT перезагружается — революция в обработке языка Когда-то BERT (Bidirectional Encoder Representations from Transformers) стал поворотной точкой в NLP. Это была первая модель, которая обучалась трансформеру двунаправленно — она одновременно учитывала контекст и слева, и справа от каждого слова, чтобы понимать язык глубже, чем когда-либо. 🧠 Что изменил BERT: • Принёс в трансформеры стратегию «предобучение → дообучение» • Учил модели понимать текст без ручной разметки • Доказал, что язык можно моделировать через простые, но мощные задачи 🛠 Как устроено предобучение BERT: 🔹 MLM (Masked Language Model) Модель случайно скрывает 15% слов в предложении и учится угадывать их, основываясь на окружающем контексте. Примерно как человек, который понимает фразу, даже если не видит пару слов. 🔹 NSP (Next Sentence Prediction) BERT также обучался распознавать, действительно ли второе предложение логически следует за первым. Но… ⚡ Современные версии (NeoBERT, ModernBERT) отказываются от NSP — вместо него они используют более быстрые и эффективные подходы, чтобы добиться лучшей производительности. 🔍 Хотите узнать больше о BERT, его развитии и новой модели ConstBERT для поисковых задач? 👉 Читайте разбор здесь: https://turingpost.com/p/bert

YTsaurus - платформа для хранения и обработки больших данных, теперь доступная в Yandex Cloud как управляемый сервис. Решение подходит для широкого спектра задач: от построения корпоративных хранилищ и реализации ETL-процессов до запуска аналитики и обучения моделей машинного обучения. Платформа масштабируется до миллионов вычислительных ядер, поддерживает работу с ClickHouse, Apache Spark и MapReduce, а также справляется с любыми типами данных - структурированными, полуструктурированными и неструктурированными. YTsaurus обеспечивает стабильную производственную нагрузку, высокую гибкость и интеграцию с существующими дата-инфраструктурами. Сервис уже доступен в облаке. Подключайтесь и оставляйте заявку на сайте.

🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0 Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры. Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости. 🔥 Что нового: • 💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов • 🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками • ⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах • 📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др. • 🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам • 🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций 📌 Подробности и тесты: https://www.databricks.com/blog/introducing-apache-spark-40 @data_analysis_ml

📣 Получите статус Yandex DataLens Certified Analyst ⠀ Сертификация DataLens Analyst от Yandex Cloud — это возможность структурировать знания и подтвердить свой профессиональный уровень в анализе и визуализации данных. ⠀ Сертифицированные специалисты ценятся на рынке выше, а подготовка к экзамену помогает систематизировать навыки: от создания датасетов до проектирования дашбордов. ⠀ Сейчас пройти сертификацию можно с 50% скидкой — до конца августа стоимость составит 2 500 ₽ вместо 5 000 ₽. ⠀ На сайте есть бесплатный курс и примеры экзаменационных заданий. ⠀ 📍Подробности и регистрация — по ссылке.

🤖 best-of-robot-simulators: крупнейший рейтинг симуляторов для робототехники Проект — это автоматизированная и регулярно обновляемая подборка лучших симуляторов для робототехники на GitHub. Это must-have для всех, кто работает с моделированием и тестированием роботов в виртуальной среде. 🧩 Что внутри: ● 120+ симуляторов в 10 категориях ● Более 300 000 звёзд в сумме ● Автоматическая сортировка по GitHub-метрикам: звёзды, форки, активность ● Обновляется каждую среду 📂 Категории симуляторов: • Generic Robotics • Aerial (дроны) • Maritime (морская робототехника) • Space • Domain Specific • Game engines • AI-training • Rendering • Physics engines • 2D Simulators 🔍 Примеры известных фреймворков: • Gazebo, Webots, Isaac Sim, MuJoCo, AirSim, PyBullet 🛠 Полезно для: • Разработчиков и исследователей • Студентов робототехники • Команд, выбирающих движок под проект • Энтузиастов AI/симуляции 📎 Лицензия: CC-BY-SA 4.0 🌐 Репозиторий #robotics #AI #simulation #opensource #gazebo #webots #isaacsim #mujoco

🌟 Hunyuan Video Avatar: видео-аватары с контролем эмоций. Вслед за релизом Hunyuan Portrait, Tencent выпустила Hunyuan Video Avatar - систему на базе MM-DiT для генерации динамичных видео из изображения с одним или несколькими персонажами, синхронизированных с аудио. Объединить такие возможности было непростой задачей, это стало возможным благодаря использованию ключевых для Hunyuan Video Avatar методов: 🟢Сharacter image injection module - отвечает за то, чтобы "оживший" персонаж на видео оставался очень похожим на того, кто был на исходной фотографии. Он следит, чтобы черты лица, прическа, общие контуры не искажались и персонаж был узнаваем на протяжении всего ролика, а его движения были естественными. 🟢Audio Emotion Module (AEM) - контролирует соответствие эмоций на лице голосу из аудиоисточника, чтобы выражение лица персонажа на видео точно совпадало с эмоциональной окраской звуковой дорожки. 🟢Face-Aware Audio Adapter (FAA) - помогает "понять", к какому именно лицу в данный момент относится звучащая речь. Он как бы надевает "умную маску" на лицо нужного персонажа, чтобы только его мимика оживала в ответ на конкретную аудиодорожку. По сравнительных тестах с Sonic, EchoMimic, EchoMimicV2 и Hallo-3 на датасетах для портретной анимации (HDTF, CelebV-HQ и свой приватный сет) Hunyuan Video Avatar показал лучшие результаты: 3,99 в метриках качества видео (IQA), 2,54 по эстетике (ASE), 5,30 в синхронизации аудио и видео (Sync-C), 38.01 в точности воспроизведения видео (FID) и 358.71 по искажениям (FVD). При тестировании полнокадровой анимации на собственном датасете HunyuanVideo-Avatar показал лучшие результаты по IQA (4.66), ASE (3.03) и Sync-C (5.56) в сравнении с Hallo3, FantasyTalking и OmniHuman-1. ⚠️ Модель прожорливая: минимум 24 ГБ VRAM для 704x768, а для плавного 4K рекомендуют GPU на 96 ГБ. Зато входные изображения берет любые: фотореалистичные портреты, 3D-модели, аниме-персонажи — хоть лису в костюме. Разрешение тоже гибкое: от крупных планов до полноростовых. ▶️В репозитории проекта на Github есть несколько скриптов в помощь для запуска: для low VRAM, инференса на одном GPU , для multi-GPU и запуска с WebUI на базе Gradio. Адаптация к среде ComfyUI - в планах. 🟡Страница проекта 🟡Модели 🟡Arxiv 🟡Demo (китайский язык) 🖥GitHub @ai_machinelearning_big_data #AI #ML #HunyuanAvatar

🧠 PKU-DS-LAB представили Fairy-R1 — мощную LLM-модели для математики и программирования, которая превосходит более крупные модели при меньшем числе параметров. 🚀 Что такое Fairy-R1: • Это семейство языковых моделей, разработанных для задач математического и кодингового рассуждения • Построены на базе DeepSeek-R1 с использованием метода distill-and-merge • Выпущены две версии: — FairyR1-32B (32B параметров) — FairyR1-14B-Preview (14B параметров) 📊 Результаты на бенчмарках: • AIME 2024: 80.4 (32B), 73.7 (14B) • AIME 2025: 75.6 (32B), 64.9 (14B) • LiveCodeBench: 67.7 (32B), 58.8 (14B) 📌 Почему это важно: • Модели работают почти так же точно, как GPT-4, но в 20 раз легче • Умеют обрабатывать задачи на английском и китайском • Используют архитектуру слияния нескольких специализаций (AcreeFusion) 🛠 Как обучали: • Математика: AIMO / NuminaMath-1.5 • Программирование: OpenThoughts-114k • Обучение: на 32 × NVIDIA H100 (32B), 16 × H100 (14B) • Доступ: полностью open-source (Apache 2.0) 🔗 https://huggingface.co/collections/PKU-DS-LAB/fairy-r1-6834014fe8fd45bc211c6dd7 @data_analysis_ml @data_analysis_ml