Анализ данных (Data analysis)

🔍 AgentOps — платформа для мониторинга AI-агентов. Проект предлагает готовые интеграции с популярными фреймворками вроде LangChain и AutoGen — достаточно добавить всего пару строк кода для подключения мониторинга. Интересный момент: система умеет отслеживать не только ошибки, но и затраты на LLM-запросы, что особенно актуально для продакшн-сред. 🤖 GitHub

Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии! 🧠 Программа — интенсивная, актуальная, от лидеров индустрии. С 30 июня по 12 июля вы погрузитесь в мир распределённых хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А ещё познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке! 🏙 Кампус — в самом центре Санкт-Петербурга. Несмотря на то, что студкемп проходит на базе ИТМО, заявки ждут от студентов из любых вузов и регионов России. Проезд и проживание будут оплачены Яндекс Образованием, так что вам останется сосредоточиться на главном — знаниях, опыте и новых возможностях. 🕐 Регистрация — открыта до 4 мая, но подать заявку можно уже сейчас! Если давно хотели пообщаться с топовыми айтишниками и почувствовать, каково это — учиться в одном из ведущих технических вузов, не откладывайте и заполняйте анкету по ссылке.

🧩 Rivet — визуальная среда для создания сложных AI-агентов. Этот проект предлагает необычный подход к работе с LLM: вместо написания цепочек промптов в коде, вы собираете их как ноды в визуальном редакторе. Особенность инструмента возможность встраивать созданные графы прямо в ваше приложение через TypeScript-библиотеку. Это превращает его из просто IDE в инструмент для production-разработки. 🤖 GitHub @data_analysis_ml

Магистратура от VK и МФТИ — буст для вашей карьеры в ИИ- и ML-сферах С первого семестра на программе «Искусственный интеллект и социальные медиа» — практика в VK AI и обучение на реальных кейсах у экспертов компании. После сможете претендовать на вакансии ИИ-исследователей, ML- и NLP-инженеров, дата-аналитиков, разработчиков ПО, рекомендательных систем и поисковых технологий. Сомневаетесь? Протестируйте направление на программе для абитуриентов от VK Education. Это 2,5 месяца интенсивной практики. Выпускники получат рекомендательные письма от VK в портфолио. 🔗 Больше о программе

🔥 Tina: Tiny Reasoning Models via LoRA — это работа, в которой показано, как можно эффективно обучить небольшие llm (1.5B параметров) для reasoning задач , с помощью 🔧 LoRA + RL. 🧪 Что сделали: Разработчики взяли 1модель 5B параметров, дообучили её, используя LoRA-RL на качественно отобранных reasoning-задачах. Потратили всего $9. Получили +20% улучшения и 43% на бенчмарке AIME24. ✅ LoRA-RL > Full RL: Дообучение через LoRA работает лучше, чем RL и гораздо дешевле. Лучшие результаты модели совпадают не с пиками точности, а с моментами, когда модель меняет стиль ответа (формат/структуру), подстраиваясь под формат вознаграждения. Модель обучается эффективно изменять структуру рассуждений, сохраняя своё "ядро знаний". 📌 Модели: https://huggingface.co/Tina-Yi 📌Сататья: https://arxiv.org/abs/2504.15777 📌Релиз: https://shangshangwang.notion.site/tina @data_analysis_ml

📎 X-AnyLabeling — профессиональный инструмент для автоматической разметки данных с интегрированным ИИ. Он представляет собой расширенную версию популярного AnyLabeling, дополненного промышленными функциями для профессионального использования. Проект поддерживает работу как с изображениями, так и с видеофайлами, включая сложные задачи трекинга объектов в потоковом режиме. Все благодаря встроенной интеграции с более чем 20 современными моделями компьютерного зрения, а также гибкой системе работы с форматами аннотаций, охватывающая все основные стандарты отрасли 🤖 GitHub @data_analysis_ml

✔️ OpenAI добавляет невидимые символы в инференс моделей o3 и o4-mini. Платные подписчики ChatGPT получили доступ к обновлённым моделям o3 и o4-mini в середине апреля, но пользователи быстро заметили странности: в длинных текстах появляются невидимые Unicode-символы - "Неразрывные пробелы" (U+202F). Они выглядят как обычные пробелы, но обнаруживаются через специальные инструменты. Стартап RumiAI проанализировал ситуацию и предположил, что это попытка добавить водяные знаки для отслеживания ИИ-генерации. Однако символы легко удалить через поиск-замену, что ставит под вопрос их эффективность. Альтернативная версия — модели просто переняли форматирование из обучающих данных, где неразрывные пробелы используются для предотвращения разрывов строк. OpenAI пока не дала никаких комментариев о причинах появления непечатных символов в результатах генерации. winbuzzer.com ✔️ CharacterAI запускает AvatarFX: генерация видео с ИИ. CharacterAI представила AvatarFX — систему, которая превращает изображения в говорящие, поющие и эмоционирущие видео за пару кликов. Технология сочетает фотореализм, синхронизацию движений губ, тела и рук, а также поддержку длинных роликов. Под капотом — модифицированная архитектура DiT с flow-based диффузионными моделями, которые обучаются на разнообразных данных: от реалистичных людей до анимированных объектов. От конкурентов систему отличает работа с готовыми изображениями (не только текстовыми описаниями), поддержка нескольких говорящих в кадре и стабильность анимации. Первыми доступ к AvatarFX получат подписчики CAI+. Остальным придется подождать или записаться в лист ожидания. blog.character.ai ✔️ Dia: открытая ИИ-модель для генерации речи с контролем над интонацией и невербальными элементами. Два корейских студента без глубокого опыта в ИИ разработали Dia — модель для создания подкаст-диалогов, способную конкурировать с Google NotebookLM. Используя TPU от Google, они обучили модель на 1,6 млрд. параметров, которая позволяет настраивать тон голоса, добавлять паузы, смех и клонировать голоса. Dia доступна на Hugging Face и GitHub, для запуска на ПК нужен GPU от 10 ГБ VRAM. В отличие от аналогов, Dia даёт пользователям контроль над сценарием: можно прописать реплики, выбрать «характер» говорящего или загрузить образец для клонирования. Короткое тестирование, проведенное редакцией TechCrunch показало, что Dia справляется с диалогами на любые темы, а качество голосов не уступает коммерческим решениям. techcrunch.com ✔️ Physical Intelligence выпустила модель для робототехники π-0,5. Physical Intelligence представила модель π0.5 — шаг к роботам, которые справляются с задачами в совершенно новых условиях. В отличие от предшественников, эта система на базе VLA обучалась на разнородных данных: от распознавания объектов до демо движений роботов. Это позволяет ей понимать не только как действовать, но и что именно делать в незнакомой среде — например, класть посуду в раковину, даже если раньше её не видела. Модель анализирует семантику задачи, разбивает её на шаги и генерирует команды для моторных систем. π0.5 умеет реагировать и на голосовые команды разной детализации — от «убери посуду» до точечных указаний. В планах — улучшение автономного обучения и запросов помощи в сложных ситуациях. physicalintelligence.company ✔️ Фильмы с ИИ смогут претендовать на «Оскар». Академия киноискусств официально разрешила номинировать на «Оскар» фильмы, созданные с использованием ИИ. Как заявили организаторы, технологии генеративного ИИ не станут преимуществом или препятствием при оценке. Но теперь, чтобы голосовать в финале, члены Академии обязаны посмотреть все номинированные работы — это часть новых правил. Несмотря на прогресс, споры вокруг ИИ не утихают. Актеры и сценаристы опасаются, что алгоритмы заменят их в создании сценариев или дубляжа. Хотя некоторые студии уже внедряют ИИ, аниматоры и режиссеры сомневаются: технологии пока не способны конкурировать с эмоциональной глубиной человеческой работы. bbc.com @ai_machinelearning_big_data #news #ai #ml

❓ Как повысить свои навыки в аналитике данных за 90 минут? Прийти на бесплатный практический урок 28 апреля, где мы расскажем, как эффективно работать с данными с помощью Python и Pandas: как заполнять пропуски, устранять дубликаты и правильно работать с выбросами. 👥 Кому будет полезен вебинар? - тем, кто только начинает свой путь в Data Science и хочет освоить базовые навыки - тем, кто работает с данными в электронных таблицах, но хочет перейти на Python и Pandas - тем, кто сталкивался с ошибками при анализе из-за «мусора» в данных - тем, кто планирует изучать машинное обучение (ML), где чистота данных критически важна 📍 Зарегистрируйтесь и получите скидку на большое обучение «Специализация Machine Learning»: https://otus.pw/iYWj/?erid=2W5zFG4k8bA Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🗣 Dia — это новаяоткрытая модель текст‑в‑речь от Nari Labs с 1.6 млрд параметров, способная генерировать полноценный диалог с богатой экспрессией. Ключевые возможности: - Ультра‑реалистичный диалог. Генерация согласованных реплик двух «говорящих» персонажей, помеченных тэгами [S1] и [S2] в одном тексте. - Эмоции и тон. Можно задавать тональность и интонацию через акустический запрос (audio prompt), а также управлять «невербалкой»: смех, кашель, вздохи и т. д. - Voice cloning. Клонирование голоса по короткому образцу: подгрузите аудио и его транскрипт, и модель адаптируется под заданный тембр GitHub Модель написана на Python (100 % кода) с использованием PyTorch 2.0 и CUDA 12.6 Производительность и требования: Полная версия требует ≈10 GB VRAM; в будущем планируется квантование модели. Установка и запуск: pip install git+https://github.com/nari-labs/dia.git git clone https://github.com/nari-labs/dia.git cd dia uv run app.py # или python app.py В интерфейсе Gradio сразу можно оценить разницу с ElevenLabs и Sesame CSM‑1B Лицензия: Apache 2.0. Dia отлично подходит для ML‑исследований в TTS: вы получаете открытые весовые файлы, гибкий API для скриптов и UI для быстрой проверки гипотез. На данный момент Dia поддерживает генерацию речи только на английском языке ▪Demo ▪Github ▪HF @data_analysis_ml

🔧 LMOps — исследовательская платформа Microsoft для работы с LLМ. В данном проекте собраны ключевые разработки, включая Promptist и LLMA. Особый интерес представляет исследование in-context learning — авторы показали, что LLM неявно выполняют тонкую настройку через механизмы внимания. Проект активно развивается: только за 2024 год вышло 6 статей на EMNLP с новыми методами retrieval-augmented generation и alignment. 🔗 GitHub @data_analysis_ml

Поступление в ШАД: даже одна попытка откроет путь к большим возможностям! Попробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечён Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если вас тянет к задачам, над которыми ломают голову лучшие умы, — попробовать точно стоит! В ШАДе вас ждёт не просто теория — здесь с первого дня погружаются в практику: осваивают сложные концепции машинного обучения, решают ИИ-задачи, которые вчера казались невозможными, и получают мощный буст для карьеры. Создавать инновационные решения, продвигать науку, запускать стартапы или делиться опытом — всё это доступно выпускникам ШАДа! Если хотите стать одним из них, не теряйте времени — подайте заявку до 4 мая! Классные плюшки: обучение бесплатное, а если в вашем городе нет филиала, заниматься можно онлайн. Не упустите шанс: попробуйте поступить и откройте перед собой новые горизонты!

🔮 Instill Core — универсальный инструмент для работы с неструктурированными данными. Этот open-source проект предлагает комплексное решение для ETL-обработки, подготовки данных для ИИ и развертывания LLM-моделей. Платформа объединяет в единый workflow обработку документов, изображений и видео, что особенно ценно для RAG-сценариев и построения AI-пайплайнов. Instill Core легко встраивается в существующие системы через Python/TypeScript SDK или CLI. Локальный запуск возможен через Docker, а готовые рецепты позволяют быстро развернуть парсинг PDF, веб-скрапинг или сегментацию изображений. 🔗 GitHub @data_analysis_ml

В основе любого сильного проекта стоит сильный специалист. В IT-мире сложно представить востребованного специалиста, который не разбирается в том, как работают: архитектура, API, базы данных, алгоритмы. Без этого никуда. И не страшно, если вы пока плохо разбираетесь в каких-то современных системах. Хуже, если продолжаете игнорировать свои пробелы в hard skills. Начните с бесплатных уроков по архитектуре и интеграциям: ▪️мощный инструмент — SOAP UI ▪️подробное описание процесса загрузки сайта ▪️модель TCP/IP и устройства ▪️XML — это вам не ХSD Присоединяйтесь в чат-боте по ссылке: 👇 @studyit_help_bot 🚀 Скидка на полный курс от канала — 1 000 ₽ на Stepik по промокоду DATAA до конца апреля

🔥 LLM Reasoners — это библиотека с открытым исходным кодом, разработанная для улучшения способности больших языковых моделей выполнять сложные рассуждения с использованием передовых алгоритмов! Она рассматривает многошаговые рассуждения как процесс планирования и поиска оптимальной цепочки рассуждений, достигая баланса между исследованием и эксплуатацией с помощью концепций "Мировой модели" и "Вознаграждения". 🔎 Основные особенности LLM Reasoners: 🌟 Современные алгоритмы рассуждений: Библиотека предлагает новейшие алгоритмы поиска для рассуждений с LLM, такие как Reasoner Agent, масштабирование на этапе вывода с помощью PRM, рассуждение через планирование, MCTS, Tree-of-Thoughts и другие. 🌟 Интуитивная визуализация и интерпретация: LLM Reasoners предоставляет инструменты визуализации, помогающие пользователям понимать процесс рассуждений. Даже для сложных алгоритмов, таких как Монте-Карло Tree Search, пользователи могут легко диагностировать и понимать процесс с помощью одной строки кода на Python. 🌟 Эффективные рассуждения с LLM: Библиотека оптимизирует производительность передовых методов рассуждений, интегрируя SGLang, высокопроизводительную инфраструктуру вывода LLM, поддерживающую структурированную генерацию. Также поддерживаются другие бэкенды LLM, такие как Huggingface Transformers, OpenAI API, Exllama, Fairscale, Llama.cpp и другие. 🌟 Строгая реализация и воспроизводимость: LLM Reasoners уделяет приоритетное внимание точности и надежности своих реализаций, обеспечивая, что алгоритмы не являются лишь теоретическими концепциями, а практически применимыми инструментами. Все методы тщательно разработаны, чтобы соответствовать их оригинальным формулировкам и производительности. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

🦾 Исследователи NYU представили RUKA (да-да) Это — открытый робот‑манипулятор с приводом на сухожилиях и 15 степенями свободы, стоимостью всего $1.3 тыс., который может работать 20 часов подряд без потери производительности. Он обучается моделям «сустав–привод» и «кончик пальца–привод» на основе данных системы захвата движения. 🔜 Подробнее @data_analysis_ml

✔️ Gemma 3 QAT — обновлённую версию своей модели Gemma 3, оптимизированную с помощью технологии Quantization-Aware Training (QAT). Эта модификация позволяет запускать модель на видеокартах с ограниченными ресурсами, сохраняя при этом высокое качество генерации.​ 🔍 Что нового в Gemma 3 QAT QAT-оптимизация: Благодаря использованию Quantization-Aware Training модель требует меньше оперативной памяти, что делает её доступной для запуска на более широком спектре устройств.​ Поддержка BF16: Gemma 3 QAT использует формат BFloat16, обеспечивая высокую производительность при меньших требованиях к вычислительным ресурсам.​ Улучшенная доступность: Теперь разработчики могут использовать мощные возможности Gemma 3 на стандартных GPU, таких как NVIDIA H100, без необходимости в специализированном оборудовании.​ Эти улучшения делают Gemma 3 QAT привлекательным выбором для разработчиков, стремящихся интегрировать передовые возможности ИИ в свои приложения без значительных затрат на оборудование.​ Подробнее о релизе можно узнать в официальном блоге Google: https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ @data_analysis_ml

🔥 Promptify: Python library for LLM Prompt Management В примере на картинке Promptify использует OpenAI для выполнения распознавания именованных сущностей (NER) в медицинском тексте. Она извлекает ключевые данные, такие как возраст, диагнозы и симптомы, из истории болезни пациента и структурирует их в удобный формат. - Что она делает: Берёт предложение: "Пациент — 93-летняя женщина с хронической болью в правом бедре, остеопорозом, гипертонией, депрессией и хронической фибрилляцией предсердий, поступившая для оценки и лечения сильной тошноты, рвоты и инфекции мочевыводящих путей." Выдаёт структурированные данные, выделяя сущности: 93-летняя → Возраст хроническая боль в правом бедре → Медицинское состояние сильная тошнота и рвота → Симптом Плюс метаданные: Отделение: Внутренняя медицина, Группа: Гериатрия Почему это круто: - Упрощает создание промптов для задач NLP. - Поддерживает модели вроде GPT, PaLM и другие. - Выдаёт структурированный результат (списки, словари) для лёгкой обработки. pip3 install promptify 🖥 Github #Python #ИИ #NLP #Promptify #МашинноеОбучение

Мечтаешь хакнуть свою продуктивность с помощью ИИ? Приходи на AI-митап в Нижнем Новгороде! 👌 📍 Встречаемся 24 апреля в 18:00 по адресу: ул. Октябрьская, 35, пространство «Гараж». Регистрируйся на митап и готовься к апгрейду своих скиллов!

✔️ Tesla показала суперкомпьютер Dojo. Tesla опубликовала изображения своего суперкомпьютера Dojo - системы, созданной на заказ для обучения ИИ-моделей проекта полного автономного вождения (FSD). Фото были опубликованы 17 апреля не случайно - это совпало с недавним заявлением Илона Маска о расширении крупного вычислительного кластера в Giga Texas. Dojo полностью работает на чипах, разработанных Tesla. TeslaAI в Х (ex-Twitter) ✔️ Chatbot Arena трансформируется в отдельную компанию Arena Intelligence Inc. Популярная платформа для оценки ИИ-моделей Chatbot Arena, которую используют ведущие лаборатории ИИ, официально становится компанией Arena Intelligence Inc. Это позволит команде расширить ресурсы для развития сервиса, сохранив нейтралитет тестирования. Проект, запущенный в 2023 году исследователями из UC Berkeley, давно стал ключевым инструментом для сравнения языковых моделей — его рейтинги влияют на маркетинг и развитие ИИ. До сих пор Chatbot Arena работала на грантах и спонсорской поддержке от Kaggle, Google, Andreessen Horowitz и Together AI. bloomberg.com ✔️ Anthropic инвестирует 1 млн. долларов в Goodfire. Anthropic впервые инвестировала в стартап, поддержав Goodfire. Инвестиционный раунд, возглавляемый Menlo Ventures, собрал в общей сложности 50 миллионов долларов, а Anthropic внесла 1 миллион долларов. Goodfire специализируется на механистической интерпретации - методе, который помогает разработчикам понять, как работают системы ИИ, причем методы Goodfire считается более продвинутым, чем существующие инструменты, используемые Anthropic. theinformation.com ✔️ Википедия выпустила датасет для обучения ИИ. Википедия представила структурированный датасет на платформе Kaggle, чтобы облегчить разработчикам ИИ доступ к данным и снизить нагрузку на свою инфраструктуру. Вместо парсинга сырого текста ботамы, теперь доступны JSON-файлы на английском и французском языках с разделами статей, краткими описаниями, инфобоксами и ссылками на изображения. Датасет оптимизирован для ML-задач: файнтюна моделей, анализа и тестирования. Это часть стратегии Викимедии, которая не только экономит ресурсы Википедии, но и упрощает работу с контентом — вместо борьбы с ботами разработчики получают готовый инструмент. enterprise.wikimedia.com ✔️ Количество полностью сгенерированной ИИ-музыки выросло в 2 раза на платформе Deezer. Deezer, французский музыкальный стриминговый сервис, сообщил, что около 18 % песен, загружаемых на его платформу, создаются ИИ. Этот показатель непрерывно растет: ежедневно на платформу загружается около 20 000 композиций, созданных искусственным интеллектом, что почти вдвое больше, чем 4 месяца назад. Deezer внедрил инструмент обнаружения ИИ для выявления музыки, созданной с помощью Suno и Udio в январе 2025 года, когда ежедневное количество загружаемых песен, созданных ИИ, составляло около 10 000. billboard.com @ai_machinelearning_big_data #news #ai #ml

🎮 VideoGameBench — первый в своём роде бенчмарк, который проверяет возможности VLM в реальном времени играть в 20 классических игр для Game Boy и MS‑DOS: В списке есть: Doom II и Quake до Pokemon Red и Super Mario Land и другие. Например, при игре в Doom. Sonnet 3.7 прошёл дальше всех и даже нашёл «синюю комнату»! Режим реального времени: агент получает только raw‑фреймы и контролирует игру «на ходу» в режиме реального времени. VideoGameBench‑Lite: среда автоматически ставит игру на паузу, пока модель думает, чтобы убрать задержки инференса и дать время на обдуманные действия vgbench.com . Единый интерфейс: абстрагируем эмуляторы (PyBoy для Game Boy, DOSBox для MS‑DOS) и предоставляем API для передачи изображений, нажатий кнопок и проверки завершения игры vgbench.com Open‑source: код и примеры агентов доступны на GitHub — клонируйте, форкайте и тестируйте свои LLM/VLM‑агенты! vgbench.com 📂 Репозиторий: https://github.com/alexzhang13/videogamebench 🔗 Документация и примеры агентов: https://www.vgbench.com/ #VideoGameBench #VLM #AI #ReinforcementLearning #AIGC @data_analysis_ml