Анализ данных (Data analysis)

⚡ Verl – Volcano Engine Reinforc ement Learning for LLMs Проект, объединяющий методы обучения с подкреплением для улучшения работы языковых моделей. Отличается экспериментальным подходом и перспективой интеграции с популярными LLM. ▪Github @data_analysis_ml

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе? Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow. Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных. Что мы будем делать на вебинаре: 🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность; 🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных; 🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике; 🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов. 🕗Встречаемся 4 марта в 19:30 по мск Зарегистрироваться на бесплатный вебинар

📖 В этой статье авторы изучают, могут ли большие языковые модели решать задачи по определению неотрицательности многочленов! 🌟 Авторы создали набор данных SoS-1K с 1000 задачами разной сложности и обучили модель SoS-7B, которая превзошла более крупные LLM, такие как DeepSeek-V3 (671B) и GPT-4o-mini. Результаты показали, что без инструкций точность моделей была около 50%, но с правильными инструкциями она возрастала до 81%. 🔗 Ссылка: *клик* @data_analysis_ml

🔥 Невероятно полезный инструмент — Storm посещает сотни веб-сайтов и создает огромные статьи на заданную вами тему! 🔍 К сожалению, работает только на английском, однако ничего не мешает вам перевести получившуюся статью в любой другой нейросети. 🔗 Ссылка: *клик* @vistehno

🔥 Agentic Reward Modeling: Интеграция человеческих предпочтений с проверяемыми сигналами корректности для надежных систем вознаграждения! 💡 Данный репозиторий представляет собой реализацию системы вознаграждения, объединяющей модели вознаграждения с проверяемыми сигналами корректности из различных аспектов для обеспечения надежных вознаграждений. В частности, реализован агент вознаграждения под названием RewardAgent, который сочетает вознаграждения на основе человеческих предпочтений с двумя проверяемыми сигналами: фактичностью и следованием инструкциям, что обеспечивает более надежные вознаграждения. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

🧠 Сравнение 8 моделей img2vid. Напишите в комментариях - какой генератор используете вы. @data_analysis_ml

💥 Повышайте точность ML-моделей! Для достижения высокой точности в ML часто используют не одну, а несколько моделей, объединяя их в ансамбли.  Записывайтесь на бесплатный вебинар, где мы на практике разберём популярные методы ансамблирования: - Бэггинг снижает дисперсию модели, делая её устойчивее - Градиентный бустинг усиливает предсказания, обучая модели на ошибках 📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение. ➡️ Ссылка для регистрации: https://otus.pw/znbk/?erid=2W5zFGn7i5v #реклама О рекламодателе

🔥 ​CosyVoice — это многоязычная модель генерации речи, разработанная для создания естественного и выразительного синтеза голоса! 💡 Версия 2.0 предоставляет улучшенные возможности по сравнению с предыдущей версией, включая более точную и стабильную генерацию речи с уменьшенной задержкой. Модель поддерживает такие языки, как китайский, английский, японский, корейский и различные китайские диалекты. Кроме того, CosyVoice 2.0 интегрирует офлайн и потоковые технологии моделирования, обеспечивая задержку до 150 мс при сохранении высокого качества звука. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

🎮 Дэнни Лименсата (Danny Limensata) сделал целую игру с помощью Grok 3, создав этот готический шутер в стиле ретро Doom с нуля. На разработку ушло менее 24 часов, и выглядит он вполне приятно! @data_analysis_ml

Бесплатный вебинар, который поможет начать изучение Spark с нуля! 👨‍💻🛠👨🏻‍💻 Кому будет полезно? - Data-инженерам и аналитикам, работающим с большими объемами данных - Программистам, переходящим с других технологий обработки данных на Spark Не пропустите прямой эфир, где мы начнем изучение Big Data фреймворка и подробно разберем обработку графов с помощью Spark: - ключевые понятия, включая структуру графов, а также алгоритмы, доступные в библиотеках GraphX и GraphFrames - создание и обработку графов на основе различных типов данных - эффективную работу с большими графами - 2 популярных алгоритма для анализа данных: PageRank и Connected Components - интеграцию графов в проекты - практические примеры построения графов и их анализ Все участники вебинара смогут продолжить обучение на курсе «Spark Developer» с выгодной скидкой. ➡️ Регистрация: https://otus.pw/rAba/?erid=2W5zFJt5CPA #реклама О рекламодателе

🔥 GHOST 2.0 – open-source модель переноса головы от Sber AI и AIRI. На Habr вышла статья от разработчиков Sber AI и AIRI про свежее open-source решение по переносу головы на изображениях. Авторы рассказали, как GHOST 2.0 решает задачу headswap без видимых артефактов, сохраняя реалистичность и соответствие геометрии исходного лица. Важный этап обработки – использование Kandinsky 2.2, который упрощает адаптацию данных перед финальной генерацией. Среди других особенностей: • Улучшенный контроль за точностью замены головы; • Минимизация искажений при переносе текстур; • Полный open-source: код доступен для экспериментов и интеграции. 🔗 Ссылка: *клик* @data_analysis_ml

📖 В этой статье обсуждается улучшение оценки глубины сцены по одиночному изображению (monocular depth estimation, MDE) с использованием методов дистилляции знаний! 💡 Авторы анализируют различные стратегии нормализации глубины при дистилляции псевдометрических меток и выявляют, что глобальная нормализация может усиливать шум в псевдометрических метках, снижая эффективность дистилляции. В ответ на это они предлагают метод Cross-Context Distillation, объединяющий глобальные и локальные признаки для улучшения качества псевдометрических меток, а также многопедагогическую дистилляцию, использующую преимущества различных моделей оценки глубины. Эксперименты на эталонных наборах данных демонстрируют, что предложенный подход значительно превосходит современные методы как количественно, так и качественно. 🔗 Ссылка: *клик* @data_analysis_ml

🤖 Еще один день, еще один (китайский) гуманоидный робот: сегодня STAR1 демонстрирует возможности своего робота в задачах готовки. При такой скорости развития.год роботы будут в наших домах в ближайшее время.

✔️ Hume AI открыла доступ к Octave: ТTS-модель, которая умеет говорить с эмоциями. Octave, TTS-модель, анонсированная в конце декабря 2024 года, стала доступной через web и API. Модель умеет не просто "читать" слова, а понимает их смысл в контексте. Octave способна отыгрывать персонажей, генерировать голоса по запросу и изменять эмоциональную окраску и стиль речи. Благодаря функции Voice Design, Octave может создать любой ИИ-голос по текстовому описанию. От "терпеливого, чуткого консультанта с голосом ASMR" до "средневекового рыцаря" – Octave воплотит любую фантазию. В ближайшем будущем планируется запуск функции клонирования голоса. В ходе слепого сравнительного исследования, Octave превзошла систему ElevenLabs Voice Design по качеству звука (71,6%), естественности (51,7%) и соответствию голоса заданному описанию (57,7%). hume.ai @data_analysis_ml

🔥 Это — подробное руководство по созданию и пониманию AI-агентов — автономных систем, которые могут анализировать информацию, принимать решения и выполнять задачи! 🔗 Ссылка: *клик* @data_analysis_ml

⚡️ DeepSeek-R1-FP4 от NVIDIA привлекает внимание тем, что сочетает в себе передовые идеи для быстрого и эффективного поиска по мультимедийному контенту. Главное, что здесь сделано по-новому — это применение 4-битной точности (FP4) для представления данных. Такая оптимизация позволяет существенно снизить затраты памяти и ускорить вычислительный процесс, что особенно важно при работе с огромными массивами изображений или видео. Суть подхода в том, что система сначала «вчитывается» в контент, извлекая из него ключевые признаки, а затем преобразует их в компактные векторные представления. Эти векторы отражают глубокую семантику, а не просто поверхностные характеристики, поэтому поиск становится более осмысленным. При запросе система сравнивает вектор, соответствующий запросу, с уже сохранёнными представлениями, находя наиболее похожие и релевантные результаты. Такой метод особенно интересен для приложений, где необходимо работать с мультимодальными данными — будь то поиск похожих сцен в видеоархивах или сопоставление изображений с текстовыми описаниями. Оптимизация под современные аппаратные решения от NVIDIA делает эту модель подходящей для интеграции в реальные системы, где скорость и эффективность поиска играют ключевую роль. В общем, DeepSeek-R1-FP4 — это пример того, как современные технологии позволяют не только повысить качество поиска, но и сделать его более доступным с точки зрения вычислительных ресурсов. huggingface.co/nvidia/DeepSeek-R1-FP4

Победи DeepFake! Участвуй в Kryptonite ML Challenge и создай решение для распознавания лиц. Призовой фонд – 600 000 рублей. Регистрация до 28 февраля: https://cnrlink.com/kryptonitemldsmath Приглашаем молодых специалистов и профессионалов в областях Data Science, Machine Learning и Computer Vision. Тебе предстоит создать модель, которая умеет: 🔹 распознавать фальшивые изображения; 🔹 сравнивать реальные фотографии одного и того же человека; 🔹 различать снимки разных людей. Участвуй и ты сможешь: 🔸 получить шанс разделить призовой фонд в 600 000 рублей; 🔸 разработать решения в области Machine Learning и Computer Vision; 🔸 прокачать скиллы в Computer Vision, Metric Learning и Face Recognition. Этапы Kryptonite ML Challenge: ▪️ 1-28 февраля. Регистрация участников ▪️ 1 марта. Открытие хакатона ▪️ 1-9 марта. Работа над проектами ▪️ 16 марта. Питчинг и награждение победителей Зарегистрируйся сейчас: https://cnrlink.com/kryptonitemldataanalysis?erid=2W5zFHUGRex Реклама. АО "НПК "КРИПТОНИТ". ИНН 9701115253.

🔥 Memobase — это система памяти, ориентированная на профили пользователей, разработанная для интеграции долговременной памяти в генеративные AI-приложения! 🌟 Она позволяет виртуальным компаньонам, образовательным инструментам и персональным ассистентам запоминать, понимать и адаптироваться к своим пользователям. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

AI-буткемп от red_mad_robot: получи практические навыки в новых AI-профессиях NLP и MarkUp red_mad_robot — технологическая компания с широкой экспертизой в запуске цифровых продуктов и бизнесов. Мы развиваем собственный центр исследований и разработки ИИ-решений и обучаем специалистов в сфере GenAI. Сейчас мы запускаем AI-буткемп — это 4 недели интенсивной практики с экспертами red_mad_robot, которые помогут тебе освоить новые востребованные навыки в AI-разработке. Ты можешь выбрать одно из двух направлений – NLP-инженер — будешь работать с языковыми моделями (Chat GPT, LLaMA, Claude), настраивать промты, обрабатывать данные и тексты. Подойдёт аналитикам, разработчикам и тем, кто хочет работать с AI. – MarkUp-инженер — занимается разметкой данных, генерацией контента и интеграцией с LLM. Полезно тестировщикам, техническим специалистам и тем, кто хочет автоматизировать рутинные задачи. Что ждёт участников – 80% практики — разметка, промпты, LLM, RAG. – Поддержка от менторов — экспертов из red_mad_robot. – Кейс в портфолио и востребованные навыки в сфере AI. Приём заявок до 10 марта. Старт буткемпа — 17 марта. Участие бесплатное, но с отбором. Подробности и регистрация по ссылке. Реклама ООО «РЭДМЭДРОБОТ МСК». ИНН 7703435262. erid 2VtzqvfBFfc.

🔥 PIKE-RAG (sPecIalized KnowledgE and Rationale Augmented Generation) — это метод, разработанный для улучшения возможностей больших языковых моделей в извлечении, понимании и применении специализированных знаний! 🌟 Он направлен на построение последовательной логики рассуждений, что позволяет LLM постепенно приходить к точным ответам, особенно в сложных промышленных приложениях. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml