Анализ данных (Data analysis)

📌 PyTorch: новые инструменты для для экономии памяти при обучении моделей. PyTorch представил усовершенствованные методы Activation Checkpointing (AC), цель которых - снижение потребления памяти при обучении. Традиционный подход в eager mode сохраняет промежуточные активации для обратного прохода, что зачастую приводит к значительному расходу ресурсов. AC позволяет не сохранять эти тензоры, а вычислять их заново при необходимости, тем самым жертвуя вычислительным временем ради экономии памяти. Новая техника – Selective Activation Checkpoint (SAC). В отличие от обычного AC, который затрагивает всю выбранную область, SAC дает гранулярный контроль над тем, какие операции следует пересчитывать, а какие – сохранять. Это достигается за счет использования policy_fn, определяющей, нужно ли сохранять результаты конкретной операции. SAC будет полезен для избегания перевычисления ресурсоемких операций, например, матричных умножений. Для torch.compile стала доступна Memory Budget API. Эта функция автоматически применяет SAC с оптимальной политикой, исходя из заданного пользователем бюджета памяти (от 0 до 1). Бюджет 0 соответствует обычному AC, а 1 – поведению torch.compile по умолчанию. 🔜 Читать подробную статью в блоге Pytorch @ai_machinelearning_big_data #AI #ML #Pytorch

🧠 Это происходит: человек и машина сливаются. Австралийская компания Cortical Labs представила первый в мире биологический компьютер, объединяющий клетки человеческого мозга с кремниевыми чипами. Эта система, известная как синтетический биологический интеллект ( SBI) , позволяет формировать динамические нейронные сети, которые обучаются быстрее и более гибко, чем традиционные системы искусственного интеллекта. Официальная презентация CL1 состоялась в Барселоне 2 марта 2025 года. Ожидается, что он поступит в продажу во второй половине 2025 года. Технология основана на предыдущем исследовании, в ходе которого 800 000 человеческих и нейроно мышей на чипе были обучены игре в видеоигру Pong. Теперь CL1 предоставляет платформу, которая позволяет исследователям использовать эту технологию без специализированного оборудования или программного обеспечения. Клиенты могут либо приобрести CL1, либо получить к нему доступ через Cortical Cloud для работы с культивируемыми клетками. Потенциальные области применения CL1 варьируются от исследований лекарственных препаратов и клинических испытаний до разработки интеллектуальной робототехники. Система энергоэффективна и не требует внешнего компьютера для управления. Разработчики подчеркивают, что SBI более естественна, чем обычный ИИ, поскольку основана на биологических нейронах, которые также являются основой человеческого интеллекта. Появление CL1 знаменует собой значительный прогресс в слиянии биологии и технологий и может иметь далеко идущие последствия для различных областей науки и медицины. Это происходит: человек и машина сливаются. Курцвейл был прав! Австралийская компания Cortical Labs представила первый в мире биологический компьютер, объединяющий клетки человеческого мозга с кремниевым оборудованием. Эта система, известная как синтетический биологический интеллект ( SBI) , позволяет формировать динамические нейронные сети, которые обучаются быстрее и более гибко, чем традиционные системы искусственного интеллекта. Официальная презентация CL1 состоялась в Барселоне 2 марта 2025 года. Ожидается, что он поступит в продажу во второй половине 2025 года. Технология основана на предыдущем исследовании, в ходе которого 800 000 человеческих и мышиных нейронов на чипе были обучены игре в видеоигру Pong. Теперь CL1 предоставляет платформу, которая позволяет исследователям использовать эту технологию без специализированного оборудования или программного обеспечения. Клиенты могут либо приобрести CL1, либо получить к нему доступ через Cortical Cloud для работы с культивируемыми клетками. Потенциальные области применения CL1 варьируются от исследований лекарственных препаратов и клинических испытаний до разработки интеллектуальной робототехники. Система энергоэффективна и не требует внешнего компьютера для управления. Разработчики подчеркивают, что SBI более естественна, чем обычный ИИ, поскольку основана на биологических нейронах, которые также являются основой человеческого интеллекта. Появление CL1 знаменует собой значительный прогресс в слиянии биологии и технологий и может иметь далеко идущие последствия для различных областей науки и медицины. https://newatlas.com/brain/cortical-bioengineered-intelligence/

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки. Что будет на вебинаре: 🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д. 🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок 🟠С помощью Plotly построим интерактивные графики и сделаем выводы 🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах Вебинар проведет Андрон Алексанян, CEO Simulative 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

🚀 Google неожиданно представил нового ИИ-ассистента для Data Science, позволяющего за считанные минуты создавать полноценные рабочие блокноты. Теперь весь процесс – от загрузки датасета до итогового анализа – берёт на себя нейросеть. Агент самостоятельно генерирует код на Python, создаёт блокноты, визуализирует данные и шаг за шагом предлагает оптимальное решение. Достаточно загрузить набор данных объемом до 1 Гб, и ИИ выполнит всю работу. В итоге вы получаете готовый проект с кодом и графиками, без утомительной рутины и постоянной отладки. 📌 Попробовать можно здесь

⚡ Verl – Volcano Engine Reinforc ement Learning for LLMs Проект, объединяющий методы обучения с подкреплением для улучшения работы языковых моделей. Отличается экспериментальным подходом и перспективой интеграции с популярными LLM. ▪Github @data_analysis_ml

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе? Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow. Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных. Что мы будем делать на вебинаре: 🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность; 🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных; 🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике; 🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов. 🕗Встречаемся 4 марта в 19:30 по мск Зарегистрироваться на бесплатный вебинар

📖 В этой статье авторы изучают, могут ли большие языковые модели решать задачи по определению неотрицательности многочленов! 🌟 Авторы создали набор данных SoS-1K с 1000 задачами разной сложности и обучили модель SoS-7B, которая превзошла более крупные LLM, такие как DeepSeek-V3 (671B) и GPT-4o-mini. Результаты показали, что без инструкций точность моделей была около 50%, но с правильными инструкциями она возрастала до 81%. 🔗 Ссылка: *клик* @data_analysis_ml

🔥 Невероятно полезный инструмент — Storm посещает сотни веб-сайтов и создает огромные статьи на заданную вами тему! 🔍 К сожалению, работает только на английском, однако ничего не мешает вам перевести получившуюся статью в любой другой нейросети. 🔗 Ссылка: *клик* @vistehno

🔥 Agentic Reward Modeling: Интеграция человеческих предпочтений с проверяемыми сигналами корректности для надежных систем вознаграждения! 💡 Данный репозиторий представляет собой реализацию системы вознаграждения, объединяющей модели вознаграждения с проверяемыми сигналами корректности из различных аспектов для обеспечения надежных вознаграждений. В частности, реализован агент вознаграждения под названием RewardAgent, который сочетает вознаграждения на основе человеческих предпочтений с двумя проверяемыми сигналами: фактичностью и следованием инструкциям, что обеспечивает более надежные вознаграждения. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

🧠 Сравнение 8 моделей img2vid. Напишите в комментариях - какой генератор используете вы. @data_analysis_ml

💥 Повышайте точность ML-моделей! Для достижения высокой точности в ML часто используют не одну, а несколько моделей, объединяя их в ансамбли.  Записывайтесь на бесплатный вебинар, где мы на практике разберём популярные методы ансамблирования: - Бэггинг снижает дисперсию модели, делая её устойчивее - Градиентный бустинг усиливает предсказания, обучая модели на ошибках 📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение. ➡️ Ссылка для регистрации: https://otus.pw/znbk/?erid=2W5zFGn7i5v #реклама О рекламодателе

🔥 ​CosyVoice — это многоязычная модель генерации речи, разработанная для создания естественного и выразительного синтеза голоса! 💡 Версия 2.0 предоставляет улучшенные возможности по сравнению с предыдущей версией, включая более точную и стабильную генерацию речи с уменьшенной задержкой. Модель поддерживает такие языки, как китайский, английский, японский, корейский и различные китайские диалекты. Кроме того, CosyVoice 2.0 интегрирует офлайн и потоковые технологии моделирования, обеспечивая задержку до 150 мс при сохранении высокого качества звука. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

🎮 Дэнни Лименсата (Danny Limensata) сделал целую игру с помощью Grok 3, создав этот готический шутер в стиле ретро Doom с нуля. На разработку ушло менее 24 часов, и выглядит он вполне приятно! @data_analysis_ml

Бесплатный вебинар, который поможет начать изучение Spark с нуля! 👨‍💻🛠👨🏻‍💻 Кому будет полезно? - Data-инженерам и аналитикам, работающим с большими объемами данных - Программистам, переходящим с других технологий обработки данных на Spark Не пропустите прямой эфир, где мы начнем изучение Big Data фреймворка и подробно разберем обработку графов с помощью Spark: - ключевые понятия, включая структуру графов, а также алгоритмы, доступные в библиотеках GraphX и GraphFrames - создание и обработку графов на основе различных типов данных - эффективную работу с большими графами - 2 популярных алгоритма для анализа данных: PageRank и Connected Components - интеграцию графов в проекты - практические примеры построения графов и их анализ Все участники вебинара смогут продолжить обучение на курсе «Spark Developer» с выгодной скидкой. ➡️ Регистрация: https://otus.pw/rAba/?erid=2W5zFJt5CPA #реклама О рекламодателе

🔥 GHOST 2.0 – open-source модель переноса головы от Sber AI и AIRI. На Habr вышла статья от разработчиков Sber AI и AIRI про свежее open-source решение по переносу головы на изображениях. Авторы рассказали, как GHOST 2.0 решает задачу headswap без видимых артефактов, сохраняя реалистичность и соответствие геометрии исходного лица. Важный этап обработки – использование Kandinsky 2.2, который упрощает адаптацию данных перед финальной генерацией. Среди других особенностей: • Улучшенный контроль за точностью замены головы; • Минимизация искажений при переносе текстур; • Полный open-source: код доступен для экспериментов и интеграции. 🔗 Ссылка: *клик* @data_analysis_ml

📖 В этой статье обсуждается улучшение оценки глубины сцены по одиночному изображению (monocular depth estimation, MDE) с использованием методов дистилляции знаний! 💡 Авторы анализируют различные стратегии нормализации глубины при дистилляции псевдометрических меток и выявляют, что глобальная нормализация может усиливать шум в псевдометрических метках, снижая эффективность дистилляции. В ответ на это они предлагают метод Cross-Context Distillation, объединяющий глобальные и локальные признаки для улучшения качества псевдометрических меток, а также многопедагогическую дистилляцию, использующую преимущества различных моделей оценки глубины. Эксперименты на эталонных наборах данных демонстрируют, что предложенный подход значительно превосходит современные методы как количественно, так и качественно. 🔗 Ссылка: *клик* @data_analysis_ml

🤖 Еще один день, еще один (китайский) гуманоидный робот: сегодня STAR1 демонстрирует возможности своего робота в задачах готовки. При такой скорости развития.год роботы будут в наших домах в ближайшее время.

✔️ Hume AI открыла доступ к Octave: ТTS-модель, которая умеет говорить с эмоциями. Octave, TTS-модель, анонсированная в конце декабря 2024 года, стала доступной через web и API. Модель умеет не просто "читать" слова, а понимает их смысл в контексте. Octave способна отыгрывать персонажей, генерировать голоса по запросу и изменять эмоциональную окраску и стиль речи. Благодаря функции Voice Design, Octave может создать любой ИИ-голос по текстовому описанию. От "терпеливого, чуткого консультанта с голосом ASMR" до "средневекового рыцаря" – Octave воплотит любую фантазию. В ближайшем будущем планируется запуск функции клонирования голоса. В ходе слепого сравнительного исследования, Octave превзошла систему ElevenLabs Voice Design по качеству звука (71,6%), естественности (51,7%) и соответствию голоса заданному описанию (57,7%). hume.ai @data_analysis_ml

🔥 Это — подробное руководство по созданию и пониманию AI-агентов — автономных систем, которые могут анализировать информацию, принимать решения и выполнять задачи! 🔗 Ссылка: *клик* @data_analysis_ml

⚡️ DeepSeek-R1-FP4 от NVIDIA привлекает внимание тем, что сочетает в себе передовые идеи для быстрого и эффективного поиска по мультимедийному контенту. Главное, что здесь сделано по-новому — это применение 4-битной точности (FP4) для представления данных. Такая оптимизация позволяет существенно снизить затраты памяти и ускорить вычислительный процесс, что особенно важно при работе с огромными массивами изображений или видео. Суть подхода в том, что система сначала «вчитывается» в контент, извлекая из него ключевые признаки, а затем преобразует их в компактные векторные представления. Эти векторы отражают глубокую семантику, а не просто поверхностные характеристики, поэтому поиск становится более осмысленным. При запросе система сравнивает вектор, соответствующий запросу, с уже сохранёнными представлениями, находя наиболее похожие и релевантные результаты. Такой метод особенно интересен для приложений, где необходимо работать с мультимодальными данными — будь то поиск похожих сцен в видеоархивах или сопоставление изображений с текстовыми описаниями. Оптимизация под современные аппаратные решения от NVIDIA делает эту модель подходящей для интеграции в реальные системы, где скорость и эффективность поиска играют ключевую роль. В общем, DeepSeek-R1-FP4 — это пример того, как современные технологии позволяют не только повысить качество поиска, но и сделать его более доступным с точки зрения вычислительных ресурсов. huggingface.co/nvidia/DeepSeek-R1-FP4