Machinelearning

Кластеризация временных рядов: хаос или скрытые паттерны? Финансовые данные, сенсоры, котировки акций — данные приходят потоком, но как выявить закономерности и сгруппировать их правильно? Стандартные методы не работают, а временные ряды ведут себя слишком нестабильно. Разбираем на открытом вебинаре «Кластеризация временных рядов» 5 марта в 20:00 (мск): - Изучим метрику DTW (Dynamic Time Warping) - Разберём методы понижения размерности - Найдём связи в котировках акций на реальных данных Всем участникам — скидка на большое обучение «Machine Learning. Professional». ➡️ Регистрируйтесь, чтобы не пропустить: https://otus.pw/RsKX/?erid=2W5zFJSjgN4 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

✔️ Deepseek FlashMLA: ядро ​​декодирования MLA, оптимизированное для GPU Hopper. В первый день анонсированного на прошлой неделе мероприятия "5 дней опенсорс-проектов" Deepseek опубликовала проект FlashMLA. Это ядро оптимизировано для последовательностей переменной длины, поддерживает BF16 и использует страничный KV (с размером блока 64). Вся эта совокупность позволяет значительно повышать эффективность вычислений. На H800 FlashMLA показал пропускную способности памяти до 3000 ГБ/с и вычислительную производительность в 580 терафлопс. FlashMLA ускорит процесс рассуждений ИИ и обеспечит более эффективные решения в сфере обработки естественного языка. Deepseek в X (Twitter) ✔️ Alibaba объявила об инвестициях в размере 53 млрд долларов в создание облачной и аппаратной инфраструктуры ИИ. Alibaba Group планирует инвестировать более 380 миллиардов юаней (около 53 миллиардов долларов США) в развитие облачной инфраструктуры и технологий ИИ в течение следующих 3 лет. Объем этой инвестиция превышает все предыдущие вложения Alibaba в облачные технологии и ИИ за последнее десятилетие и является крупнейшей инвестицией частной китайской компании в эту сферу. Решение об инвестировании было принято на фоне бурного роста индустрии ИИ в Китае и после совещания с участием высших китайских руководителей, посвященного частным предприятиям. english.news.cn ✔️ Google опубликовала тарифы на Veo 2: 50 центов за секунду. Согласно информации на странице проекта, каждая секунда сгенерированного видео обойдётся пользователям в 50 центов. Это означает, что минута видео будет стоить $30, а час — $1800. Для сравнения, инженер Google DeepMind Джон Бэррон привёл пример с бюджетом фильма «Мстители: Финал», где стоимость одной секунды составила около $32 000. Veo 2 пока не способен генерировать длинные видеоролики, модель ориентирована на продолжительность генерации до двух минут. Тем не менее, такие цены вызывают вопросы о доступности технологии для широкого круга пользователей. techcrunch.com ✔️ MongoDB приобретает компанию Voyage AI для борьбы с галлюцинациями. MongoDB приобрела компанию Voyage AI за 220 млн. долларов, чтобы помочь своим клиентам создавать более качественные приложения на основе ИИ. Сделка направлена на обеспечение высокоточной и релевантной выдачи информации, тесно интегрированной с операционными данными. Технология Voyage AI позволяет извлекать смысл из специализированных текстов и неструктурированных данных: юридических и финансовых документов, изображений и корпоративных баз знаний. Объединение этих технологий с инфраструктурой MongoDB позволит создать максимально надежное решение для разработчиков ИИ. bloomberg.com ✔️ Perplexity анонсировала собственный AI-браузер Comet. Perplexity AI готовится к запуску собственного веб-браузера под названием Comet. Компания заявила, что Comet "переосмыслит" сам подход к веб-серфингу, подобно тому, как Perplexity изменила представление о поиске информации. Этот анонс может стать прямым вызовом Google, доминирующим в сфере браузеров. Дата релиза пока неизвестна, но доступна запись в лист ожидания по ссылке. zdnet.com @ai_machinelearning_big_data #news #ai #ml

Неделя Опенсорса от DeepSeek продолжается! Только что китайцы представили DeepEP — это библиотека, разработанная для оптимизации работы моделей с архитектурой Mixture-of-Experts (MoE) и параллелизмом экспертов (EP). Ее основная задача — обеспечить высокую пропускную способность и низкую задержку при обмене данными между GPU, что критически важно для эффективного обучения и инференса крупных моделей. Что внутри Высокая производительность: - Библиотека предоставляет оптимизированные all-to-all GPU ядра для операций распределения (dispatch) и объединения (combine) данных, что улучшает скорость и эффективность коммуникации между экспертами в модели. - DeepEP поддерживает операции с пониженной точностью, включая формат FP8, что способствует снижению требований к памяти и увеличению скорости вычислений без значительной потери точности. - Оптимизация под различные домены: В соответствии с алгоритмом группового ограниченного гейтинга, предложенным в работе DeepSeek-V3, библиотека предлагает набор ядер, оптимизированных для асимметричной передачи данных между различными доменами, такими как NVLink и RDMA. Это обеспечивает высокую пропускную способность при обучении и инференсе. - Низкая задержка для инференса: Для задач, чувствительных к задержкам, DeepEP включает набор ядер с чистой RDMA, минимизируя задержки и обеспечивая быструю обработку данных во время инференса. - Работает как с NVLink, так и с RDMA, что позволяет организовать высокопроизводительную связь между GPU как в рамках одного сервера, так и между разными серверами. Принцип работы: DeepEP интегрируется в существующие рабочие процессы обучения и инференса моделей с архитектурой MoE, предоставляя эффективные механизмы для обмена данными между GPU. Используя оптимизированные коммуникационные ядра, библиотека обеспечивает быструю и надежную передачу данных, что особенно важно при работе с крупными моделями и распределенными системами. Поддержка операций с пониженной точностью и оптимизация под различные домены позволяют гибко настраивать систему под конкретные требования и аппаратные возможности. Использование DeepEP способствует повышению эффективности и производительности моделей MoE, облегчая их масштабирование и ускоряя процессы обучения и инференса. ▪ Github #ai #deepseek #opensource #DeepEP

А вот и релиз! Antrhopic выпустили свою свою ризонинг можель — Claude 3.7 Sonnet. Она сама перепроверяет свои ответы для пользователя. Новая версия превосходит 3.5 Sonnet и OpenAI o1 на SWE-bench. Цена api осталось прежней. Попробовать можно бесплатно тут.

⚡️ EasyR1 – эффективный и масштабируемый фреймворк для обучения с подкреплением (RL) с поддержкой мультимодальных данных. Чем интересен EasyR1? EasyR1 сочетает в себе алгоритм GRPO, продемонстрированный в DeepSeek R1, и расширение системы veRL для поддержки vision-language моделей, таких как Qwen2.5-VL. Уже после 30 шагов обучения фреймворк показал прирост производительности на 5% в экспериментах на тестовом наборе Geometry3k. Это делает его привлекательным инструментом для исследователей и разработчиков, работающих с задачами, где объединяются визуальные и текстовые данные. Фреймворк спроектирован так, чтобы быть масштабируемым и легко интегрироваться с различными алгоритмами RL, что открывает широкие возможности для дальнейших исследований. Ожидайте будущих обновлений – в них планируется интеграция дополнительных алгоритмов RL и новых архитектур VLM. ▪ Github @ai_machinelearning_big_data #EasyR1 #opensource #GRPO #VLM

📌Открытый вебинар: «Алгоритмы SARSA и Q-learning — база для изучения Reinforcement Learning» 📚Вы узнаете: + Как работают SARSA и Q-learning и чем они отличаются + Как применить SARSA и Q-learning на практике с Python и OpenAI Gym + Где используют RL: робототехника, финансы, игры Спикер: Игорь Стурейко — кандидат физико-математических наук МГУ, опытный разработчик, руководитель и преподаватель.  📅Дата: 26 февраля в 20:00 (мск) 🆓Бесплатно. В рамках курса «Reinforcement Learning» 👉Регистрация открыта: https://otus.pw/fcB0/?erid=2W5zFGRTvf2 #реклама О рекламодателе

✔️ Подтвержден выпуск Claude 3.7 Sonnet AWS Badrock готовятся разместить новую версию Sonnet 3.7, которая, скорее всего, будет анонсирована сегодня во время мероприятия Amazon. * Модель в настоящее время скрыта и не отображается в пользовательском интерфейсе Инсайдеры раскопали, что модель достигает SOTA в кодинге, агентных способностях, сложном рассуждении и генерации контента. Благодаря высокой производительности и контролю над скоростью работы, Claude 3.7 Sonnet заточена для реализации AI-агентов и комплексных AI-решений. Источник: https://archive.is/BkvLb @data_analysis_ml - подпистаться

🌟 scGPT-spatial: модель для анализа данных о пространственной организации клеток в тканях. scGPT-spatial - расширенная версия модели scGPT в помощь ученым-биологам для анализа пространственной транскриптомики. Основная цель scGPT-spatial — интегрировать информацию о пространственной локализации клеток и их транскриптомных профилях с знаниями scGPT для расширения понимания организации тканей и взаимодействия клеток в микроокружении. scGPT-spatial обучалась с с учётом пространственных координат на наборе данных SpatialHuman30M (30 миллионов клеток и спотов из 4 протоколов секвенирования: Visium, Visium HD, MERFISH и Xenium) и использует архитектуру MoE. В тестах scGPT-spatial показала отличные результаты в задачах кластеризации клеточных типов, деконволюции спотов и импутации генной экспрессии. В экспериментах на интеграцию данных из нескольких слайдов и модальностей модель обошла методы PCA и Seurat v4, достигнув показателя AvgBIO 0.86. В задаче деконволюции клеточных типов scGPT-spatial превзошла Tangram и Cell2location, со средним Macro F1 в 0.58, а медианный коэффициент корреляции Пирсона в импутации генной экспрессии составил значение 0.6. Веса модели опубликованы в открытом доступе, а в репозитории проекта на Github - подробная инструкция по настройке окружения для scGPT и ipynb демо-ноутбук инференса. 📌Лицензирование 🟢Код : MIT License. 🟠Модель: CC-BY-4.0 License. 🟡Модель 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #MedML #ScGPT

🌟 Генерация изображений байесовскими методами. Исследователи из Мюнхенского университета предложили методику генерации изображений, основанную на байесовском выводе. Экспериментальная модель, которая получила название Bayesian Sample Inference (BSI), имитирует процесс постепенного уточнения данных: ее инференс начинается с «размытого» представления об изображении и последовательно корректируется с использованием шумовых измерений до финального результата. По заверениям авторов, их метод позволяет точнее воспроизводить распределение данных, чем классические решения на основе диффузии. BSI-модель стартует с априорного распределения, где начальная точность намеренно задаётся низкой — это эквивалентно «размытой картинке», покрывающей всё множество возможных изображений. На каждом шаге генерации, предиктор, построенный на U-Net или ViT, анализирует текущий промежуточный «результат» и генерирует оценку соответствия относительно "идеального" изображения, который, в свою очередь, участвует в пересчете среднего значения и точности для следующего шага генерации. Такой подход позволяет BSI-модели балансировать между имеющимися знаниями и новыми данными, избегая переобучения и сохраняя разнообразие генерации. Эксперименты выявили, что BSI сохраняет разнообразие сгенерированных образцов даже при малом числе шагов — это выгодно отличает её от аналогов, склонных к «повторяющимся» генерациям. BSI напрямую сравнивали с диффузионными VDM- и EDM-моделями и BFNs. Оказалось, что BSI-архитектура не только включает BFNs как частный случай, но и превосходит их в тестах на правдоподобие. Например, на наборах CIFAR10 и ImageNet BSI показала лучшие результаты, достигнув 2.64 (BFNs) и 3.22 (VDM) бит на измерение соответственно, но не смогла превзойти модели с точным расчетом правдоподобия (i-DODE). ▶️ Практическая реализация метода доступна в репозитории проекта на Github, где представлены инструменты для инференса, обучения и файнтюнинга. 📌Лицензирование: MIT License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Bayesian #GenAI

⭐️ Native-sparse-attention-pytorch – представляет собой реализацию разреженного механизма внимания на PyTorch, оптимизированного для работы с большими последовательностями. Он позволяет существенно снизить потребление памяти и ускорить вычисления по сравнению с классическим полносвязным вниманием. Одним из главных преимуществ данного решения является его высокая эффективность при обработке длинных последовательностей. За счёт вычисления внимания только по выбранным элементам (а не по всем парам токенов) удаётся уменьшить сложность алгоритма. Кроме того, инструмент интегрируется непосредственно с PyTorch и использует нативные CUDA-ядра, что позволяет достичь оптимальной производительности на GPU. Репозитория поможет в экспериментах с архитектурами, где внимание применяется к длинным последовательностям – будь то тексты, временные ряды или изображения – и обеспечивает возможность более эффективного использования вычислительных ресурсов. native-sparse-attention-pytorch даёт существенные преимущества в снижении затрат памяти и ускорении вычислений, что делает его ценным инструментом для глубокого обучения. $ pip install native-sparse-attention-pytorch ▪ Github @ai_machinelearning_big_data #deeplearning #artificialintelligence #attention #sparseattention #ml #ai

🖥 PDF to Podcas- еще один проект преобразования текста в подкасты от NVIDIA Он предназначенный для преобразования PDF-документов в персонализированный аудиоконтент с использованием технологий генеративного ИИ. Ключевые компоненты: - Инструмент преобразования PDF в Markdown: Извлекает содержимое из PDF-файлов и конвертирует его в формат Markdown для дальнейшей обработки. - Сервис создания монологов или диалогов: Обрабатывает Markdown-контент, обогащая или структурируя его для создания естественного аудиоконтента. - Сервис преобразования текста в речь (TTS): Преобразует обработанный контент в высококачественную речь. Преимущества использования: - Персонализация: Возможность адаптации решения под специфические потребности организации, включая брендинг, аналитику, реальное время перевода или интерфейс цифрового человека для повышения вовлеченности. - Конфиденциальность: Решение соответствует требованиям конфиденциальности на всех этапах обработки данных. - Гибкость: Модульная структура позволяет добавлять дополнительные функции, соответствующие потребностям пользователей. Микросервисы NVIDIA NIM: Используются для развертывания и масштабирования моделей на GPU. - Модели Llama 3.1: Применяются для обработки и генерации текста. - Langchain: Используется для обработки и интеграции данных. - Docling: Применяется для парсинга документов. - ElevenLabs: Предоставляет сервисы преобразования текста в речь. Лицензирование: Использование моделей в этом проекте регулируется NVIDIA AI Foundation Models Community License. ▪ Github: https://github.com/NVIDIA-AI-Blueprints/pdf-to-podcast ▪Project: build.nvidia.com/nvidia/pdf-to-podcast @ai_machinelearning_big_data #nim #tts #pdftopodcast

✔️ DeepSeek откроет исходный код 5 проектов на следующей неделе. DeepSeek запустил мероприятие OpenSourceWeek и на следующей неделе откроет исходный код в пяти репозиториях, чтобы поделиться своими достижениями в исследовании AGI. Начиная с понедельника DeepSeek будет каждый день открывать исходный код нового проекта. Каждый проект был проверен в реальных онлайн-сервисах и имеет полную документацию. Deepseek в X ✔️ OpenAI разоблачила китайские кампании, использующие ИИ для распространения дезинформации. OpenAI выявила и пресекла 2 попытки использования своих инструментов искусственного интеллекта в рамках китайских кампаний влияния. Согласно опубликованному отчету OpenAI, одна из кампаний, названная "sponsored discontent", использовала ChatGPT для создания англоязычных комментариев, атакующих китайского диссидента Цай Ся. Часть этих материалов была размещена на платформе X, а статьи появились на различных новостных сайтах Латинской Америки, иногда в качестве спонсируемого контента. Другая кампания, получившая название "peer review", включала использование ChatGPT для создания маркетинговых материалов инструмента мониторинга социальных сетей, который, по утверждениям создателей, использовался для отправки отчетов о протестах китайским службам безопасности. Найденные аккаунты заблокированы. openai.com ✔️ Фреймворк S* улучшает генерацию кода. Исследователи из Калифорнийского университета представили фреймворк S*, который значительно повышает качество и надежность кода, создаваемого языковыми моделями. S* использует одновременно параллельное и последовательное масштабирование, позволяя системе не только генерировать несколько вариантов кода, но и последовательно улучшать их за счет систематической отладки. Ключевая особенность - использование "адаптивного синтеза входных данных". В процессе тестирования модель GPT-4o mini создает специальные тестовые входные данные, которые помогают выявить различия между разными версиями генерации. Это позволяет анализировать результаты и выбирать наиболее эффективное решение. Даже небольшие модели, в тестах - Qwen2.5-7B-Coder-Instruct, с использованием S* показывают результаты на 10% лучше, чем более мощные модели без этого фреймворка. В некоторых случаях они даже превосходят GPT-4o mini. Однако, пока S* оптимизирован только для задач программирования в рамках соревнований, и его применение в более сложных инженерных проектах еще не изучено. arxiv.org ✔️ SigLIP 2: улучшенный мультиязычный VL энкодер от Google. Google выпустила новое поколение SigLIP 2, которое превосходит предыдущие версии в задачах классификации, поиска изображений и текста, а также в создании визуальных представлений для VLMs. В новой версии энкодера улучшено семантическое понимание, локализации и dense features. Модели семейства теперь лучше справляются с задачами, требующими тонкого анализа изображений и текста. Ключевая особенность SigLIP 2 - поддержка динамического разрешения (naflex), что полезно для задач, чувствительных к изменению пропорций и разрешения изображений. Новые модели, включая варианты с динамическим разрешением, уже доступны для использования через библиотеку Hugging Face. huggingface.co ✔️ ElevenLabs поможет миллиону людей вернуть свой голос. ElevenLabs расширяет свою программу Impact Program, чтобы помочь людям, потерявшим голос из-за тяжелых заболеваний. В прошлом году программа была запущена для пациентов с боковым амиотрофическим склерозом, а теперь ее поддержку смогут получить люди, страдающие от множественной системной атрофии и рака полости рта. В сотрудничестве с организациями MSA Trust, Mission MSA и Mouth Cancer Foundation, ElevenLabs предоставляет бесплатный доступ к своим инструментам для создания цифровых копий голоса. Пациенты получают пожизненный доступ к этим технологиям, а больные раком полости рта могут подать заявку на бесплатный Pro-план, чтобы сохранить свой голос до потери речи. ElevenLabs ставит перед собой амбициозную цель — помочь миллиону человек через Impact Program. elevenlabs.io @ai_machinelearning_big_data #news #ai #ml

⚡️ Evo-2: модель для генерации генома, которая знает все древо жизни. NVIDIA в соавторстве с Arc Institute опубликовали Evo-2, самую большую ИИ-модель для биологии, обученную на 9,3 трлн. пар ДНК из геномного атласа всех форм жизни. Можно считать, что это LLM, ориентированная на ДНК. Вместо текста Evo 2 генерирует геномные последовательности, читает и интерпретирует сложную ДНК, включая некодирующие регионы, которые обычно считаются неинформативными, генерирует целые хромосомы, новые геномы и предсказывает мутации, вызывающие заболевания, даже те, которые еще не изучены. Тем самым, можно утверждать, что ИИ переходит от описания биологии к ее проектированию. Это позволяет создавать синтетическую жизнь с нуля, программируемые белковые последовательности, потенциальные новые генные терапии и закладывает основу для моделирования целых клеток. Evo 2 делает биологию вычислительной дисциплиной. Evo-2 использует StripedHyena 2 - многогибридную модель, сочетающую различные типы операторов для баланса между качеством модели, эффективностью обучения и инференса. StripedHyena 2 опирается на комбинацию из 3 вариантов сверточных операторов, зависящих от входных данных, и механизма внимания. Она моделирует ДНК в нескольких масштабах, улавливая даже слабые взаимодействия, и автономно обучается таким характеристикам, как границы экзонов и интронов, сайты связывания транскрипционных факторов, без участия человека. Модель была обучена в два этапа (претрейн с контекстом 8192 и последующее обучение с увеличенным до 1 млн.) на датасете из 9,3 триллиона пар оснований бактерий, архей, эукариот и бактериофагов. Evo 2 обрабатывает до 1 млн. пар оснований в одном контекстном окне, умеет "держать в уме" целые хромосомы и может выявлять эволюционные закономерности, ранее не замеченные человеком. Evo-2 была протестирована на практических возможности генерации, создав синтетические дрожжевые хромосомы, митохондриальные геномы и минимальные бактериальные секвенции и продемонстрировала высокую производительность в задачах, связанных с вариациями генов, включая некодирующие и сплайсинговые варианты Проект полностью открыт: веса моделей, код и набор данных OpenGenome 2. Представлены два вида моделей: 🟢Evo 2 - 7B и 40B, обученные последовательности длиной до 1 млн; 🟠Evo 2 Base - 1B, 7B и 40B, обученные последовательности длиной 8192. 📌Лицензирование: Apache 2.0 License. 🟡Набор моделей 🟡Техотчет 🟡Датасет 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #Evo2 #NVIDIA

🌟Глава Т-Банка рассказал о компетенциях, которыми должны обладать ИТ–специалисты В рамках совместного проекта “Ъ” и Центрального университета “Директора и люди” состоялось интервью главы Т-Банка Станислава Близнюка. Он рассказал, что для построения успешной карьеры у ИТ-специалиста должны быть хардовые навыки, бизнес-ориентированность и софтскильность. “Плох тот разработчик, который не понимает из чего выстраивается продукт, ИТ-структура или ИТ-ландшафт, а также тот, кто не понимает потребности клиентов и маркетинг продукта. Поэтому человеку с техническими хардами нужно раскрывать шоры на маркетинг и финансы”. Обучать совокупности этих качеств нужно еще в вузе, а на вопрос, какие именно харды нужны, должен ответить работодатель и быть в плотной связке с университетами. 🟡Страница проекта @ai_machinelearning_big_data #news

🌟 ReasonFlux: математические рассуждения для LLM. ReasonFlux - методика, которая используется как для обучения, так и для инференса, чтобы повысить способность LLM к сложному логическому мышлению. Применение метода позволяет превосходить OpenAI o1-preview и DeepSeek V3 в задачах математического рассуждения. При использовании в обучении ReasonFlux использует иерархическую структуру с подкреплением на последовательности высокоуровневых шаблонов мышления. Это позволяет базовой LLM научиться планировать оптимальную траекторию шаблонов для решения сложных задач. В процессе обучения ReasonFlux анализирует и обобщает информацию о решении задач, выявляя общие закономерности, и на основе этого создает шаблоны мышления. Во время инференса ReasonFlux автоматически извлекает релевантные шаблоны мышления и масштабирует их для достижения превосходной производительности в сложных задачах рассуждения. Он динамически выбирает наиболее подходящий шаблон высокого уровня для каждой подзадачи, упрощая поиск путей рассуждений. ReasonFlux использует новую систему масштабирования во время вывода, которая адаптирует шаблоны мышления. В экспериментальных тестах ReasonFlux-32B достиг 91,2% точности на MATH benchmark, опередив o1-preview на 6,7%. На AIME benchmark модель решила в среднем 56,7% задач, превзойдя o1-preview и DeepSeek-V3 на 27% и 45% соответственно. Практическая реализация метода доступна в репозитории проекта, в нем cодержится необходимый код и описание для файнтюна LLM на примере SFT-датасета решений GaoKao Bench. ⚠️ Для трейна моделей на SFT-сете проект использует фреймворк LLaMA-Factory. ▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/ReasonFlux
cd ReasonFlux

# Create a Conda venv
conda create -n ReasonFlux python==3.9
conda activate ReasonFlux

# Install dependencies
pip install -r requirements.txt

# When you complete your first-stage training, you can try to use simple inference
from reasonflux import ReasonFlux

reasonflux = ReasonFlux(navigator_path='path-to-navigator',
                        template_matcher_path='jinaai/jina-embeddings-v3',
                     inference_path='path-to-infernece-model',
                        template_path='template_library.json')
problem = """Given a sequence {aₙ} satisfying a₁=3, and aₙ₊₁=2aₙ+5 (n≥1), find the general term formula aₙ"""

📌Лицензирование: Apache 2.0 License. 🟡Arxiv 🟡SFT Датасет (на китайском) 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #ReasonFlux

⚡️Новый Инструмент для Разработчиков RuStore — официальный российский магазин мобильных приложений для Android, Harmony OS и ОС «Аврора», приглашает разработчиков воспользоваться новыми инструментами для продвижения. Магазин RuStore анонсировал интеграцию с Asodesk — ведущей платформой по оптимизации мобильных приложений (ASO) в России. Разработчики смогут отслеживать позиции своих приложений в поисковой выдаче. ⚡️Повышение Эффективности Продвижения С помощью Asodesk разработчики смогут анализировать источники трафика, а также применять автоматизированные инструменты для ASO-оптимизации, что повысит шансы на увеличение установок и привлечение пользователей. ⚡️Упрощение Управления Отзывами Разработчики смогут отслеживать комментарии и автоматизировать ответы, что повысит качество приложений. 💬Как отметил директор по продукту RuStore Олег Афанасьев: «В нашей Консоли доступно более 16 сервисов для разработки и продвижения приложений. Интеграция с Asodesk упростит применение технологий ASO в RuStore».

✔️ Spotify расширяет библиотеку аудиокниг с ИИ благодаря партнерству с ElevenLabs. Spotify объявила о сотрудничестве с ElevenLabs, чтобы предложить авторам возможность создавать аудиокниги с цифровым озвучиванием. Технология позволяет генерировать голосовые дорожки на 29 языках, сохраняя контроль над интонацией и стилем повествования — это, по словам представителей сервиса, «снизит барьеры» для авторов, стремящихся охватить глобальную аудиторию. Все материалы с ИИ-озвучкой будут помечены в метаданных, а в описании появится уведомление: «Аудиокнига озвучена цифровым голосом». hollywoodreporter.com ✔️ Начались продажи GeForce RTX 5070 Ti. GeForce RTX 5070 Ti основана на архитектуре NVIDIA Blackwell и поддерживает DLSS 4 с функцией Multi Frame Generation. Это позволяет играть в AAA-игры на максимальных настройках с трассировкой лучей. На разрешении 2560x1440 карта выдает до 191 кадров в секунду, а в 4K — до 149 FPS. Кроме игр, 5070 Ti значительно ускоряет работу с приложениями для создания контента, увеличивая производительность в задачах, связанных с ИИ до 60%. GeForce RTX 5070 Ti уже доступна в продаже. Модели с 16 GB VRAM, заводским разгоном и стандартной частотой предлагаются ASUS, MSI, GIGABYTE и другими. Цены, согласно GeForce RTX 5070 Ti Product Finder, начинаются от 750 $. nvidia.com ✔️ Nvidia запустила бесплатный ИИ-инструмент для изучения американского жестового языка. Signs - бесплатный сервис, предназначенный для помощи в изучении американского жестового языка (ASL). Он основан на технологиях ИИ и компьютерного зрения и позволяет осваивать жесты, получая обратную связь в реальном времени. ASL, третий по распространенности язык в США, до сих пор остаётся недостаточно представленным в образовательных инструментах. Signs предлагает пользователям доступ к библиотеке жестов, проверенных носителями ASL. С помощью машинного обучения система анализирует движения пользователя и даёт рекомендации по улучшению. Кроме того, опытные пользователи могут загружать свои видео, которые после проверки добавляются в базу данных. Компания ставит перед собой амбициозную цель — собрать 400 000 видеоклипов, представляющих 1 000 жестов. axios.com ⚡️ Helix: революция в управлении человекоподобными роботами через речь и зрение. FigureAI представила Helix — первую в мире модель, объединяющую зрение, понимание языка и управление действиями для человекоподобных роботов. Система способна контролировать всё верхнее тело андроида, включая кисти, пальцы, торс и голову, выполняя задачи в реальном времени. Helix построена на уникальной архитектуре, сочетающей медленное семантическое планирование (7–9 Гц) и мгновенную реакцию (200 Гц). Первая анализирует окружение через камеры и текстовые команды, вторая — преобразует данные в точные движения. Например, робот может взять игрушечный кактус по запросу «подними предмет из пустыни», корректируя хватку в процессе. Система демонстрирует «универсальный захват»: тысячи предметов, от хрупких стаканов до смятой одежды, поднимаются без предварительного обучения. При этом модель работает на маломощных GPU, что делает её коммерческое внедрение весьма привлекательным. figure.ai ⚡️ Microsoft Research представила BioEmu-1: модель моделирования белковых структур. BioEmu-1 - open-source модель от Microsoft Research, которая способна генерировать тысячи конформаций белка за час на одном GPU, превосходя классические подходы в 10 000 раз и точно воспроизводит распределения MD-симуляций и прогнозирует стабильность белков, критичную для разработки лекарств. Обученная на данных AlphaFold, молекулярных симуляциях и экспериментах по стабильности, BioEmu-1 не просто предсказывает «кадры» структур, а воссоздает целые ансамбли. Например, для белка LapD бактерии холеры модель показала как связанные, так и свободные состояния, включая промежуточные формы, никогда не наблюдавшееся в лаборатории. microsoft.com @ai_machinelearning_big_data #news #ai #ml

🌟 InfiniteHiP: расширение контекста LLM до 3 млн. токенов на одном GPU. InfiniteHiP - опенсорсный инструмент, разработанный сервисом deepauto.ai, который позволяет значительно расширить контекст LLM, обрабатывая до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный иерархический алгоритм прунинга токенов, динамически отсеивая нерелевантные элементы контекста. Это позволяет ускорить обработку и обойти ограничения GPU по памяти, перенося KV-кэш в память хоста. Прунинг-модули алгоритма избирательно отбрасывают менее важные входные токены, опираясь на разреженность шаблонов и пространственную локализацию в матрицах внимания LLM. Алгоритм делит входную последовательность на чанки фиксированной длины и определяет аппроксимированный top-1 токен с наивысшим attention score в каждом чанке. Затем только top-K наиболее значимых чанков передаются в следующий модуль, а остальные отбрасываются. Максимально эффективная реализация InfiniteHiP на SGLang фреймворке показывает 7.24-кратное ускорение в end-to-end декодировании на контексте в 3 млн. при использовании всего 3.34% VRAM, необходимой для Flash Attention 2. InfiniteHiP превосходит существующие методы в задачах QA по объемным документам, обобщении и в мульти-шот ризонинге. HiP демонстрирует отличные OOL (out-of-likelihood) способности, сохраняя производительность при увеличении длины контекста, в то время как другие методы на таких задачах ощутимо деградируют. InfiniteHiP может использоваться с любыми моделями на архитектуре Transformers. ▶️ Локальная установка и использование:

git clone git@github.com:DeepAuto-AI/hip-attention.git
cd hip-attention

conda create --name hip python=3.11
conda activate hip

pip install -e "."
# Optional for development
pip install -e ".[dev]"

# Optional, depends on your CUDA environment
export CUDACXX=/usr/local/cuda/bin/nvcc
# Dependencies that requires --no-build-isolation
pip install -e ".[no_build_iso]" \
--no-build-isolation \
--verbose
# SGLang with OpenAI API support for serving
pip install -e ".[sglang]" \
--no-build-isolation \
--verbose \
--find-links https://flashinfer.ai/whl/cu124/torch2.4/flashinfer/

# Access the `hip` package from any project
import torch
from hip import hip_attention_12, HiPAttentionArgs12

device = 'cuda'

batch_size = 1
kv_len = 128 * 1024
q_len = 32 * 1024
num_heads = 32
num_kv_heads = 8
head_dims = 128
dtype = torch.bfloat16

q = torch.randn(
    (batch_size, q_len, num_heads, head_dims),
    dtype=dtype,
    device=device
)
k = torch.randn(
    (batch_size, kv_len, num_kv_heads, head_dims),
    dtype=dtype,
    device=device,
)
v = k.clone()

output, metadata = hip_attention_12(q=q, k=k, v=v, args=HiPAttentionArgs12())
print(output.shape)

# > torch.Size([1, 32768, 32, 128])

📌Лицензирование: FSL-1.1-MIT 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #InfiniteHiP #Framework

⚡️ Microsoft создала первый в мире квантовый чип на основе топологических кубитов. Microsoft совершила прорыв в области квантовых вычислений, представив чип Majorana 1, который использует новую архитектуру Topological Core. Чип создан с применением уникального материала — топологического сверхпроводника и позволяет управлять частицами Майораны, делая кубиты более стабильными и масштабируемыми. Основное преимущество новой технологии — её устойчивость к ошибкам на аппаратном уровне. В отличие от существующих аналогов, Majorana 1 позволяет контролировать кубиты цифровым способом, делая процесс вычислений более надёжным. Учёные Microsoft разместили 8 топологических кубитов на чипе, который в будущем сможет масштабироваться до миллиона. news.microsoft.com ⚡️ Microsoft представляет Muse: первый генеративный ИИ для игровой индустрии. Muse — первая в мире модель, способная генерировать визуальные элементы и игровые действия. Разработанная в сотрудничестве с Xbox Game Studios и Ninja Theory, модель Muse использует данные из игры Bleeding Edge, чтобы предсказывать и создавать последовательности игрового процесса. Muse показала впечатляющие возможности, генерируя сложные сцены, которые остаются согласованными на протяжении нескольких минут. Модель обучалась на более чем миллиарде изображений и действий ( это примерно 7 лет непрерывного игрового процесса). Уникальность Muse заключается в её способности не только воспроизводить, но и предсказывать развитие игровых событий. Microsoft также представила WHAM Demonstrator — инструмент для взаимодействия с Muse и экспериментировать с её возможностями. Muse и WHAM Demonstrator доступны на платформе Azure AI Foundry. microsoft.com ✔️ Физики приблизили ИИ к "бесконтрольному обучению". Исследователи из Университета технологий Сиднея представили новый алгоритм Torque Clustering (TC), который умеет находить закономерности в данных без участия человека. Вдохновленный процессом слияния галактик, этот метод позволяет ИИ учиться самостоятельно, кратно сокращая необходимость в ручной разметке данных. Алгоритм уже показал высокие результаты, достигнув точности в 97,7% на 1 тыс. датесетах. В отличие от традиционного ИИ, который требует огромного количества размеченных данных, TC работает по принципу естественного наблюдения, подобно тому, как животные изучают окружающий мир. studyfinds.org ✔️ DeepSeek рассматривает возможность внешнего финансирования. DeepSeek объявил о намерениях привлечения дополнительного внешнего финансирования, поскольку планирует трансформироваться из исследовательской лаборатории в коммерческую организацию. Первой выразила намерение инвестировать Alibaba Group, на запрос также откликнулись китайские компании и фонды с государственным участием : China Investment Corporation, National Sovereign Wealth Fund и National Social Security Fund. Помимо инвестиций, DeepSeek рассматривает варианты использования ЦОД в Юго-Восточной Азии для расширения ресурсов и доступа к дополнительными GPU Nvidia. theinformation.com ✔️ Google создает ИИ-ассистента для ускорения научных исследований. "Со-ученый" на базе ИИ от Google ускоряет биомедицинские исследования, помогая исследователям находить пробелы в знаниях и предлагать новые идеи. По словам Алана Картикесалингама, старшего научного сотрудника Google, цель проекта — дать ученым "суперспособности" для более быстрого достижения научных открытий. Инструмент уже прошел первые испытания с участием экспертов из Стэнфордского университета, Колледжа Лондона и больницы Houston Methodist. В одном из случаев ИИ смог за несколько дней прийти к тем же выводам, что и команда ученых из Лондона, которые потратили на исследование несколько лет. Архитектура построена на нескольких ИИ-агентов, каждый из которых выполняет свою роль: один генерирует идеи, другой анализирует и оценивает их. Модель способна извлекать информацию из научных статей и специализированных баз данных, а затем предлагать исследователям ранжированный список гипотез с объяснениями и ссылками на источники. research.google @ai_machinelearning_big_data #news #ai #ml

📌 Практическое руководство по "подводным камням" больших языковых моделей с примерами. Открытый препринт книги Тарсиса Соуза (Tharsis Souza), PhD Лондонсого университета, в которой представлен критический анализ проблем и ограничений, возникающих у инженеров и руководителей технических проектов при разработке приложений на основе LLM. Цель книги, по заявлению автора – помочь создавать надежные и безопасные системы на основе LLM, избегая распространенных ошибок. Она ориентирована на разработчиков, технических менеджеров проектов и технических руководителей, стремящихся к углубленному пониманию и преодолению практических трудностей, связанных с внедрением LLM. В отличие от преобладающего дискурса, акцентирующего возможности LLM, книга сосредоточена на практических сложностях и потенциальных ошибках реализации, предлагая подробное руководство по их преодолению. В книге рассматриваются проблемы: структурной ненадежности, управления входными данными, тестирования, аспектов безопасности и элайнмента, зависимости от поставщиков и оптимизации затрат. Книга сопровождается репозиторием с практическими примерами на Python, анализом реальных сценариев и решений. ▶️ Содержание: 🟢Предисловие 🟢О книге 🟢Глава 1: Пробелы в оценках 🟢Глава 2: Структурированный вывод 🟢Глава 3: Управление входными данными 🟢Глава 4: Безопасность 🟢Глава 5: Элайнмент на основе предпочтений 🟢Глава 6: Локальные модели на практике 🟠Глава 7: Парадокс снижения стоимости (не опубликовано) 🟠Глава 8: Границы (не опубликовано) 🟠Приложение: Инструменты и ресурсы (не опубликовано) 🟡Страница проекта 🖥Github.com @ai_machinelearning_big_data #AI #ML #LLM #Book #Tutorial