Machinelearning

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ для специалистов по работе с данными. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью. Всё о программе — на дне открытых дверей: — Расскажем про разные траектории обучения и как после выпуска стать ML-инженером, CV-инженером, NLP-инженером, Data Scientist или Data Engineer. — Обсудим, какие навыки будут у выпускников, чтобы соответствовать рынку и требованиям работодателей. — Поговорим про поступление: сроки, экзамены, документы, оплата. Спикеры: Станислав Павлов, директор по AI, Positive Technologies. Павел Рябов, академический руководитель программы, заместитель директора Института лазерных и плазменных технологий, НИЯУ МИФИ. Антон Моргунов, Senior инженер по компьютерному зрению, Базис. Центр, академический руководитель программы, Яндекс Практикум. Александр Югов, Curriculum Lead профессии «Инженер данных», Яндекс Практикум. Ждём вас 9 апреля в 19:00 мск. → Зарегистрироваться на встречу

✔️ Новый нейропротез 'мозг-голос' для восстановления естественной коммуникации. Женщина, которая потеряла способность говорить 18 лет назад, теперь общается через свой мозг, в режиме реального времени, своим собственным голосом. Исследование, опубликованное вчера в журнале Nature Neuroscience, описывает прорыв в области интерфейсов мозг-компьютер (BCI), позволяющий женщине, потерявшей способность говорить из-за инсульта, вновь общаться в реальном времени с использованием ее собственного голоса. Этот инновационный подход преобразует нейронные сигналы, связанные с намерением говорить, непосредственно в синтезированную речь без необходимости в наборе текста или звуковых попытках.​ 🔥 Ключевые аспекты исследования: - Участница исследования: 47-летняя женщина, потерявшая способность двигаться и говорить после инсульта 18 лет назад.​ - Технология: Имплантация массива из 253 электродов (ECoG) на моторную кору головного мозга, отвечающую за речь.​ - Процесс: Запись нейронной активности во время мысленного произнесения предложений, последующая обработка с использованием глубоких нейронных сетей для декодирования намерения речи и синтеза звуков, основанных на ее голосе до травмы.​ - Скорость и точность: Система позволяет достигать скорости речи до 90 слов в минуту с задержкой менее секунды, что значительно превосходит предыдущие методы, обеспечивавшие скорость 8–14 слов в минуту.​ - Результаты: Женщина смогла общаться, используя синтезированную речь, которая отражает ее собственный голос, что способствует восстановлению чувства идентичности и улучшению качества жизни.​ Это исследование демонстрирует потенциал BCI-технологий в восстановлении речи у людей с тяжелыми формами паралича и открывает новые перспективы для разработки нейропротезов, способных преобразовывать мыслительные процессы непосредственно в речь. 🟡Статья в Nature @ai_machinelearning_big_data #neural #science

🔥 Video-T1 — это метод в области машинного обучения, направленный на улучшение качества генерации видео посредством масштабирования вычислений на этапе инференса (Test-Time Scaling, TTS). Вместо увеличения размеров модели или объема обучающих данных, Video-T1 использует дополнительные вычислительные ресурсы во время инференса для повышения качества генерированных видео.​ 🌟 Как работает Video-T1:​ 😶Случайный Линейный Поиск (Random Linear Search): Процесс: Этот метод довольно прямолинейный. Берется несколько (N) разных случайных начальных "шумов" (Gaussian noise). Для каждого из этих шумов запускается стандартный процесс генерации видео (пошаговое "очищение" от шума, denoising) от начала до конца, создавая N полных видео-кандидатов. Специальные модели или алгоритмы, называемые "тестовыми верификаторами" (test verifiers), оценивают каждый из N сгенерированных видеороликов по разным критериям (например, соответствие тексту, качество изображения, правдоподобность движения). Выбирается то видео, которое получило наивысшую оценку от верификаторов. ➖ Недостаток: Требует генерации множества полных видео, что может быть очень затратно по времени и ресурсам, особенно для длинных видео. 😶Поиск "Дерево Кадров" (Tree of Frames - ToF): Процесс: Этот метод более хитрый и потенциально более эффективный. Он разбивает генерацию на этапы и строит "дерево" возможных вариантов, отсекая бесперспективные "ветви" на ранних стадиях. (a) Этап 1: Выравнивание на уровне изображений: Начинается генерация нескольких вариантов первых кадров или коротких начальных сегментов. Верификаторы оценивают, насколько хорошо эти начальные изображения соответствуют запросу. Этот этап важен, так как первые кадры сильно влияют на последующие. Отбираются лучшие "стартовые" ветви. (b) Этап 2: Поиск с динамической проверкой: Для перспективных "ветвей" генерация продолжается кадр за кадром (или короткими клипами). На этом этапе верификаторы (возможно, с динамическими подсказками, адаптирующимися к уже сгенерированному) фокусируются на стабильности движения и физической правдоподобности. Они дают обратную связь, которая направляет "эвристический поиск" — алгоритм решает, какие "ветви" дерева продолжать растить, а какие — "подрезать" (prune) как неперспективные. Это экономит ресурсы, не тратя их на заведомо плохие продолжения. (c) Этап 3: Финальная оценка: Когда несколько полных видео- "ветвей" сгенерированы, финальные верификаторы оценивают их общее качество и полное соответствие исходному текстовому запросу. Выбирается лучшее видео из финальных кандидатов. Преимущество: Позволяет более эффективно использовать вычислительный бюджет, концентрируясь на наиболее обещающих вариантах генерации на каждом этапе. Зачем нужен Video-T1: 1) Улучшение качества видео:​ Применение TTS позволяет существенно повысить качество сгенерированных видео и их соответствие заданным текстовым описаниям.​ 2) Экономия ресурсов:​ Вместо дорогостоящего увеличения размеров моделей или повторного обучения на больших объемах данных, Video-T1 использует дополнительные вычисления на этапе инференса, что более экономично.​ 3) Метод может быть адаптирован к различным моделям генерации видео, обеспечивая стабильное улучшение качества при увеличении вычислительных ресурсов во время инференса.​ TTS особенно хорошо работает для улучшения видео по параметрам, которые легко оценить: * Соответствие общим запросам (например, генерация определенной сцены или объекта). * Качество изображения (четкость, детализация). 🟡Github 🟡Paper 🟡Project @ai_machinelearning_big_data #ai #ml #videogenerator #video

🔥 Video-T1 — это метод в области машинного обучения, направленный на улучшение качества генерации видео посредством масштабирования вычислений на этапе инференса (Test-Time Scaling, TTS). Вместо увеличения размеров модели или объема обучающих данных, Video-T1 использует дополнительные вычислительные ресурсы во время инференса для повышения качества генерированных видео.​ 🌟 Как работает Video-T1:​ 😶Случайный Линейный Поиск (Random Linear Search): Процесс: Этот метод довольно прямолинейный. Берется несколько (N) разных случайных начальных "шумов" (Gaussian noise). Для каждого из этих шумов запускается стандартный процесс генерации видео (пошаговое "очищение" от шума, denoising) от начала до конца, создавая N полных видео-кандидатов. Специальные модели или алгоритмы, называемые "тестовыми верификаторами" (test verifiers), оценивают каждый из N сгенерированных видеороликов по разным критериям (например, соответствие тексту, качество изображения, правдоподобность движения). Выбирается то видео, которое получило наивысшую оценку от верификаторов. ➖ Недостаток: Требует генерации множества полных видео, что может быть очень затратно по времени и ресурсам, особенно для длинных видео. 😶Поиск "Дерево Кадров" (Tree of Frames - ToF): Процесс: Этот метод более хитрый и потенциально более эффективный. Он разбивает генерацию на этапы и строит "дерево" возможных вариантов, отсекая бесперспективные "ветви" на ранних стадиях. (a) Этап 1: Выравнивание на уровне изображений: Начинается генерация нескольких вариантов первых кадров или коротких начальных сегментов. Верификаторы оценивают, насколько хорошо эти начальные изображения соответствуют запросу. Этот этап важен, так как первые кадры сильно влияют на последующие. Отбираются лучшие "стартовые" ветви. (b) Этап 2: Поиск с динамической проверкой: Для перспективных "ветвей" генерация продолжается кадр за кадром (или короткими клипами). На этом этапе верификаторы (возможно, с динамическими подсказками, адаптирующимися к уже сгенерированному) фокусируются на стабильности движения и физической правдоподобности. Они дают обратную связь, которая направляет "эвристический поиск" — алгоритм решает, какие "ветви" дерева продолжать растить, а какие — "подрезать" (prune) как неперспективные. Это экономит ресурсы, не тратя их на заведомо плохие продолжения. (c) Этап 3: Финальная оценка: Когда несколько полных видео- "ветвей" сгенерированы, финальные верификаторы оценивают их общее качество и полное соответствие исходному текстовому запросу. Выбирается лучшее видео из финальных кандидатов. Преимущество: Позволяет более эффективно использовать вычислительный бюджет, концентрируясь на наиболее обещающих вариантах генерации на каждом этапе. Зачем нужен Video-T1: 1) Улучшение качества видео:​ Применение TTS позволяет существенно повысить качество сгенерированных видео и их соответствие заданным текстовым описаниям.​ 2) Экономия ресурсов:​ Вместо дорогостоящего увеличения размеров моделей или повторного обучения на больших объемах данных, Video-T1 использует дополнительные вычисления на этапе инференса, что более экономично.​ 3) Метод может быть адаптирован к различным моделям генерации видео, обеспечивая стабильное улучшение качества при увеличении вычислительных ресурсов во время инференса.​ TTS особенно хорошо работает для улучшения видео по параметрам, которые легко оценить: * Соответствие общим запросам (например, генерация определенной сцены или объекта). * Качество изображения (четкость, детализация). 🟡Github 🟡Paper 🟡Project @ai_machinelearning_big_data #ai #ml #videogenerator #video

🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей! Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области! Что тебя ждет: ☑️Денежный призовой фонд ☑️Автоматизированная оценка решений ☑️2 практические задачи: 1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию. 2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию. Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день. Регистрация уже открыта! Подробности и анкета по ссылкам выше.

По Avito ML cup 2025 , документы еще не подписали. Текст согласовали: 🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей! Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области! Что тебя ждет: ☑️Денежный призовой фонд ☑️Автоматизированная оценка решений ☑️2 практические задачи: 1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию. 2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию. Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день. Регистрация уже открыта! Подробности и анкета по ссылкам выше.

✔️ В Китае появились цены на медицинские услуги с использованием интерфейсов "мозг-компьютер". Бюро медицинского страхования провинции Хубэй объявило о введении первых в КНР тарифов на нейротехнологии. Инвазивные процедуры — установка и удаление интерфейса "мозг-компьютер" (ИМК) — оценены в 6552 (902 $) и 3139 (432 $) юаней соответственно, а адаптация неинвазивных систем обойдётся в 966 юаней (133 $). ИМК делится на два типа. Неинвазивный, с датчиками на голове, безопасен, но дает менее точные сигналы. Инвазивный, с имплантатами, эффективнее, однако требует хирургического вмешательства. Обе технологии уже помогают пациентам ходить, «говорить» или «видеть», преобразуя мозговые импульсы в команды. ybj.hubei.gov.cn ✔️ OpenAI анонсировала открытую модель: релиз через несколько месяцев. OpenAI впервые после GPT-2 готовит релиз языковой модели с открытыми весами, доступной для модификации. Как заявил Сэм Альтман, система обладает продвинутыми возможностями логического вывода, а её эффективность планируют повысить за счет обратной связи от разработчиков. Для этого OpenAI запустила форму для сбора предложений и планирует провести очные сессии в Сан-Франциско, Европе и АТР. Модель будет близка по возможностям с o3-mini, ее релиз запланирован на ближайшие месяцы. Sam Altman в X (ex-Twitter) ✔️ Runway выпустила Gen-4. Runway представила Gen-4 — новую модель для генерации видео с высокой детализацией. Система генерирует ролики с консистентными персонажами, объектами и окружением, улучшая физику движений и реалистичность по сравнению с Gen-3 Alpha. Gen-4 использует визуальные ссылки и инструкции и не требует дополнительного обучения. runwayml.com ✔️ SANA-Sprint: SOTA в реалтайм-диффузии. MiT и NVIDIA представилb SANA-Sprint — диффузионную модель, которая генерирует высококачественные изображения 1024x1024 пикселей всего за 0,1 секунды на H100. Технология построена на гибридной дистилляции, что позволяет избежать проблем конкурентов — нестабильности GAN, вычислительной нагрузки VSD и падения качества при малом числе шагов. SANA-Sprint выбивает FID 7,59 и GenEval 0,74 в одношаговом режиме, обгоняя FLUX-schnell как по скорости (в 10 раз быстрее), так и по точности. Интеграция с ControlNet даёт возможность интерактивного редактирования изображений с задержкой менее 0,25 секунды. nvlabs.github.io ✔️ Microsoft расширяет функционал Copilot+ для устройств на AMD, Intel и Snapdragon. Microsoft анонсировала обновления для Copilot+ PC, которые теперь доступны не только на Snapdragon, но и на устройствах с процессорами AMD и Intel. Среди ключевых нововведений — функция Live Captions, обеспечивающая перевод аудио и видео в режиме реального времени на английский и упрощенный китайский. Voice Access также получил улучшения, упрощая управление ПК голосом. Для творческих задач в Paint добавлен Cocreator — инструмент, объединяющий текстовые подсказки с ручной отрисовкой, а в приложении Photos появились Restyle Image и Image Creator. Они позволяют трансформировать фото в художественные стили или генерировать изображения по описанию. Обновление уже распространяются через Windows Update. blogs.windows.com ✔️ Apple разрабатывает ИИ-агента для здоровья. Apple, по данным Bloomberg, активизирует разработку ИИ-агента, способного давать персонализированные рекомендации по здоровью. Проект Mulberry, эволюция более ранней инициативы Quartz, направлен на создание «цифрового тренера», который поможет пользователям улучшить физическую активность, сон и питание. Запуск сервиса планируется в составе iOS 19.4 — уже весной или летом 2025 года. Система будет анализировать данные с Apple Watch и iPhone, предлагая советы на основе медицинских алгоритмов. Для обучения нейросети привлечены не только штатные врачи компании, но и внешние эксперты: диетологи, кардиологи, психотерапевты. Особый упор сделают на трекинг питания — это выведет Apple на прямую конкуренцию с MyFitnessPal и Noom. pymnts.com @ai_machinelearning_big_data #news #ai #ml

🏥 Что MedAgentSim - Это открытая симуляция больницы, где ИИ-агенты на базе LLM играют роли врачей и пациентов, ведут диалоги, ставят диагнозы, запрашивают анализы и учатся на своих ошибках. Всё происходит автоматически, как в игре или симуляторе. 🌟 Чем отличается от обычных ИИ-медицинских систем? 1. Реализм (а не просто ответы на вопросы): Обычные датасеты типа "вопрос — ответ" (QA) статичны. А тут врач-агент: ведёт многоголовую консультацию, сам решает, какие тесты назначить (например, ЭКГ, рентген),постепенно уточняет диагноз. 2. Самообучение через память и размышления: Система запоминает успешные и неудачные случаи. При ошибках агент запускает "рефлексию" — анализирует, что пошло не так, и учится на ошибках. Использует память и рассуждения в стиле chain-of-thought (цепочки мыслей). 3. Можно управлять вручную: По желанию вы можете взять на себя роль врача или пациента. Всё это работает на игровом движке (Phaser), агенты ходят по 2D-карте, взаимодействуют с инструментами и разговаривают. 4. Работает лучше аналогов: Сильно превосходит стандартные модели на тестах NEJM, MedQA, MIMIC-IV, особенно если подключить LLaVA (модель, которая "понимает" медицинские изображения). 5. Фокус на анализ предвзятости: Проверяли, как модели справляются с задачами в условиях когнитивных и имплицитных (скрытых) предубеждений. GPT-4o и LLaMA оказались надёжнее, чем, например, Mixtral. Если коротко: Забавный проект, по сути MedAgentSim — это умный симулятор больницы с ИИ-врачами, которые взаимодействуют как в реальной жизни, учатся на опыте и даже умеют анализировать свои ошибки. 🟡Paper 🟡Project 🟡Github @ai_machinelearning_big_data #ml #ai #aiagents #simulation #MedAgent

⚡️ Авито развивает собственные генеративные модели: A-Vibe и A-Vision Авито представил уникальное семейство генеративных моделей — A-Vibe и A-Vision, созданные на базе нейросети Qwen2.5 с 7 миллиардами параметров. Их разработали специально для задач, связанных с покупкой и продажей товаров, что делает их особенно полезными для классифайдов. 📋 Что умеют эти модели? 🟡A-Vibe — текстовая модель, которая создает продающие описания товаров и помогает в общении между пользователями. 🟡A-Vision — мультимодальная нейросеть, работающая с изображениями и текстом. Она анализирует визуальные характеристики товаров, распознает текст на фотографиях и улучшает качество изображений. Компания представила генеративные модели в рамках новой стратегии, посвященной внедрению искусственного интеллекта. В соответствии с ней до 2028 года Авито собирается инвестировать порядка 12 млрд рублей в технологии GenAI и получить более 21 млрд рублей прибыли. @ai_machinelearning_big_data #ai #ml #avito

🔥 Сегодня Amazon расширила доступ к своим новым генеративным ИИ моделям. Nova Micro, Lite и Pro, предоставляют быстрые и экономически эффективные решения для различных приложений. Особо интересен агент Amazon Nova Act, обученный выполнять комплексные действия в браузере. 🌟Вот ключевые особенности: 1) Агент может автономно управлять -браузером для выполнения задач, имитируя действия человека. 🌐 2) SDK для разработчиков: Поставляется с набором для разработки ПО (SDK), который позволит разработчикам создавать и тестировать собственные прототипы ИИ-агентов. 🧑‍💻 3) Интеграция с Alexa+: Эта технология станет основой для будущих продвинутых функций в улучшенном ИИ-ассистенте Amazon - Alexa+. 🗣️ 4) Автоматизация задач: Nova Act способен выполнять реальные задачи, такие как заказ еды , бронирование столиков , покупки и многое другое. 5) Поддержка контроля человеком: Предусмотрена возможность вмешательства человека, когда это необходимо, для повышения надежности и управляемости. 🧑‍💼 6) Оптимизация производительности: Amazon утверждает, что во внутренних тестах Nova Act превосходит все конкурирующие решения, такие как Operator от OpenAI и Computer Use от Anthropic. Например, в ScreenSpot Web Text, который измеряет, как агент ИИ взаимодействует с текстом на экране. Nova Act набрал 94 %, превзойдя CUA OpenAI (88 %) и Claude 3.7 Sonnet от Anthropic (90 %). Верим?) SDK Nova Act доступен в превью режиме здесь. 🟡Новость #Amazon #NovaAct #AIAgent #Alexa #TechNews #Automation #SDK

🔥 Awesome MCP Servers Тщательно отобранный список (Awesome List) с MCP серверами (Model Control Plane Servers). ✔️ Что такое MCP серверы? MCP — это мост между LLM и внешним миром: сайтами, базами данных, файлами и сервисами и тд. Коллекция из 300+ MCP-серверов для ИИ-агентов 100% oпенсорс.! Здесь можно найти платины на все случаи жизни: •Автоматизация Браузера • Облачные Платформы • Командная Строка • Коммуникации • Базы данных • Инструменты Разработчика • Файловые Системы • Финансы • Игры • Службы определения местоположения • Маркетинг • Мониторинг • Поиск • Спорт • Путешествия И Транспорт • Другие инструменты и интеграций 🟡Github @ai_machinelearning_big_data #mcp #ai #agents #awesome

Яндекс наконец выложил в открытый доступ Instruct-версию YandexGPT 5 Lite — компактную языковую модель с 8 млрд параметров и контекстом до 32 к токенов, которую сразу можно внедрять в свои проекты Модель совместима с llama.cpp и дополнительно представлена в GGUF-формате — можно протестировать локально. ✔️ Главное: 🟡 Согласно тестам, модель в 62% случаев превосходит китайскую Qwen2.5-7B-Instruct (бенчмарк (MMLU, IFEval, RuFacts и других) и сопоставима с GPT-4o Mini в стандартных задачах сервисов компании.​ 🟡 Расширенный контекст: Поддержка увеличена с 8 тыс. до 32 тыс. токенов, что улучшает обработку длинных текстов.​ 🟡 Поддерживает вызов функций 🟡 Модель стала значительно лучше в математике и генерации кода по сравнению с версией предыдущего поколения 🟡 Обновлена лицензия — теперь она позволяет коммерческое использование при объёме входящих токенов до 10 млн в месяц.​ 🟡 Модель доступна на Hugging Face для разработчиков и исследователей.Бизнес-клиенты могут интегрировать её через API в Yandex Cloud, с возможностью дообучения под специфические задачи. В феврале была опубликована Pretrain-версия YandexGPT 5 Lite, на основе которой в комьюнити создали свои версии инстракт- и квантизованных моделей, менее требовательных к вычислительным ресурсам. Посмотреть и сверить с моделью Яндекса — тут. @ai_machinelearning_big_data #ai #ml #YandexGPT #yandex #opensource

🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года! Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​ ✔️Основные нововведения: Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS. В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами. Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​ Чтобы начать использовать Xet, установите дополнительную зависимость:​ pip install -U huggingface_hub[hf_xet] После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​ Доплнительно: 😶 Расширен InferenceClient: 😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere. 😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы. 😶 Улучшен CLI 😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include). 😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size). ✔️ Полный список обновлений ✔️Блог ✔️Документация по Xet @ai_machinelearning_big_data #huggingface #release #xet

🌟 VideoMind - это агент для анализа видео, разработанный для точного понимания контента с привязкой ко времени. Основная цель инструмента - обеспечить "temporal-grounded video understanding", то есть способность отвечать на вопросы о видео, точно указывая на конкретные моменты (визуальные доказательства) в видеоряде, что является сложной задачей для стандартных больших языковых моделей. Как работает: 🟢 Внутри использует ролевой агентный подход (role-based agentic workflow), который включает специализированные компоненты (роли), такие как планировщик (planner) для координации, локализатор (grounder) для привязки ко времени, верификатор (verifier) для оценки точности временных интервалов и ответчик (answerer) для формулировки ответа. 🟢 Разработчики использовали очень интересную стратегию "Chain-of-LoRA", которая позволяет эффективно переключаться между различными ролями с помощью легковесных адаптеров LoRA (Low-Rank Adaptation) без необходимости загружать несколько отдельных моделей, оптимизируя баланс между гибкостью и вычислительной эффективностью. ✔️ Результаты: демонстрирует SOTA производительность на 14 бенчмарках для различных задач понимания видео, включая ответы на вопросы с привязкой ко времени (Grounded VideoQA), временную локализацию событий (VTG) и общие ответы на вопросы по видео (VideoQA). 🟡Github 🟡Demo 🟡Paper 🟡Dataset 🟡Checkpoints @ai_machinelearning_big_data #agent #ai #ml #video

✔️ Теперь Gemini 2.5 Pro теперь доступна бесплатно для всех пользователей с аккаунтом Google. Ранее доступ к ней был ограничен подписчиками Gemini Advanced с тарифом Google One AI Premium за $19,99 в месяц. ​ Пользуемся: http://gemini.google.com #Gemini #google

⚡️ 10 open-source генераторов видео достойных вашего внимания (text-to-video и image-to-video) с лицензией, разрешающей коммерческое использование. Для каждого указано: описание, лучшая категория применения, бенчмарки, кейсы использования и ресурсы для запуска. 1) HunyuanVideo (text-to-video) Флагманская модель от Tencent (~13B параметров), обеспечивает высокое качество качество и реализм. Категория: подходит для генерации реалистичных видео ▪Ресурсы: 45–80 ГБ VRAM, A100/H100, поддержка FP8 🟡Ссылка 2) Mochi (text-to-video) Описание: модель от Genmo (~10B параметров), быстрая и мощная ▪Категория: реализм + плавность движения ▪Бенчмарки: качество почти на уровне Hunyuan, 30 FPS ▪Кейсы: реклама, креативы, short-видео ▪Ресурсы: Для работы модели требуется не менее 4 GPU H100., поддержка LoRA, FP8 🟡Ссылка 3) Wan2.1 (text/image-to-video) ▪Описание: универсальный генератор от Alibaba (до 14B параметров) ▪Категория: синтез движений, анимация изображения ▪Бенчмарки: высокая стабильность, особенно в SkyReels. ▪Кейсы: оживление изображений, видеопрототипы ▪Ресурсы: 12–24 ГБ VRAM (1.3B и 14B версии) 🟡Ссылка 4) LTX-Video ▪Описание: real time генератор от Lightricks (2B параметров).Нативная поддержка в ComfyUI ▪Категория: анимация, контроль keyframe ▪Бенчмарки: 24 FPS, 768p, хорошая стабильность при 2B ▪Кейсы: раскадровки, быстрые клипы ▪Ресурсы: от 12 ГБ VRAM (RTX 3060+), рекомендуется RTX 4090 🟡Ссылка 5) Pyramid Flow (text/image-to-video) ▪Описание: модель на базе Flux для генерации длинных видео (до 10 сек, 768p) ▪Категория: длительные сцены, плавные переходы ▪Бенчмарки: превосходство в motion stability ▪ Кейсы: нарративные ролики, контент для соцсетей ▪ Ресурсы: 12–48 ГБ VRAM 🟡Ссылка 6) CogVideo / CogVideoX (text-to-video) ▪Описание: трансформер на 9B/5B параметров от THU ▪Категория: стилизация, универсальность ▪ Бенчмарки: сильные CLIP/FVD, хорошая временная согласованность ▪ Кейсы: мультфильмы, обучающее видео, стилизованные ролики ▪Ресурсы: 20–24 ГБ VRAM, оптимизирован под FP8 🟡Ссылка 7) Step-Video-TI2V Модель для генерации видео (до 102 кадров), производительностью SOTA. Принимает на вход текстовые описания и изображения. ▪Бенчмарки: на VBench-I2V показывает лучшие результаты по сравнению с другими современными открытыми моделями для генерации видео из изображения и текста, а также лидирует в публичном рейтинге. 🟡Ссылка 8) AnimateDiff Ветеран этого списка. ▪Категория: анимация, стилизация ▪Бенчмарки: высокая согласованность между кадрами ▪Кейсы: оживление арта, анимированные сцены ▪Ресурсы: от 8 ГБ VRAM, масштабируется до 24 ГБ для высокого качества 🟡Ссылка 9) Easy Animate (image-to-video) ▪Описание: генерация видео из одного кадра (Alibaba, EasyAnimate V5) ▪Категория: анимация изображения ▪Бенчмарки: стабильная идентичность объекта, плавность ▪Кейсы: оживление фото, персонажей, иллюстраций ▪Ресурсы: минимум 12–24 gb CPU 🟡Ссылка 10)​LTX-Video-Trainer Проект, предоставляющий инструменты и скрипты для обучения и дообучения модели LTX-Video от компании Lightricks. ▪Категория: с его помощью можно обучать адаптеры LoRA поверх LTX-Video, а также выполнять полное дообучение модели на ваших датасетах. ▪Ресурсы: не менее 12 ГБ GPU для эффективного обучения и дообучения модели. RaM: Минимум 16 ГБ; 🟡Ссылка - Open-Sora (и связанные проекты) ▪Описание: Это не одна конкретная модель, а скорее инициатива разработчиков (и несколько независимых проектов) по созданию и обучению open-source модели ▪Бенчмарки: Пока находятся в активной разработке. Сильная сторона - открытость и амбициозная цель. Результаты варьируются, но быстро улучшаются. ▪Ресурсы: Требования сильно зависят от конкретной реализации и этапа проекта. 📌 Подробное описание моделей Добавляйте в комментариях ссылки генераторы, которыми вы пользуетесь 👇 #ai #video #videogenerator #ml

🌟 TripoSG и TripoSF — это новые модели генеративного ИИ для создания высококачественных 3D-моделей. TripoSG 1.5B преобразует одиночные 2D-изображения (фото, эскизы, мультяшные картинки) в детализированные 3D-сетки (meshes). TripoSF - это продвинутый инструмент: он работает с более сложными топологиями, создает высокое разрешение (до 1024³) и может моделировать даже внутренние детали объектов, например, сложные механизмы. 😶Как работают эти модели? TripoSG использует rectified flow transformers (трансформеры с выпрямленным потоком). Это метод, который упрощает процесс генерации, соединяя данные и шум по прямой линии (в отличие от традиционных диффузионных моделей, где путь более сложный). Дифференцируемое представление данных, которое позволяет экономить память при работе с высоким разрешением . 😶Данные для обучения: Модель обучена на специально подготовленном наборе данных из 2 миллионов пар "изображение-SDF" (SDF — signed distance function, функция, описывающая расстояние до поверхности объекта). 😶Процесс работы: Вы загружаете одно изображение (например, фото статуи или рисунок персонажа). Модель анализирует его, используя вариационный автоэнкодер (VAE) с геометрическим надзором, и генерирует 3D-сетку с высокой детализацией. 😶Результат: На выходе получаем 3D-модель, которую можно использовать в играх, анимации или 3D-печати. TripoSF Модель может обрабатывать сложные топологии (например, открытые поверхности или внутренние структуры) и обучена с использованием вокселей, учитывающих перспективу (frustum-aware voxels). Tripo известны своим сотрудничеством со Stability AI. Ранее они выпустили TripoSR — модель для быстрой реконструкции 3D-объектов из одного изображения, которая тоже стала open-source. TripoSG и TripoSF — это более продвинутые версии, которые расширяют возможности 3D геенрацит: от простых объектов до сложных структур с высоким разрешением. 🟡Github 🟡Model 🟡Project 🟡Paper @ai_machinelearning_big_data #ai #3dgeneration #opensource #Tripo

✔️ Киностудии требуют доход с ИИ-трейлеров на YouTube вместо их блокировки. Warner Bros., Sony Pictures и Paramount меняют подход к защите контента: вместо удаления сгенерированных фейковых трейлеров на YouTube они настаивают на передаче им рекламных доходов. Например, Warner Bros. претендует на монетизацию роликов с использованием «Супермена», а Sony — трейлеров к «Человеку-пауку» и «Крейвену». Это стратегический шаг — студии видят в ИИ не только угрозу, но и источник прибыли, адаптируясь к цифровой реальности. Технологии генерации контента упростили создание фейков, но теперь авторы таких видео рискуют лишиться заработка. Вместо привычных копирайт-страйков правообладатели используют систему Content ID, автоматически перенаправляя деньги себе. Пока неясно, как эта ситуация повлияет на кузнецов контента — возможно, им придется искать новые платформы или договариваться со студиями. deadline.com ✔️ Manus AI выпустили приложение для iOS, перешли на Sonnet 3.7 и опубликовали тарифы. Manus AI анонсировала запуск мобильного приложения для iOS. Основной фишкой стал Sandbox с расширенным контекстом и мультимодальными функциями. Всю систему перевели на Claude 3.7 Sonnet, что повысило скорость и точность обработки задач. После закрытого бета-тестирования Manus AI открыл доступ всем пользователям, предложив 3 тарифа: Free дает 1000 кредитов, Starter за $39/мес. - 3900 кредитов и 2 параллельных процесса , Pro-версия ($199/мес) - 19 900 кредитов, 5 задач одновременно + доступ к бета-функциям. Manus AI в X (ex-Twitter) ✔️ ЕС инвестирует 1,3 млрд. евро в ИИ, кибербезопасность и цифровые навыки. Еврокомиссия планирует инвестировать 1,3 млрд. евро (1,4 млрд долларов) в ИИ, кибербезопасность и цифровые навыки в рамках программы "Цифровая Европа" в период с 2025 по 2027 год, говорится в заявлении, опубликованном в пятницу. "Обеспечение технологического суверенитета Европы начинается с инвестирования в передовые технологии и предоставления людям возможности повысить свою цифровую компетентность", - заявила руководитель отдела цифровых технологий Европейской комиссии Хенна Вирккунен. reuters.com ✔️ VBench-2.0: обновление бенчмарка генерации видео. Обновленный VBench-2.0 от NTU S-Lab и Shanghai AI Lab переводит оценку ИИ-видео с «красивой картинки» на уровень глубинного понимания физики, анатомии и логики. Система проверяет 18 параметров — от движения камеры до правдоподобности бытовых сцен. VBench-2.0 в открытом доступе — можно тестировать свои модели, сравнивать результаты и влиять на развитие экосистемы. github.com ✔️ Amazon Interests: гиперперсонализированный шопинг с ИИ. Новый сервис Interests от Amazon использует ИИ, чтобы превратить хобби пользователей в высокоточные рекомендации. Система анализирует естественные запросы вроде «инструменты для варки кофе» или «деревянные головоломки», преобразуя их в поисковые параметры. Под капотом, возможно, задействована масштабированная версия модели Nova series Reasoning — хотя компания пока не раскрывает детали. Интересы можно детализировать: указать бюджет, материалы или цвета, а алгоритм будут непрерывно предлагать новые товары. Планируется, что сервис интегрируют в Alexa+ — следующее поколение ассистента, которое будет подключать специализированные ИИ-модули. Пока функция доступна ограниченному кругу пользователей в США через мобильное приложение. Но если тесты пройдут успешно, Amazon масштабирует технологию, усиливая конкуренцию в сфере персонализированной коммерции. aboutamazon.com @ai_machinelearning_big_data #news #ai #ml

✔️ DeepSite на базе DeepSeek-V3-0324, позволяет вам генерировать собственные приложения или игры с ИИ в браузере и хостить их. Сгенерировал парочку простеньких игр на Go с интерфейсом, работает годно. 😶 По сути это Сursor в браузере. 🟡Попробовать: https://huggingface.co/spaces/enzostvs/deepsite @ai_machinelearning_big_data #deepseek #vibecoding #app

🌟 Magma – это фундаментальная модель от Microsoft, предназначенная для создания мульти-модальных AI-агентов, способных воспринимать окружение и действовать в цифровом и физическом мире. Эта модель объединяет данные из различных источников (изображения, видео, данные о робототехнических манипуляциях и тд) и позволяет решать сложные задачи, требующие одновременной обработки текстовой, визуальной и пространственной информации. Как работает Magma: 🟢 Используется единый визуальный энкодер, который преобразует изображения и видео в векторные представления, обеспечивая универсальное понимание визуальных данных. 🟢 Далее применяется техника Set-of-Mark (SoM) для маркировки ключевых объектов в изображениях (например, интерактивных кнопок или частей робота), что позволяет модели точно «привязывать» действия к нужным элементам сцены. 🟢Техника Trace-of-Mark (ToM) отвечает за планирование действий, анализируя динамику видеоданных и предсказывая последовательности будущих движений или изменений состояния объектов. 🟢Интеграция визуальной информации с текстовыми данными осуществляется через языковую модель, которая генерирует ответы в виде текста, пространственных координат или команд для выполнения конкретных задач. Для чего нужен: 🟢Magma обеспечивает мульти-модальное понимание данных, объединяя вербальный, пространственный и временной аспекты, что значительно расширяет возможности AI-агентов. 🟢 Применим в широком спектре задач – от навигации по пользовательским интерфейсам до управлени роботами и играми – благодаря способности адаптироваться к новым задачам без дообучения (zero-shot). 🟢Позволяет разрабатывать интеллектуальные системы, которые не просто анализируют данные, но и планируют и осуществляют последовательность действий, что особенно важно для робототехники и интерактивных приложений. 🟡Github 🟡Проект 🟡Статья 🟡HF 🟡Video @ai_machinelearning_big_data #AI #ML #LLM #opensource #agents #Microsoft