Machinelearning

🌟 MM-EUREKA: Мультимодальный ризонинг. MM-Eureka — разработка Шанхайской лаборатории ИИ, которая совершила шаг вперед в решении задач, требующих анализа изображений и текста. В отличие от рядовых VLM, эта модель сочетает RL с мультимодальным мышлением, имитируя человеческую способность, схожую с «моментами озарения». Авторы заявляют, что MM-Eureka не только обладает повышенной точностью ответов, но и учится перепроверять визуальные данные с помошью рассуждений. MM-Eureka суперэффективна: даже при обучении на 0,05% данных от аналогов, модель превзошла их в тестах на математическую логику и анализ графиков. Например, в задачах уровня школьной программы она показала рост точности на 8,2%. При этом тестовая модель, не имея явных инструкций, научилась «переосмысливать» изображения — заново оценивать геометрические схемы для поиска ошибок. В основе MM-Eureka - модели InternVL2.5 с параметрами 8 и 38 млрд. Архитектура объединяет механизмы внимания для анализа визуальных паттернов и языковые слои для генерации ответов. Обучение строилось на алгоритме RLOO (REINFORCE Leave-One-Out), который снижает шум в оценках преимуществ, и PPO-clip, предотвращающем резкие изменения политики. Авторы отказались от ограничений KL-дивергенции, чтобы не сдерживать «творческий» поиск решений. Функция вознаграждения включала проверку точности ответов через Math-Verify и соблюдение структуры вывода, чтобы усилить логическую строгость. ▶️В релиз вошли 2 модели, датасет и код для самостоятельных изысканий в обучении: 🟢MM-Eureka-8B 🟢MM-Eureka-Zero-38B 🟠MM-Eureka-Dataset 📌Лицензирование: Apache 2.0 License. 🟡Набор моделей 🟡Техотчет 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Reasoning #MMEUREKA

Дайджест событий из мира диффузионок за 2 года от экспертов ШАДа ✔️ Simple Diffusion улучшила качество генерации изображений Модель Simple Diffusion от Google Brain позволила генерировать изображения высокого разрешения без дополнительных моделей Super Resolution. ✔️ SDXL подняла планку для opensource-моделей SDXL стала первой крупной opensource-моделью с 2,8 миллиардами параметров. Это повысило четкость изображений и улучшило контроль генерации с помощью механизма Micro-Conditioning. ✔️ EMU фокусировалась на качестве обучающих данных Разработчики модели EMU разделили обучение на стадии pre-training и supervised fine-tuning, акцентируя внимание на качестве дообучающего датасета. При таком подходе получается высокий результат при минимальном сборе данных. ✔️ PixArt-α и эффективность трансформеров Модель PixArt-α от Huawei показала высокую эффективность при обучении на малом количестве данных с использованием трансформерной архитектуры. Это открыло новые возможности для создания мощных генеративных моделей с меньшими затратами. ✔️ SANA от Nvidia обеспечила качество в 4K Модель SANA генерировала изображения в разрешении 4K без дополнительных Super Resolution решений. Использование глубокого автокодировщика с масштабом 32 ускорило процесс генерации и улучшило качество изображений. 🟡 Статья #news #ai #ml

📌Опенсорс-модели T-Lite и T-Pro: процесс обучения моделей от подготовки данных до финальных экспериментов. В открытом доступе представлено ограниченное количество LLM. Как правило, крупные игроки публикуют модели с ограничивающими лицензиями или выкладывают легкие версии своих флагманских разработок. В этих условиях русскоязычные модели T-Lite и T-Pro (на 7 млрд. и 32 млрд. параметров соответственно) от Т-Банка поддерживают все опенсорс-сообщество. Компания выложила эти LLM с открытой лицензией в конце 2024 года. При обучении этих моделей использовался гибридный подход Continual Pretraining, который сочетает элементы Pre-Training и Post-Training. При этом вместо обучения с нуля за основу была взята сильная открытая модель — Qwen2.5. Это позволило значительно снизить затраты и ускорить сам процесс обучения, сохранив преимущества глубокой адаптации. Процесс обучения LLM можно условно разделить на шесть стадий: выбор оптимальной базовой модели, опциональный этап по расширению токенизатора, continual pretraining stage 1, continual pretraining stage 2 с добавлением инструктивных данных, SFT и DPO. Основной идеей остается дообучение сильных открытых моделей, что приводит к меньшим затратам ресурсов на обучение по сравнению с созданием моделей лидерами индустрии. Какую именно открытую модель необходимо выбрать, как происходит дообучение, почему важны кодовые датасеты и связь с навыками рассуждения подробно рассказывается в статье от MLE по разработке фундаментальных моделей. 🟡Статья @ai_machinelearning_big_data #AI #ML #LLM

✔️ TSMC предлагает ИТ-гигантам объединиться вокруг производственных мощностей Intel. TSMC обратилась к Nvidia, AMD и Broadcom с предложением войти в совместное предприятие, целью которого станет управление производственными мощностями Intel. Как сообщают источники, TSMC планирует сохранить за собой менее 50% акций в данном предприятии. Аналогичное предложение, по некоторым данным, было направлено и компании Qualcomm. Эти переговоры разворачиваются на фоне обращения администрации президента США к TSMC с просьбой оказать содействие испытывающей трудности Intel. Известно, что переговоры по Intel находятся на ранней стадии, и TSMC заинтересована в привлечении нескольких компаний к участию в этом проекте. zaobao.com.sg ✔️ ИИ от Sakana AI успешно прошел научное рецензирование. Проект Scientist-v2, разработка Sakana AI, смогла создать научную работу, которая успешно прошла процесс рецензирования на одном из воркшопов Международной конференции ICLR. Это стало первым случаем, когда полностью сгенерированное исследование прошло стандартную процедуру оценки. Представленная работа была посвящена методам регуляризации нейронных сетей и, как ни странно, сообщала об отрицательных результатах. Несмотря на то, что средняя оценка работы составила 6.33, что превысило порог принятия воркшопа, согласно предварительной договоренности, работа была отозвана, поскольку в научном сообществе пока отсутствуют устоявшиеся нормы для сгенерированных работ. sakana.ai ✔️ Google DeepMind выводит ИИ в физический мир с Gemini Robotics. Google DeepMind представила новейшую разработку – Gemini Robotics, модель на базе Gemini 2.0, способную наделить роботов способностью к "телесному" мышлению. Эта VLA (Vision-Language-Action) модель способна самостоятельно управлять роботами, открывая новые возможности в их применении. Наряду с ней представлена Gemini Robotics-ER, модель с углубленным пространственным пониманием, позволяющая робототехникам использовать возможности Gemini в своих проектах. Обе модели демонстрируют интерактивность и ловкость, позволяя роботам адаптироваться к различным ситуациям, взаимодействовать с людьми и выполнять сложные задачи. Google DeepMind тестирует Gemini Robotics-ER с несколькими доверенными партнерами. deepmind.google ✔️ Doubao (ByteDance) опубликовала технические детали модели генерации изображений Seedream 2.0. Команда Doubao официально представила технический отчет о своей модели генерации изображений Seedream 2.0, впервые раскрыв детали процесса разработки, начиная со сбора данных и заканчивая постобработкой с использованием RLHF. В отчете отмечаются улучшения в понимании китайского и английского языков, отрисовке текста, достижении высокого уровня эстетики и разрешения генераций. Seedream 2.0 была запущена еще в начале декабря 2024 года в приложениях Doubao и Jimeng, ей воспользовались сотни миллионов пользователей и она стала любимым инструментом для многих профессиональных дизайнеров в Китае. По сравнению с Ideogram 2.0, Midjourney V6.1 и Flux 1.1 Pro, Seedream 2.0 лучше справляется с текстом и лучше понимает китайскую культуру. Модель поддерживает запросы на китайском и английском языках. team.doubao.com ✔️ Испания вводит крупные штрафы за отсутствие маркировки контента, созданного ИИ. Испанское правительство одобрило законопроект, предусматривающий введение внушительных штрафов для компаний, которые используют сгенерированный контент без соответствующей маркировки. Мера направлена на борьбу с распространением "дипфейков". Несоблюдение требований по маркировке будет классифицироваться как "серьезное правонарушение", что может повлечь за собой штрафы до 35 млн. евро или 7% от годового оборота компании-гарушителя. Новый регулирующий орган AESIA будет отвечать за обеспечение соблюдения новых правил. reuters.com @ai_machinelearning_big_data #news #ai #ml

📌Awesome CursorRules: репозиторий с рецептами Cursor AI. Awesome CursorRules — коллекция файлов-рецептов .cursorrules для тонкой настройки поведения Cursor AI. Автор репозитория собрал десятки шаблонов, адаптирующих генерацию кода под конкретные проекты: от мобильных приложений до блокчейн-решений. Главная «фишка» .cursorrules — гибкость. Разработчики могут прописать правила, которые сделают подсказки ИИ более релевантными: например, учесть стиль кода команды или архитектурные особенности проекта. Это не только ускоряет работу, но и снижает риск ошибок. Коллекция включает практически все сферы разработки: фронтенд (Angular, NextJS, Qwik, React, Solid, Svelte, Vue), бэкенд (Deno, Elixir, ES, Go, Java, Lavarel, NodeJS, Python, TypeScript, WordPress), мобильную разработку (React Native, SwiftUI, TypeScript, Android, Flutter) и специфические задачи — интеграцию с Kubernetes или оптимизацию под SOLID-принципы. Для новичков есть пошаговые инструкции: достаточно скопировать файл в проект или установить расширение для VS Code. Судя по отзывам, Awesome CursorRules уже стал мастхэв для тех, кто хочет выжать максимум из Cursor AI. 🖥GitHub @ai_machinelearning_big_data #AI #ML #Github #Awesome #CursorAI

Как изменились диффузионные модели за 2 года? Материал подготовили эксперты ШАДа и исследователи Yandex Research по итогам открытого интенсива по компьютерному зрению. Год: 2025 Читать статью #ai #report

✔️ Gemma 3 — свежий релиз, который значительно расширяет возможности открытых моделей и упрощает их развёртывание: 🟢 27B модель: Достигла рейтинга ELO 1338 и при этом умещается на одном H100. 🟢 Поддержка vision: Теперь модель способна обрабатывать смешанный контент, включая изображения, видео и текст. 🟢Доступны версии на 1В, 4В, 12В, 27В в базовых и instruct версиях 🟢 Расширенное окно контекста: Модель может работать с контекстом до 128k токенов 🟢 Широкая языковая поддержка: Поддерживается 140 языков 🟢 Встроенные возможности для реализации агентных сценариев и интеграции с внешними инструментами. Попробуйте модель по ссылке: Gemma 3 27B. 🟡Пост: https://blog.google/technology/developers/gemma-3/ 🟡Попробовать: aistudio.google.com/prompts/new_chat?model=gemma3-27b 🟡Tech report: https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf 🟡Видео https://youtube.com/watch?v=UU13FN2Xpyw 🟡HF: https://huggingface.co/blog/gemma3 @ai_machinelearning_big_data #gemma #ai #ml #release #google #

✔️ OpenAI презентовала новые инструменты для разработчиков. OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя. Опубликованы и тарифы: Computer Use несколько дороже обычной GPT-4o, а поиск по файлам тарифицируется за запросы ( 2.5 долл. за 1000) и объем загруженных данных (10 центов за гигабайт) OpenAI на Youtube ✔️ TypeScript 7.0 будет в 10 раз быстрее. Microsoft анонсировала радикальное улучшение производительности TypeScript за счет новой нативной реализации компилятора, написанной на Go. Он сократит время сборки проектов, ускорит загрузку редакторов и снизит потребление памяти. Уже сейчас тесты показывают: проверка кода VS Code занимает не 77,8 секунд, а всего 7,5. Выпуск TypeScript 7.0 запланирован на конец 2025 года, но тестовую версию уже можно опробовать в GitHub-репозитории. Пока команда сохранит поддержку TypeScript 6.x для проектов, зависящих от старых API. Подробности — в AMA-сессии Discord 13 марта, где авторы ответят на вопросы о будущем экосистемы. devblogs.microsoft.com ✔️ Agora выпустила набор Conversational AI для IoT-устройств. Agora, мировой лидер в области решений для взаимодействия в реальном времени, анонсировала запуск ConvoAI Device Kit — инструментария для разработки голосового ИИ в IoT-устройствах. Совместно с производителем чипов Beken и создателем роботов Robopoet Agora предлагает технологию, которая превращает игрушки, гаджеты и «умные» устройства в эмоционально отзывчивых собеседников. ConvoAI Device Kit объединяет чипы Beken с платформой Agora и обеспечивает распознавание речи с минимальной задержкой, адаптивные диалоги и обработку эмоций. Решение подходит для образовательных игрушек, «умных» домов и носимых гаджетов. agora.io ✔️ Supermicro запускает edge-серверы для AI с процессорами Intel Xeon 6. Supermicro анонсировала линейку компактных серверов, оптимизированных для ИИ. Новые системы оснащены процессорами Intel Xeon 6 с P-ядрами (до 144 вычислительных ядер, увеличенная на 40% пропускная способность памяти и улучшенная энергоэффективность). Новая линейка позволит обрабатывать данные в реальном времени непосредственно на месте их генерации, что критично для телекома, медицины и промышленности. Серверы поддерживают до 512 ГБ DDR5, имеют порты 100 GbE и слот PCIe 5.0 для GPU, что делает их идеальными для медиа-задач и Edge AI. Отдельного представлены системы с процессорами Intel Core Ultra 15-го поколения — они предназначены для IoT и AI-инференса на edge-периферии (до 24 ядер и NPU). supermicro.com ✔️ Cerebras развернёт 6 дата-центров в США и Европе. Cerebras Systems, лидер в области инференса генеративного ИИ, объявила о запуске 6 новых дата-центров. Объекты в США, Канаде и Европе, оснащённые тысячами систем CS-3 на базе Wafer-Scale Engines, обеспечат обработку свыше 40 млн токенов Llama 70B в секунду, что сделает Cerebras крупнейшим поставщиком облачных решений для ИИ. Проект увеличит совокупную мощность компании в 20 раз, удовлетворив растущий спрос клиентов — от Mistral до гигантов вроде HuggingFace. Особое внимание уделено надёжности: дата-центр в Оклахома-Сити, защищённый от торнадо и сейсмической активности, начнёт работу в июне 2025 года. cerebras.ai ✔️ GPUStack — менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.Позволяет организовать эффективное распределение ресурсов для инференса AI моделей, упрощает развертывание масштабируемых решений и обеспечивает гибкую интеграцию с существующими сервисами и приложениями. Github @ai_machinelearning_big_data #news #ai #ml

🧠 Тест на знание MLOps: https://otus.pw/ycCf/?erid=2W5zFGMG5Lk   ❓ Под силу ли вам ответить правильно на все 15 вопросов? 🎯 Проверьте себя — пройдите тест и оцените свой уровень навыков, а также свою готовность к обучению на курсе — «MLOps» от OTUS. 🎥 После прохождения теста вы получите доступ к лучшим вебинарам курса! ⏳ Время прохождения теста ограничено. #реклама О рекламодателе

🌟 EuroBERT: энкодеры нового поколения. Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский. EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи. В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач. Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%. ▶️Состав релиза: 🟢EuroBERT-210М 🟢EuroBERT-610М 🟢EuroBERT-2.1В ⚠️ EuroBERT можно использовать непосредственно с transformers, начиная с версии 4.48.0 ⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с Flash Attention 2 ▶️ Пример инференса:

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "EuroBERT/EuroBERT-210m"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)

text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  Paris

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Коллекция на HF 🟡Arxiv 🖥GitHub (Скоро) @ai_machinelearning_big_data #AI #ML #Encoder #EuroBERT

✔️ В сеть утекли спецификации RTX 5060 Ti и 5050. NVIDIA RTX 5060 Ti будет использовать чип GB206-300, иметь 4608 ядер CUDA, две конфигурации GDDR7 объемом 8 ГБ и 16 ГБ, использовать 128 бит и энергопотребление в 180 Вт. RTX 5050 построена на чипе GB207-300 с 2560 ядрами CUDA, 8 ГБ видеопамяти GDDR6, 128-битную разрядность и энергопотреблением 130 Вт. Обе видеокарты используют конструкцию печатной платы PG152. По слухам, RTX 5060 Ti и RTX 5050 выйдут в апреле-мае, а RTX 5050 должна составить конкуренцию Intel Battlemage Arc B580. videocardz.com ✔️ Квантовый интернет стал немного ближе к реальности. Ученые при момощи ИИ обнаружили более простой способ формирования квантовой запутанности между субатомными частицами. Это открытие потенциально облегчит разработку квантовых коммуникационных технологий. Исследование, опубликованное в Physical Review Letters, описывает, как разработанный ИИ-инструмент PyTheus предложил принципиально новый метод, основанный на неразличимости путей фотонов. Это открытие упрощает процесс формирования квантовой запутанности, что в перспективе может сделать квантовые сети для безопасной передачи сообщений более осуществимыми. Хотя практическое масштабирование технологии еще предстоит оценить, исследование убедительно демонстрирует потенциал AI как инструмента для научных открытий в физике. space.com ✔️ Similarweb: ChatGPT посещают почти 4 миллиарда человек в месяц, но рост замедляется. Февраль 2025 года стал для ChatGPT рекордным по числу посетителей – 3,905 миллиарда, но несмотря на это, месячный прирост составил скромные 1,44%, что указывает на существенное замедление динамики. В годовом исчислении рост остается впечатляющим - 137% по сравнению с февралем 2024 года. Эти показатели позволили ChatGPT занять 5 место среди самых посещаемых десктопных веб-сайтов в мире и 7 место с учетом мобильного трафика. Даже с таким внушительным количество пользователей, ChatGPT пока не может сравниться по объемам трафика с Google. Similarweb в X (Twitter) ✔️ Китайские университеты расширяют прием студентов по ИИ направлениям. Несколько ведущих университетов Китая заявили о планах по увеличению набора студентов. Данная инициатива направлена на приоритетное развитие кадров в сферах, имеющих "национальное стратегическое значение", одна из них - искусственный интеллект. Решение последовало за запуском университетских курсов по ИИ, основанных на разработках стартапа DeepSeek, чьи успехи сравнивают со "спутником" в технологическом прорыве. Peking University добавит 150 мест в 2025 году, Renmin University - более 100, Shanghai Jiao Tong University также увеличит прием на 150 мест в специализациях по ИИ и новых технологиях. Эти меры тесно связаны со стремлением КНР стать "мощной образовательной державой". reuters.com ✔️ Sony Music ведет масштабную борьбу с дипфейками. Компания Sony Music отчиталась о удалении более 75 тысяч сгенерированных искусственным интеллектом материалов, в основном это подделки записей известных исполнителей. Этот объем выявленных фейков, по мнению музыкальных руководителей, является лишь вершиной айсберга. Sony опасается, что планируемое ослабление законодательства об авторском праве в Великобритании усугубит проблему и нанесет прямой коммерческий ущерб артистам. В своем обращении к правительству Великобритании компания подчеркнула, что существующая система лицензирования интеллектуальной собственности для обучения ИИ является предпочтительной и ведет с рядом компаний переговоры. ft.com ✔️ У китайцев вышел новый DeepSeek — супернейросеть Kimi k1.5, которая теперь доступна для всех (если у вас есть аккаунт Google). • По бенчмаркам AIME и MATH 500 она с лёгкостью обходит OpenAI o1, предлагая сразу возможности поиска и «глубокого размышления». •Можно загрузить до 50 файлов, а контекстное окно на 200 тысяч токенов способно обработать огромный объём данных, выдавая подробный ответ или краткий вывод. kimi.ai ✔️ANUS (Autonomous Networked Utility System) — опенсорсную версию популярного Manus, который клонировал самого себя GItHub @ai_machinelearning_big_data #news #ai #ml

Приглашаем на открытый урок «Применение искусственного интеллекта в диагностике и визуализации медицинских изображений» Познакомимся с современными методами использования ИИ для анализа медицинских изображений, включая рентгеновские снимки, МРТ и КТ на открытом уроке, посвященному курсу «Искусственный интеллект в медицине» ✅ Рассмотрим примеры успешных внедрений и разберем алгоритмы, которые помогают врачам быстрее и точнее ставить диагнозы.  👉 Регистрация и подробности:  https://otus.pw/Ulm2/?erid=2W5zFGAcNja #реклама О рекламодателе

🌟 Distill-Any-Depth: метод оценки глубины сцены по одному изображению. Distill-Any-Depth - метод обучения моделей монокулярной оценки глубины, который сочетает кросс-контекстную дистилляцию и мульти-учительский подход для точного определения расстояния до объектов на RGB-изображении. Он предназначен для обучения моделей (например, DPT, MiDaS или DepthAnythingv2), которые учатся на псевдо-метках, сгенерированных учительскими моделями (Genpercept, DepthAnythingv2). Метод не просто улучшает существующие алгоритмы, но и задает новый стандарт в области определения глубины. Методика может применяться в сфере автономного транспорта и AR-решений. Она может ускорить создание точных 3D-карт для навигации и улучшить реалистичность виртуальных миров за счет детализированного анализа пространства. При этом, обучение CV-моделей с Distill-Any-Depth довольно энергоэффективно — достаточно одной NVIDIA V100. Основа Distill-Any-Depth - кросс-контекстная дистилляция, объединяющая 2 сценария: 🟠Shared-Context Distillation — модель-учитель и модель-ученик обучаются на одинаковых фрагментах изображения. 🟠Local-Global Distillation — модель-учитель анализирует локальные фрагменты, а модель-ученик предсказывает глубину для всего изображения, отвечая за глобальную согласованность сцены. Экспериментальная модель обучалась на 50 тыс. изображений из SA-1B с разрешением 560×560. Использовались псевдо-метки от Genpercept (диффузионная модель) и DepthAnythingv2 (DINOv2). В рамках мульти-учительского подхода на каждой итерации случайно выбирался один учитель. На тестах DIODE и ETH3D метод сократил значение AbsRel на 9.6–20% по сравнению с базовой дистилляцией. Например, при обучении модели-ученика DPT с учителями Genpercept и DepthAnythingv2 AbsRel на ETH3D составил 0.065 против 0.096 у Genpercept. На бенчмарках NYUv2, KITTI, ScanNet модель достигла SOTA: AbsRel 0.043 (NYUv2), 0.070 (KITTI), 0.042 (ScanNet). В сравнении с DepthAnything v2 (AbsRel: 0.045 на NYUv2) и Marigold (0.055) Distill-Any-Depth показал более высокую детализацию и точность относительной глубины. ▶️В открытом доступе 3 модели, обученные с Distill-Any-Depth: 🟢Distill-Any-Depth-Multi-Teacher-Small - 24.8М параметров 🟢Distill-Any-Depth-Multi-Teacher-Base - 95.5М параметров 🟢Distill-Any-Depth-Multi-Teacher-Large - 335.3М параметров ▶️Локальная установка и инференс в Gradio:

# Create Conda env 
conda create -n distill-any-depth -y python=3.10
conda activate distill-any-depth

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -r requirements.txt
pip install -e .

# If use hf_hub_download, you can use the following code
checkpoint_path = hf_hub_download(repo_id=f"xingyang1/Distill-Any-Depth", filename=f"large/model.safetensors", repo_type="model")

# Launch Gradio demo 
python app.py

📌Лицензирование: MIT License. 🟡Страница проекта 🟡Arxiv 🟡Набор моделей 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #Depth #DIstillAnyDepth

Курс «Практическая ML-инженерия: MLOps и разработка проектов» от магистратуры по искусственному интеллекту в ИТМО Узнайте, как развиваться в MLOps и ML-разработке, и вывести свой AI-сервис в продакшен. ✔️ Обучение для тех, кто уже знает базу ML: можно освоить те навыки, которых не хватает. ✔️ Онлайн-занятия по вечерам: удобно совмещать с учебой, работой и личной жизнью. Основные преимущества: ▪️ Возможность довести ML-модель до MVP. Изучайте инструменты MLOps — DVC, Airflow, MLflow, ClearML, W&B, FastAPI, PyTest, Docker, GitLab CI, чтобы выкатить свой сервис в продакшен. ▪️ Упор на практику. Работайте с реальными проектами, которые при желании можно монетизировать. ▪️ Опыт тимлидов в сфере ML. Узнавайте, что ждут от ML-инженеров нанимающие менеджеры. ▪️ Советы от старших коллег. Обсуждайте задачи и решения со специалистами ведущих компаний. ▪️ Понимание ML-продукта как единого целого. Учитесь проверять гипотезы и решать бизнес-задачи системно. Регистрация на курс заканчивается 13 марта. 📌 Успейте подать заявку Реклама. Университет ИТМО ИНН:7813045547 erid=2VtzqxBMfUr

📌LADDER: как научить LLM решать сложные задачи без учителя. Tufa Labs опубликовала пейпер фреймворка LADDER, который дает возможность языковым моделям самостоятельно улучшать навыки решения сложных задач. Технология имитирует человеческое обучение: ИИ разбивает проблемы на простые шаги, создаёт «учебный план» из упрощённых вариантов и постепенно наращивает мастерство решения. Например, модель Llama 3.2 с 3 млрд. параметров, изначально решавшая лишь 1% интегралов студенческого уровня, после обучения по методу LADDER достигла 82% точности. Самые интересные результаты LADDER показал на тесте MIT Integration Bee — ежегодном соревновании по интегральному исчислению. На нем модель Qwen2.5 (7B), доработанная с помощью LADDER, набрала 73%, обойдя GPT-4o (42%) и большинство студентов, а с применением TTRL — результат вырос до 90%. Это превзошло даже показатели OpenAI o1, хотя последний не использовал числовую проверку решений.

TTRL (Test-Time Reinforcement Learning) — это метод «микрообучения», который позволяет языковым моделям адаптироваться к сложным задачам прямо во время их решения.

В основе LADDER - принцип рекурсивной декомпозиции: модель разбивает непосильную задачу на цепочку постепенно усложняющихся шагов, создавая собственную «учебную программу». Столкнувшись со сложным интегралом, ИИ генерирует его упрощённые версии — снижает степень полинома, убирает дробные коэффициенты или заменяет составные функции базовыми. Каждый такой вариант становится ступенью, ведущей к решению целевой задачи. Работа фреймворка делится на три этапа: Первый — генерация «дерева вариантов»: модель создаёт десятки модификаций задачи, ранжируя их по сложности. Второй — верификация: каждое решение проверяется численными методами (например, сравнение значений интеграла в ключевых точках). Третий — обучение с подкреплением: система поощряет успешные стратегии, используя баллы за правильные ответы и штрафуя за ошибки. Дополняющее применение TTRL позволяет проводить «экспресс-тренировки» прямо во время теста: ИИ генерирует варианты конкретной задачи и адаптируется к ней за секунды, не требуя вмешательства человека. 🟡Arxiv @ai_machinelearning_big_data #AI #ML #RL #LADDER #Paper

🔥 «The State of LLM Reasoning Models» свежая статья от Себастьяна Рашка, которая посвящена современному состоянию исследований в области рассуждений (reasoning) и масштабирования выводов (inference scaling) для больших языковых моделей (LLM). Основные моменты: - Эволюция возможностей рассуждения: В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ. - Масштабирование и его эффекты: Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение. - Инновации в инференсе: Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления. - Практические выводы для исследований: Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения. Отличное воскресенье чтиво 📕 📌 Читать #ai #ml #reasoning #llm

✅ Подборка полезных ИИ- каналов для обучения 🎓 1) Andrej Karpathy Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети. Ссылка: https://www.youtube.com/c/AndrejKarpathy 📊 2) 3Blue1Brown Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными. Ссылка: https://www.youtube.com/c/3blue1brown 🎙️ 3) Lex Fridman Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции. Ссылка: https://www.youtube.com/c/LexFridman 🤖 4) Machine Learning Street Talk Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения. Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk 💼 5) Uproger Множество полных кусрсов, уроков с уклоном на практику https://www.youtube.com/@uproger 🍉 6) Serrano Academy (Luis Serrano) Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ. Ссылка: https://www.youtube.com/c/LuisSerrano 💻 7) Jeremy Howard Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai. Ссылка: https://www.youtube.com/c/Fastai 🛠️ 8) Hamel Husain Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ. Ссылка: https://www.youtube.com/c/HamelHusain 🚀 9) Jason Liu Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению. Ссылка: https://www.youtube.com/c/JasonLiu ⚙️ 10) Dave Ebbelaar Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах. Ссылка: https://www.youtube.com/c/DaveEbbelaar 📚 11) StatQuest with Joshua Starmer PhD Доступные и понятные объяснения основ машинного обучения и статистики для начинающих. Ссылка: https://www.youtube.com/c/statquest Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя! @data_analysis_ml

🌟 AMD Instella: открытая языковая модель, обученная на ROCm и оборудовании AMD. Instella - полностью опенсорсная модель с 3 млрд. параметров, обученная с нуля на GPU AMD Instinct MI300X. Instella не только превосходит существующие LLM сопоставимого размера, но и показывает конкурентоспособную производительность по сравнению с Llama-3.2-3B, Gemma-2-2B и Qwen-2.5-3B. Разработка Instella основана на опыте AMD с OLMo, на которой была доказана возможность обучения LLM на стеке AMD. В процессе создания Instella прошлые наработки были масштабированы для создания модели с 3 млрд. параметров. Она обучалась на 128 GPU MI300X с использованием 4,15 трлн. токенов. В процессе применялись методы FlashAttention-2, Torch Compile и FSDP с гибридным шардированием. Процесс обучения Instella состоял из 4-х этапов, постепенно наращивая возможности модели от базового понимания естественного языка до следования инструкциям и соответствия предпочтениям человека. Первый этап претрейна задействовал 4 трлн. токенов из набора данных OLMoE-mix-0924 (код, академические тексты, математика и общие знания). Второй этап - 57 млрд. токенов из датасетов Dolmino-Mix-1124 и SmolLM-Corpus (python-edu). На третьем этапе проводилась SFT модели с использованием 8,9 млрд. токенов текстовых пар "инструкция-ответ". Наконец, для приведения модели в соответствие с предпочтениями человека был выполнен четвертый этап - DPO модели Instella-3B-SFT с использованием 0,76 млрд токенов. Instella получила 36 слоев, каждый из которых имеет 32 attention heads и поддерживает длину последовательности до 4096 токенов. Финальный вариант Instella-3B превосходит существующие открытые модели в среднем на 8,08%. ▶️ Состав релиза: 🟢Instella-3B-Stage1 - претрейн-чекпоинт после первого этапа обучения; 🟢Instella-3B - чекпоинт после второго этапа; 🟢Instella-3B-SFT - версия модели после SFT; 🟢Instella-3B-Instruct - финальная версия после DPO; 🟠Instella-GSM8K-synthetic - датасет, использованный на 2 этапе обучения; 🟠Код для трейна и инференса 📌 Лицензирование: ReasearchRAIL License. 🟡Статья 🟡Коллекция на HF 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #RoCM #AMD #Instella

🎁 РАЗЫГРЫВАЕМ MacBook Air! Авторский канал о ИИ и машинном обучении Machine Learning, а также канал о будущем и технологиях Droider, объединились для крутого конкурса! На кону – 13-дюймовый MacBook Air на чипе M3! Условия участия максимально простые: 🔸Подписаться на телеграм-канал Machine Learning 🔸Подписаться на телеграм-канал Droider 🔸Нажать кнопку "Участвовать" ниже. ВСЁ! Вы участник! Итоги подведём 29 марта. Доставка приза осуществляется только на территории РФ. Всем удачи!

✔️ Стартап Manus представил универсального ИИ-агента, выглядит очень впечатляюще. Он объединяет возможности OpenAI Operator и глубокую аналитику, но работает ещё эффективнее. Этот агент не только умеет управлять компьютером, но и собирает информацию для проведения серьёзных научных исследований. — В этом видео Manus одновременно регистрирует и активно управляет 50 аккаунтами в Твиттере. — Агент провел всесторонний анализ акций Tesla и предложила свой прогноз на будущее. — Manus вычислил оптимальную орбиту для космического корабля, направляющегося к Марсу, с учётом текущего расположения планет. Подать заявку на доступ можно здесь. А здесь вы найдете сравнение ManusAI и OpenAI DeepResearch. Manus ✔️ Очень годный сборник учебных материалов, обучающих созданию нейросетей и обучению нейросетей её с нуля. • Всё работает в облаке. • 20 детально проработанных глав: от архитектуры нейросетей и NLP до основ глубокого обучения. • Теория подкреплена практическими задачами • Большое количество понятных примеров Colab ✔️ Nomic Embed v2 — это новая SOTA для создания текстовых эмбеддингов, использующая архитектуру Mixture-of-Experts (MoE). Поддерживает около 100 языков и была обучена на более чем 1,6 миллиарда пар данных. Модель полностью открыта. HF ✔️ Smart-turn — это открытая модель для определения смены речевых реплик (turn detection) в системах голосового взаимодействия. Она предназначена для более точного определения момента, когда голосовой агент должен начать свою реакцию на речь пользователя. Очень полезный инструмент для разработчиков голосовых агентов, стремящихся улучшить естественность и эффективность взаимодействия с пользователями. Github @ai_machinelearning_big_data #news #ai #ml #aiagents