Data Science | Machinelearning [ru]

Открытый урок «Minority drift: от методов детекции до стабильного прода» • 6 октября, ПН • 19:00 по мск • 2 часа 2 часа вместе с Team Lead Yandex на практике учимся распознавать виды Minority Drift, делать модели устойчивыми к дрейфу, оценивать деградацию и финансовые риски. От PSI и KL-дивергенции до Fairness Metrics. Что будет на уроке: 1️⃣Виды Minority Drift в продакшен данных: Class-wise, Conditional, Subpopulation, Hidden Drift 2️⃣Оценка деградации моделей и финансовых потерь на практике 3️⃣Методы стабилизации признаков и моделей: PSI и KL-дивергенция 4️⃣Контроль качества — построение Fairness Metrics Преподает Дмитрий Сафонов, Data Science Team Lead в Яндекс. Урок для Data Scientists, Classic ML и NLP-инженеров. Нужны базовые знания основ машинного обучения, математики и программирования. ➡️ Записаться на урок

Обучить ИИ «мыслить» как человек: MIT меняет подход к планированию в LLM 🤔 Многие из нас уже привыкли слышать, что современные языковые модели (LLM) умеют «рассуждать». Но на самом деле, когда мы говорим о «разумном мышлении», мы чаще всего имеем в виду сложную генерацию текста, где модель просто вытаскивает информацию из огромной базы данных и подставляет её в ответ. В этой парадигме отсутствует настоящее планирование и глубокая логика. MIT недавно предложили альтернативный подход, который может стать важным шагом на пути к настоящему искусственному мышлению.

Их идея заключается в том, что планирование в действительности — это не просто генерация текста, а переход из одного состояния в другое. Например, логика рассуждения может быть такой: если мы находимся в состоянии А, то логически можем перейти в состояние Б, но не в В или Г. Для достижения цели нужно учитывать, какие переходы правильные, а какие нет. Это требует гораздо большей точности и осознания контекста, чем просто заполнение пробелов в тексте. — Символьные цепочки вместо простых токенов MIT предлагают, вместо того чтобы учить модели генерировать произвольные фразы, обучать их строить символьные цепочки. Это своеобразный способ научить модель планировать, понимая, что является логически верным переходом, а что — нет. Эти символьные цепочки могут быть проверены верификатором, что позволяет моделям улучшать свои выводы по мере получения фидбэка. По сути, это напоминает обучение с подкреплением (RL), где модель получает обратную связь за свои шаги и улучшает свои рассуждения. — Как это работает на практике В исследованиях MIT показано, что такой подход значительно улучшает производительность моделей. В их тестах новое планирование добавило +30–60% к точности в решении задач, где традиционные методы рисования цепочек рассуждений через токены не справлялись. Причем, важный момент: для этого не нужна разметка данных — модели могут учиться без явной маркировки, лишь на основе проверок правильности цепочек.

Если MIT удастся масштабировать этот подход, то мы сможем увидеть на горизонте искусственный интеллект, который не просто генерирует фразы на основе статистики, а действительно умеет планировать и делать осознанные логические шаги. Однако пока эта методика применялась только к довольно узким задачам, и пока нет ясности, как она будет работать на более сложных и разнообразных проблемах. Data Science

Применять ML и анализ данных всегда интереснее, когда есть реальная задача. Overnight Finance Challenge - это твой шанс проверить, насколько крутая у тебя модель, и превратить её в $2,500. Задача довольно интересная: спрогнозировать курс ETH/USDC. Конкурс запускает Overnight.fi. Это DeFi протокол, который разрабатывает дельта-нейтральные стратегии. 💰 Призовой фонд - $5,000: за три лучшие модели дают $2,500, $1,500 и $1,000. Участвовать можно самому или с командой. 👉 Подробности тут: https://linkly.link/2F5s1, ну и там же регистрация.

ИИ-агенты без навыков разработки: новая AI Studio от Yandex B2B Tech 🚶‍♂️ Теперь компании смогут создавать собственных ИИ-агентов всего за несколько часов на базе генеративных моделей в облаке – например, YandexGPT или Qwen3. Что внутри?

— realtime API: с его помощью голосовые агенты отвечают в реальном времени; — AI Search: поиск информации по интернету, а также картинкам, таблицам, документам; — MCP Hub: агентов можно быстро подключить к внешним сервисам по уже готовым шаблонам, среди них уже есть Контур.Фокус и amoCRM; — Workflows: можно составить сценарий взаимодействия нескольких агентов друг с другом или с внешними системами; — Готовые решения: SpeechSense для анализа звонков и чатов, Нейроюрист для правовых заключений и т.д.

Почему это важно? Российские компании тратят более 3 трлн рублей в год на функции поддержки, бухгалтерии и HR. ИИ-агенты помогут сократить рутину, освободив время сотрудников для более сложных задач. Таким образом, AI Studio делает ИИ-доступным инструментом для любого бизнеса — от ритейла до промышленности. Data Science

Microsoft запускает самый мощный датацентр для ИИ в мире — Fairwater AI 🤔 Microsoft запустила строительство самого мощного датацентра для ИИ в мире — Fairwater AI, который будет расположен в Висконсине. Эта установка не просто очередной шаг в развитии вычислительной инфраструктуры, а настоящая революция, способная обеспечить производительность, в 10 раз превышающую возможности самого быстрого на данный момент суперкомпьютера.

На огромной территории в 127 гектаров разместится около 111 000 м², ранее принадлежащих Foxconn. Это позволит создать уникальную платформу для обработки ИИ-данных. Для охлаждения будут использоваться высокоэффективные системы с замкнутым жидкостным контуром, поддерживаемые гигантскими вентиляторами и водоохлаждающими чиллерами. Данные в Fairwater будут передаваться через InfiniBand и Ethernet с пропускной способностью 800 Гбит/с. Интегрированная система, которая объединяет несколько тысяч GPU NVIDIA GB200, соединённых в мощный кластер, способный выполнять задачи синхронно. В этом датацентре будут работать не только на тренировки ИИ, но и на реальные вычислительные задачи, такие как инференс и рилтайм-обработку данных. Microsoft планирует полностью запустить инфраструктуру к началу 2026 года. Это будет не просто датацентр — это глобальная сеть, объединяющая более 400 центров по всему миру, и Fairwater станет ключевым узлом в этой сети.

Задумайтесь, насколько радикально изменится будущее ИТ-инфраструктуры с такими проектами. Мы стоим на пороге новой эры вычислений, где мощность вычислительных кластеров будет определять не только скорость, но и возможности ИИ в самых разных областях. А вы что думаете? Возможна ли революция? ☕️ Data Science

Учёные представили революционный способ обучения моделей Исследователи предложили новый подход к обучению языковых моделей, который не требует заранее подготовленных правильных ответов. Это метод Compute as Teacher (CaT), который позволяет моделям учиться самостоятельно, генерируя собственные обучающие сигналы, без зависимости от размеченных данных 😮

Как это работает? Вместо того чтобы искать готовую истину в базах данных, модель многократно решает одну и ту же задачу, формируя несколько вариантов ответа. Специальный механизм затем выбирает наиболее обоснованный ответ, превращая его в новую цель для обучения. Это позволяет моделям развивать свои способности к рассуждению и принимать решения в условиях неопределённости. Основные особенности CaT: — Верифицируемые задачи (например, математика): в этом случае модель использует автоматическую проверку правильности ответа. — Неверифицируемые задачи (например, свободный диалог): модель генерирует критерии оценки, и независимая LLM-система оценивает, насколько удовлетворяет синтезированный ответ. — Синтез ответов: в отличие от других методов, которые выбирают лучший ответ из нескольких, CaT создает новый, улучшенный ответ, что позволяет модели быть правильной даже в случае, если все исходные варианты были ошибочными. — Эффективность: на математических тестах (MATH-500) точность увеличилась на 27%, а в медицинских тестах (HealthBench) на 12%. В продвинутой версии CaT-RL результаты выросли ещё больше — на 30-33%. Преимущества CaT: • Уменьшение зависимости от крупных размеченных датасетов, что снижает затраты на их подготовку. • Возможность применения как в реальном времени, так и для улучшения качества моделей через цикл обучения с подкреплением. • Инновационный подход для задач с недостаточной разметкой и верификацией.

Метод CaT открывает новые горизонты в обучении моделей, позволяя им развиваться и улучшаться без зависимости от огромных и дорогих размеченных данных. Это делает обучение более универсальным и доступным для множества задач, где традиционные методы не работают. А как вы думаете, сможет ли CaT изменить подход к обучению ИИ в долгосрочной перспективе?

👍 — Да, это шаг к более эффективным и независимым моделям 🤔 — Нет, модель всё равно нуждается в внешнем контроле

Data Science

100 готовых промптов для учебы от OpenAI 🍒 OpenAI выпустили официальный набор из 100 промптов, которые помогут студентам, преподавателям и исследователям работать с нейросетями более эффективно. Эти запросы могут быть полезны для создания курсовых, дипломов, исследований, подготовки к экзаменам и многого другого. Что включает в себя подборка?

— Изучение предметов: запросы для математики, литературы, науки и других областей — Навыки обучения: техники конспектирования, запоминания и подготовки к экзаменам — Карьерное развитие: советы по составлению резюме, подготовке к собеседованиям и профессиональным навыкам — Хобби и интересы: запросы для творчества и личного роста

Также подходит для всех, кто использует нейросети для обучения и развития, и доступен бесплатно с возможностью перевода на другие языки, что делает его универсальным решением для любой нейросети. Data Science

Хотите вкатиться в Machine Learning или DS с нуля? Программа подходит для людей без опыта в IT За 6 месяцев вы освоите: - Python для Data Science с нуля, - A/B-тестирование, - Основы статистики, - Математику, линал для ML, - Классические модели Machine Learning. Курс «Machine Learning. Basic» от OTUS стартует 29.09.2025. 🎓 Компания OTUS специализируется на онлайн-обучении в IT-сфере, а ее дипломы котируются у ведущих компаний. Обучение на курсе «Machine Learning. Basic» — редкая возможность серьезного старта в Data Science с нуля. По итогам обучения вы научитесь решать реальные бизнес-задачи при помощи методов машинного обучения от задач классификации до ансамблей моделе, а также создадите проект для портфолио. ⚡Записывайтесь на курс сейчас, чтобы активировать промокод ML_BASIC_5 (промокод актуален до 29.09.2025). Узнать цену #реклама 16+ otus.ru О рекламодателе

ИИ в финансовом анализе: кто впереди — Grok 4, GPT-5 или человек? 🤩 Недавно опубликованные результаты бенчмарка FinSearchComp показали, как современные языковые модели справляются с задачами финансового анализа. Этот тест, включающий 635 вопросов, имитирует работу реальных финансовых аналитиков, оценивая их способности в поиске данных и логическом анализе.

Задачи делятся на три типа: работа с «горячими» данными (например, вчерашнее закрытие акций), точечный исторический поиск (например, активы Starbucks на определённую дату) и более сложные многошаговые расследования (например, анализ роста S&P 500 за несколько лет). Кто в лидерах? • Grok 4 показывает наилучшие результаты на глобальном наборе вопросов, набирая 68.9% по всем категориям • GPT-5-Thinking также близок по точности, с результатом 63.9% • Для китайского рынка лидер DouBao, но его результат в среднем — всего 54.2%, что значительно отстаёт от человеческой точности в 88.3% Особенно сложными оказались многошаговые задачи (T3), где лучшие модели пока только дотягиваются до минимального уровня, который показывают профессиональные аналитики. Хотя ИИ уже могут эффективно выполнять рутинную работу, такую как сбор данных и выполнение простых запросов, для сложных, многошаговых расследований, требующих логики и анализа множества источников, люди всё ещё на шаг впереди. Профессиональные финансовые аналитики пока не заменимы, особенно в задачах, требующих глубокого понимания контекста и способности работать с неоднозначными данными.

ИИ продолжает улучшаться в финансовом анализе, но пока остаётся гораздо более сильным помощником, чем самостоятельным экспертом. Если задачи становятся сложнее и многограннее, человеческий интеллект всё ещё не заменим 😮‍💨 Data Science

🤖 Ищем ML & DS специалистов. Релокейт, удалёнка, платим много! Специально для Вас, собираем лучшие вакансии, только с прямыми контактами в Telegram! 🤖 ML & DS 👩‍💻 Node.js 👩‍💻 Python 👣 Go 🖼️ PHP 👩‍💻 DevOps 👩‍💻 C# 👩‍💻 Java 🔎 QA 🖥 SQL 👩‍💻 UX/UI 👨‍✈️ CyberSec 👩‍💻 Mobile 📋 Analyst 💼 1C 👨‍✈️ Cybersecurity 👩‍💻 IT HR 👩‍💻 Frontend Подпишись чтобы не упустить свой шанс получить лучший оффер!

🦾 Модель OpenAI решила все 12 задач на финале ICPC 2025 Это абсолютный рекорд для ИИ-модели и лучший результат на Олимпиаде. Следующие в рейтинге идут наши ребята из СПБГУ — они решили 11 задач из 12. Также 1 место получила Gemini 2.5 DeepThink от Google, решившая 10 из 12 задач. ✖️ xCode Journal

Генерация баз данных теперь за пару секунд 🚶‍♂️ Нужна база данных, но нет времени и желания на долгое проектирование? Тогда Database Build — это то, что вам нужно! Что умеет Database Build?

— Мгновенная генерация базы данных: Просто напишите текстовое описание, и нейросеть преобразует его в полноценную структуру базы с таблицами, связями и диаграммами — Фейковые данные за секунды: Нужны тестовые данные? Создайте их прямо в сервисе — Экспорт в SQL или загрузка на сервер: Не нужно копировать и вставлять — сразу получите готовую базу в нужном формате или загрузите её на сервер — Бесплатно: Сервис доступен без платы — можно без риска протестировать

Database Build — идеальный инструмент для разработчиков, тестировщиков и всех, кто работает с базами данных. Ускорьте процесс разработки и создавайте базы без усилий. Data Science

Маршрут построен: в пятницу – на VK JT Meetup! Это неформальная встреча для ML-инженеров и Java-разработчиков от VK. О чём расскажут: • Какие вызовы возникают перед бэкендером в процессе создания B2B-продукта • Как строят единую инфраструктуру поисковой платформы А также поделятся пошаговым гайдом по выпуску RAG в прод Дальше гостей ждут два потока: нетворкинг-зона и групповое решение кейсов по ML и Java. Мероприятие пройдёт только офлайн — редкий шанс пообщаться с коллегами, задать вопросы экспертам и выиграть призы от VK. Регистрируйтесь! 📍 Нижний Новгород, только офлайн 📅 3 октября, сбор с 18:00 🎟 Вход по регистрации

Границы возможностей LLM 😮 Сегодня многие используют LLM (Large Language Models) для решения разных задач, от генерации текста до создания кода. Но для того, чтобы работать с ними эффективно, важно понимать их архитектуру и ограничения. Сегодня рассмотрим, как устроены эти модели и что стоит учитывать, чтобы максимально использовать их потенциал. Что лежит в основе LLM?

Большинство современных моделей, таких как GPT, Gemini или Grok, построены на архитектуре трансформеров. Они работают по принципу токенизации текста, который затем обрабатывается слоем внимания (attention layers). В результате модель прогнозирует следующие токены, создавая связный текст. Однако важно помнить, что все эти модели по сути — одинаковые, и отличаются они лишь параметрами и схемой обучения.

Ограничения моделей: текст как основа

Основное, что нужно учитывать при работе с LLM — это текст. Эти модели обучаются исключительно на текстовых данных и работают с ними. Видео, изображения и другие медиа — всё это в конечном счете преобразуется в текст. Даже если модель генерирует изображения или музыку, она всё равно действует через текстовые команды. Поэтому в ADSM (Agent Driven Software Management) ключевое значение имеет именно обработка текстов.

Архитектура LLM: что влияет на мощность?

Чем мощнее модель, тем больше нейронов в её слоях. Эти нейроны соединяются друг с другом, создавая сложные зависимости, которые модель использует для анализа текста. Однако чем больше нейронов и слоев, тем выше вычислительные затраты. С каждым новым слоем растет возможность для создания более точных и связных ответов, но также возрастает и нагрузка на систему.

Контекстное окно: как работает память модели?

Все модели имеют так называемое контекстное окно, в которое помещаются токены текущего диалога. Размер этого окна определяет, сколько информации модель может обработать за один раз. Например, GPT-4 может обрабатывать до 1 миллиона токенов, но важно учитывать, что большие окна требуют значительно больше вычислительных ресурсов.

Как работать с контекстом: расширение или сужение?

Если вы хотите получить стабильный результат, важно учитывать стратегию работы с контекстом. Например, сужение контекста помогает моделям генерировать более предсказуемые результаты. Это особенно важно для задач с четко определенными шаблонами, например, для генерации кода. Но если контекст слишком размытый, модель может начать «творить» и генерировать менее стабильные ответы.

Работа с LLM требует понимания архитектуры моделей и их ограничений. Чем чётче и связнее вы формулируете запрос, тем более стабильный и точный ответ получите. Важно учитывать контекст, балансировать между качеством и ресурсами, чтобы извлечь максимальную пользу из взаимодействия с моделью. Data Science

⚡ Временный доступ к папке «AI & TECH & IT» открыт! Вся полезная информация о заработке на ИИ и технологиях в одном месте: ✦ Специальный курс для системных аналитиков ✦ Создание вирусных ИИ-видео ✦ Главные IT-новости для вашего роста Подписывайтесь и прокачивайте свои навыки прямо сейчас с помощью папки «AI & TECH & IT»! ПОДПИСАТЬСЯ

OpenAI усиливает работу над робототехникой в гонке к AGI 😮 OpenAI продолжает активно развивать свою робототехническую инициативу, нанимая экспертов для разработки алгоритмов управления роботами, в том числе гуманоидными. Если раньше компания ограничивалась наймом просто робототехников, то теперь в списке вакансий можно найти более специализированные позиции, такие как: • Рисерчеры в области управления и обучения гуманоидов. • Инженеры, разрабатывающие симуляторы и сенсорные системы. • Механики, опытные в проектировании систем для массового производства (от 1 млн единиц). Эти вакансии подчеркивают амбиции OpenAI создать универсальную робототехнику, которая может сыграть ключевую роль на пути к AGI (искусственному общему интеллекту). Возвращение робототехнического отдела

До 2021 года робототехническая команда OpenAI находилась в состоянии паузы. Однако с декабря прошлого года компания начала восстанавливать свой отдел, сосредоточив усилия на создании более сложных и эффективных роботизированных систем. В последние месяцы к компании присоединились специалисты, занимавшиеся разработкой гуманоидных роботов и созданием benchmark’ов для оценки их возможностей.

Какие задачи стоят перед OpenAI?

Основная цель — создание таких моделей AI, которые смогут взаимодействовать с физическим миром. Например, исследователи OpenAI тренируют алгоритмы, которые могут «понимать» физическое окружение и выполнять задачи, что является важным шагом к созданию универсальных роботов.

Как OpenAI намерена достигнуть AGI?

Основной акцент сделан на универсальных роботах, которые могут работать в изменяющихся и непредсказуемых реальных условиях. Модели AI, которые разрабатываются сейчас, должны быть способны не только видеть, но и действовать с высокой точностью, управляя конечностями и манипуляторами.

Не исключено, что OpenAI начнёт разрабатывать собственных гуманоидов, используя сочетание высокотехнологичных компонентов и передовых алгоритмов обучения через симуляцию и телеоперацию. Data Science

🔥Прими участие в Хакатоне от ИТ–холдинга Т1 в Минске и поборись за призовой фонд 600 000 рублей! Когда: 14–17 октября Формат: онлайн + финал на площадке Участвуй, если ты: 🔹обучаешься на технической или ИТ–специальности; 🔹развиваешься в направлении разработки, аналитики, AI/ML, NLP или DevOps; 🔹сможешь быть в Минске 17 октября. Выбери свой кейс: ✴️FaaS система биллинга: платите ровно за то, что используете. Создай биллинговую систему для FaaS – точный расчёт с учётом времени, вызовов и памяти. ✴️Smart Support: поддержка нового поколения. Разработай ИИ-ассистента для службы поддержки с real-time подсказками из базы знаний. Почему стоит участвовать: 🔘Кейс в портфолио и полезная обратная связь от менторов Т1; 🔘Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний; 🔘Реальный опыт командной работы; 🔘Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси. Регистрация открыта! ➡️ Успей до 12 октября по ссылке. #реклама О рекламодателе

Модель MobileLLM-R1 для решения reasoning задач MobileLLM-R1 — это новая модель, специально разработанная для выполнения reasoning задач, которая вмещает меньше 1 миллиард параметров и идеально подходит для работы на edge-устройствах. Несмотря на компактные размеры, эта модель демонстрирует выдающуюся эффективность и точность. Превосходная производительность

MobileLLM-R1 решает математические задачи почти в 5 раз точнее, чем Olmo-1.24B, и в два раза точнее, чем SmolLM2-1.7B, при этом её параметры намного меньше.

Высокая эффективность обучения

Эта модель обучалась на 4.2 триллионах токенов, что составляет лишь около 10% от объема данных, используемых для обучения Qwen3, но при этом демонстрирует сопоставимые или даже лучшие результаты на тестах по reasoning.

MobileLLM-R1 представляет собой серию эффективных моделей для reasoning задач с различной сложностью: Базовые модели:

• MobileLLM-R1-140M-base • MobileLLM-R1-360M-base • MobileLLM-R1-950M-base

Финальные модели:

• MobileLLM-R1-140M • MobileLLM-R1-360M • MobileLLM-R1-950M

Что делает её уникальной? MobileLLM-R1 не является универсальной моделью чата. Это специализированные модели, обученные для решения математических, программных (Python, C++) и научных задач. Она обходит модели с гораздо большим количеством параметров, таких как Olmo 1.24B, на задачах MATH и кодирования, устанавливая новый стандарт среди открытых моделей. MobileLLM-R1 обучалась с использованием передовых методов, включая distillation и оптимизацию через Adam-optimizer, что позволило достичь высокой производительности при минимальных объемах данных. Будущие модели могут быть ещё компактными и мощными, а что вы думаете? Будет интересно почитать. Data Science

Революция в код-ревью и автоматизации программирования 💃 OpenAI выпустила обновление GPT-5-Codex, который стал не просто усовершенствованной версией GPT-5, но и мощным инструментом для профессиональных разработчиков. Специально настроенный для агентного программирования, GPT-5-Codex решает сложные задачи разработки — от код-ревью до масштабных рефакторингов и автономного выполнения долгих задач.

— Новые возможности GPT для разработки GPT-5-Codex стал значительно более управляемым и точным в выполнении задач. Модель теперь не просто генерирует код по запросу, но и активно участвует в процессе отладки, тестирования и поиска критических ошибок в коде. Это особенно важно на стадии разработки, где даже малейшая ошибка может привести к серьёзным последствиям. Помогает находить баги ещё до релиза и минимизирует нагрузку на разработчиков, анализируя всю кодовую базу и зависимости. Поддерживает длительные задачи, например, масштабные рефакторинги, и может работать с проектами, включающими сотни файлов и тысячи строк кода. Этот инструмент оптимизирует взаимодействие с разработчиком, снижая затраты времени на многократные итерации. — Как Сodex улучшает рабочие процессы Теперь GPT интегрируется не только в облако и GitHub, но и в локальные среды, такие как IDE и Codex CLI. Разработчики могут работать как в облаке, так и локально, не теряя контекста и мгновенно переключаясь между различными платформами. Важным обновлением стала возможность работы с изображениями и визуальными элементами — теперь можно анализировать скриншоты и вайрфреймы для упрощения дизайна интерфейсов. — К тому же, Codex стал ещё более безопасным Новая версия включает расширенные меры защиты данных, минимизируя риски утечек и злоупотреблений.

Обновления в Codex поднимут качество код-ревью и взаимодействия с командой на новый уровень. GPT-5-Codex значительно упрощает процессы разработки и делает работу с кодом более интуитивно понятной и менее подверженной ошибкам. Что вы думаете о таких возможностях? Будете ли вы использовать GPT-5-Codex в своих проектах? Data Science

Революция в ускорении работы LLM 🗒 Google Research представили инновационный метод, который может значительно ускорить работу больших языковых моделей (LLM) и при этом сделать их дешевле. Этот подход называется Speculative Cascades. Чем он интересен и как работает?

Что такое Speculative Cascades? • Каскады моделей: Сначала задачу решает маленькая модель, которая быстро дает ответ. Если задача сложная, к процессу подключается большая модель. Так экономятся ресурсы, но иногда это приводит к потере качества. • Спекулятивная декодировка: Маленькая модель пытается угадать несколько слов вперед, а большая проверяет и подтверждает их. Это ускоряет процесс, но всё равно требует значительных вычислительных ресурсов. • Speculative Cascades: Это оптимизированная комбинация обоих методов. Маленькая модель иногда решает задачу сама, а в других случаях работает как ускоритель для большой модели. В итоге — больше скорости и меньше затрат, с сохранением качества. Преимущества нового подхода — Тесты на Gemma и T5 показали, что метод быстрее традиционной спекулятивной декодировки, но при этом дешевле и эффективнее каскадов. — Настройка баланса «скорость - качество» стала более удобной и гибкой. Метод дает возможность регулировать производительность, не снижая точности. — В задачах математических рассуждений новая методика показала заметный прирост скорости, сохраняя или даже улучшая качество.

С каждым днем LLM всё чаще используются в поисковых системах, чатах и ассистентах. Чтобы они действительно стали полезными, важно ускорить их работу и сделать дешевле. Speculative Cascades решают эту задачу, не теряя в качестве. Data Science