42 секунды

Forbes: Исследователи Яндекса и студенты ШАД разработали MTGBench – набор тестов для оценки способности нейросетей рассуждать – Исследователи Яндекса и студенты ШАД разработали тесты MTGBench – Тесты оценивают рассуждения при сложных многоэтапных задачах – Отмечается, что набор тестов MTGBench был выложен в открытый доступ – MTGBench поможет подбирать рассуждающие модели под задачи – Люди часто уточняют свои запросы к нейросети, добавляя новые вводные – Нейросеть должна учитывать новую информацию и предыдущие шаги – Это можно проверить в играх, где каждый новый шаг зависит от предыдущего – Именно такие задания и легли в основу нового бенчмарка MTGBench – В заданиях оценивают конечный ответ и за сколько шагов к нему пришли – MTGBench включает семь текстовых игр, состоящих из десяти шагов – Среди игр доступны: «Поле чудес», «Данетки», «Элиас» и «Wordle» и др. – Игры помогают определить способность логического рассуждения – Проверяется использование новых данных, продумывание след. шагов и др. – В четырех играх решения проверяют алгоритмы, в других – ИИ-судья – На тестах MTGBench проверили уже 16 нейросетей (Qwen, Gemini, GPT и др.) – Эффективность режима рассуждений нейросети зависит от типа задачи – Для бизнеса вопрос выбора правильной модели может сильно влиять на расходы @ftsec