Datanomika

Практический вывод из этого прямой. Публичный лидерборд не отвечает на вопрос, насколько хорошо агент будет работать в вашей компании: он измеряет чужую систему на чужих схемах чужой разметкой. Содержательный ответ даёт только внутренний eval на ваших определениях метрик, ваших схемах и ваших реальных ошибках.

Самая недооценённая работа этого года про text-to-SQL В январе на CIDR вышла статья с названием, которое не оставляет пространства для интерпретаций: [«Text-to-SQL Benchmarks are Broken»](https://www.vldb.org/cidrdb/papers/2026/p5-jin.pdf). Четверо исследователей из UIUC вручную перепроверили эталонные ответы в двух самых цитируемых бенчмарках Результат: • BIRD Mini-Dev, 498 примеров — ошибки разметки в 52.8% задач. Предыдущая работа находила 36.1%, то есть нашли ещё 102 сломанных примера • Spider 2.0-Snow — из 121 задачи с опубликованными эталонами проблемными оказались 80. Это 66.1% Речь именно про эталоны. Про те самые правильные ответы, с которыми сравнивают модель Что конкретно сломано Примеры до боли узнаваемые, такое видел любой, кто писал SQL под чужое ТЗ: • Эталон вызывает ST_POINT(26.75, 51.5), а Snowflake ждёт порядок «долгота, широта». Координаты перепутаны в самом эталоне • Вопрос про учеников с 1 по 12 класс, эталон берёт колонку Enrollment (K-12) — а она включает подготовительный. Эталон отвечает не на заданный вопрос • TO_TIMESTAMP(end_date) даёт начало последнего дня вместо конца. Эталон молча теряет все события после полуночи • После JOIN и FLATTEN строки размножились, DISTINCT не поставили — эталон считает дубликаты • Семь вопросов с неоднозначным форматом вывода: оставил кавычки — ответ признан неверным Последнее особенно показательно. Агент отвечает правильно и получает ноль за форматирование А дальше самое интересное Авторы взяли пять топовых агентов с лидерборда BIRD и прогнали их на исправленной выборке из 100 задач Точность поехала на от −3% до 31% в относительном выражении, рейтинг перетасовался на три позиции. Агент CHESS стоял четвёртым — поднялся с 62% до 81% и стал первым. OpenSearch-SQL стоял первым — опустился с 71% до 69% и стал третьим То есть порядок в лидерборде частично определялся тем, чьи ошибки удачнее совпали с ошибками разметки Две оговорки, без них нечестно Команда Spider 2.0 обновила формулировки вопросов в июле 2025 и часть неоднозначностей сняла, а аудит делали по более раннему срезу. И 66.1% — это доля среди 121 проверенной задачи из 547, а не по всему датасету Но вывод не меняется Когда вам показывают девяносто с чем-то процентов на публичном text-to-SQL бенчмарке, в этой цифре есть вклад ошибок разметки. И ни вы, ни автор цифры не знаете, какой именно Поэтому единственная осмысленная метрика для вашей компании — внутренний eval на ваших схемах, ваших определениях метрик и реальных вопросах бизнеса. Чужой лидерборд на этот вопрос не отвечает А вы свои цифры точности на чём меряете?

Build is no longer the constraint — the human-speed steps around it are. Human-speed stages keep their length while build collapses to hours.

⚡️ Всего 10 дней до Agentic Football Cup в Алматы! Регистрация на AI-турнир выходит на финишную прямую. Уже 29 августа мы запустим AI-агентов на виртуальное поле 💻⚽️! Главное о воркшопе: ▸ Доступный старт: Продвинутое программирование не требуется — важна ваша логика и стратегия. ▸ Реальный опыт с ИИ: Вы своими руками настроите агентов AWS и сразу увидите их работу. ▸ Крутые призы: Гаджеты Apple от нашего генерального партнёра BCC Hub! 🍏☁️ Напоминаем, что лимит строго ограничен — всего 32 команды. Регистрируйтесь соберем команду на месте. 🗓 29 августа · 09:00–17:00 📍 Promenade, Алматы 🎟 Бесплатно 👉 Забрать свой слот на Meetup

ARCH CAMP: Burabay Marina Club (Yacht Club). Закрываем летний сезон на берегу озера Щучье! 📅 29–30 августа 2026 Сбор на месте 29 августа в 15:00, выезд в Астану 30 августа в 15:00. В программе: архитектурная сессия, практические кейсы, нетворкинг, сапборды, купание, кемпинг и съёмка с дрона, трансляция. 💰 Участие — 30 000 ₸ Включены доступ на закрытую территорию, въезд в паркинг на авто, активности, съёмка, ужин с шашлыками, стейками и бургерами без ограничений, завтрак и напитки. 🚐 Участники самостоятельно организуют трансфер и проживание (своя палатка или аренда на месте). ⛺️ Доступно 6 мест трансфера туда-назад и 3 места для проживания с организаторами (писать в личку). Регистрация: https://forms.gle/3RqbQN4tYQRb6CPj9 Количество мест ограничено!

Кто сегодня был последним и выключил свет когда улетал из Алматы к нам на ивент The CDO ?

Он завел себе AI-агента, когда это ещё не было модным

ИИ-агенты могут сотрудничать вопреки классической теории игр. В классической теории игр (особенно в одноразовых социальных дилеммах) рациональные агенты должны предавать. Самый популярный пример - Дилемма заключённого. Недавняя работа Google DeepMind / Mila / ETH (Meulemans et al., arXiv:2608.03958, август 2026) как раз атакует это допущение. Если два агента построены на похожих foundation-моделях, они могут разумно предполагать, что другой рассуждает примерно так же, как они сами. В результате сотрудничество становится рациональным даже в one-shot постановке

Интересно. Как люди теряют свою агентность https://www.rand.org/pubs/research_reports/RRA4817-1.html

Релиз второй игры на App Store Футбол 5 на 5, быстрый старт и короткие матчи https://apps.apple.com/kz/app/fifive-5v5-soccer/id6791610477

Если хотите такую же историю отношений с вашим AI-агентами, то просто отправьте ему/ей ссылку и он соберет такой видосик на основе своих записей о вас 😄 https://github.com/shatzibitten/codepend

🎁 Призы Agentic Football Cup объявлены! Призовой фонд собран — боремся за крутые гаджеты, мерч и нейросети! Вот что заберут лучшие: 🥇 1 место — AirPods (3-го поколения) от BCC Hub 🥈 2 место — Футбольный мяч + футболки от qCloudy 🥉 3 место — Подписка на Claude AI от Datanomix.pro Включайся в турнир, забивай голы и забирай свой приз! ⚽️⚡️ 🗓 29 августа · 09:00–17:00 📍 Promenade Business Park, проспект Абая 44а, Алматы 🎟 Бесплатно · новичкам рады 👥 Мест мало: всего 32 команды 👉 Забронировать место: meetup.com/aws-user-group-almaty/events/315869682

🇰🇿 От Алматы до Лас-Вегаса: путь открыт! 🚀 Представьте: с утра вы собираете AI-агента, днём проходите отбор, а дальше — прямой путь в Лас-Вегас. Вот как это работает: 1️⃣ Участвуйте в воркшопе и кубке: сразитесь в Agentic Football Cup в Алматы. 2️⃣ Пройдите в глобальную лигу: победители алматинского этапа сразу выходят в глобальный отбор. 3️⃣ Выступите в Вегасе: лучшие команды едут на AWS re:Invent 2026 в Лас-Вегас, чтобы сыграть за главный приз вживую на сцене! ✈️🎰 От вашего ноутбука прямо до Вегаса — и всё начинается с этого митапа. 🗓 29 августа · 09:30–17:00 📍 Promenade Business Park, проспект Абая 44а, Алматы 🎟 Бесплатно · новичкам рады 👥 Мест мало: всего 32 команды (96 участников) 👀 Начните свой путь в Вегас: meetup.com/aws-user-group-almaty/events/315869682