Data Mining | Анализ данных🚀
رفتن به کانال در Telegram
• Купить рекламу: t.me/sahib_space • Группа в ВК: vk.com/datamining.team
نمایش بیشتر3 042
مشترکین
اطلاعاتی وجود ندارد24 ساعت
-37 روز
-1030 روز
آرشیو پست ها
Coding agents пока умеют чинить отдельные фичи, но теряются, когда из них нужно собрать работающий продукт.
В ProgramDistill агенту показывают рабочую версию веб-сервиса и её сломанную копию. Кода оригинала он не видит, поэтому сначала сам разбирается, как работает нужная функция, а потом пытается вернуть её в копию.
Чтобы понять, где агент начинает сыпаться, задачи разложили на восемь уровней. На первом нужно восстановить одну сломанную фичу - например, создание карточки. На втором к ней добавляют ещё одну зависимую функцию, на третьем - ещё одну, и так далее. На восьмом уровне уже нужно собрать обратно целый пользовательский путь из восьми частей: зайти в сервис, создать проект, доску, карточки, настроить права, написать комментарий. Если на любом шаге что-то не работает, задача считается проваленной.
На первой ступени GPT-6 Astra справляется в 100% случаев, Claude Opus 5 - в 96%. Когда тот же сценарий разрастается до восьми связанных фич, показатели падают до 64% и 32%. В одном кейсе Astra даже вернула drag-and-drop в Trello, но при сбросе карточки в центр колонки ставила её в обратном порядке. Агент проверил другие действия на доске, а этот сценарий после финальной правки не повторил - и баг остался.
Вот чем полезен такой бенчмарк: он показывает не только общий процент, но и место, где агент теряется. В наблюдении за продуктом, реализации фичи или проверке готового workflow. По таким задачам уже можно точнее настраивать и обучение, и саму логику coding agents.
https://arxiv.org/pdf/2609.18805
Perplexity пустила GPT 6 Astra ближе к продакшену, чем обычно пускают LLM.
Модель уже не просто предлагает патчи в редакторе кода. В Perplexity она меняет рабочие системы, следит за production software и пишет тестовые программы для целых цепочек сервисов. Например, Astra может подменить внешний API или коннектор, сымитировать реалистичный ответ и проверить, не развалится ли весь сценарий на стыке нескольких сервисов.
Инженеры говорят, что теперь не сидят у модели над душой после каждого действия - заглядывают заметно реже, чем с прошлыми поколениями. Довольно смелый мув, учитывая, что Perplexity доверила Astra не только код, но и изменения в рабочих системах с мониторингом продакшена крупного поисковика, конкурирующего с Google.
Правда, есть и пара сомнительных моментов. Никаких конкретных цифр нам не показали, сам кейс вышел на сайте OpenAI, да и Perplexity не раскрыла ни рост точности поиска, ни число задач, которые Astra делает без человека, ни статистику ошибок. Поэтому, сейчас это больше похоже на громкий маркетинговый сигнал, чем доказательство, что AI-агент уже уверенно рулит продакшеном.
OpenBMB выпустили MiniCPM5 2B - открытую локальную модель на 2,6 млрд параметров.
В свежем Intelligence Index она набрала 15 баллов. Это лучший результат среди открытых моделей меньше 4B: ближайшая Granite 4.2 3B получила 11, а Qwen3.5 4B - 14. По сути, модель размером для локального запуска уже держится рядом с вариантами в 2-4 раза крупнее.
MiniCPM5 2B не ограничили обычным чат-режимом. Ей дали контекст на 131 тыс. токенов, работу с инструментами и упор на код, математику и агентские задачи. В тестах OpenBMB она решила 46,4% задач SWE bench Verified - заметно выше Qwen3.5 4B с 33,6%.
Веса вышли под Apache 2.0 вместе с 4-битными версиями для Ollama, LM Studio и llama.cpp. Годный вариант для тех, кому нужен локальный помощник по коду или небольшой агент без облака и платного API.
Один и тот же LLM-judge может выдать разные рейтинги, даже если отправить ему ровно один и тот же запрос.
В статье прогнали 52 988 API-вызовов и проверили, насколько стабильно модель ранжирует ответы. Повторные рейтинги в одном окне дали корреляцию 0,40 при пороге 0,90, а на следующий день совпали только 78 из 100 ранжирований вместо нужных 99. При этом запросы были идентичны по SHA-256, модель та же, temperature 0, ответы валидные - но порядок кандидатов всё равно плыл.
Увеличение числа вызовов картину не исправило. В симуляции число запросов подняли до 748 000: медианная корреляция выросла с 0,33 до 0,57, но ни один из 500 прогонов не прошёл порог 0,90. Усреднение снижает случайный шум, но здесь различия между кандидатами оказались меньше шума самого инструмента.
Дальше прогнали тот же тест через DeepSeek, Mistral, OpenAI и Qwen. Совпадение рейтингов в течение дня оказалось на уровне 0,74-0,88 у всех четырёх. За API модели скрывается shared infrastructure с батчингом и нагрузкой, а название модели в ответе не гарантирует, что сегодня и завтра она будет вести себя одинаково.
Поэтому перед запуском бенчмарка или LLM-фильтра стоит сначала проверить, насколько стабилен сам судья. Иначе разница в пару баллов между моделями может оказаться не результатом теста, а случайным сдвигом в ранжировании.
https://doi.org/10.48550/arXiv.2609.04198
OpenAI притормозила обучение Astra, потому что новая модель слишком хорошо ищет уязвимости.
Во внутренних тестах Astra находит и помогает эксплуатировать ранее неизвестные баги лучше любой публичной модели OpenAI (даже флагманской GPT-5.6 Sol), при этом тратит меньше вычислений. Компания впервые отнесла её к уровню «критических» кибервозможностей - такой порог требует защиты уже во время обучения, а не только перед релизом.
OpenAI пришлось на две недели заморозить этап reinforcement learning, чтобы усилить защиту исследовательской среды: изолировать рискованные запуски от сети, ужесточить песочницы и расширить мониторинг. Крупнейший обучающий ран запустили обратно только 28 августа.
Теперь каждый запуск Astra с доступом к инструментам постоянно мониторят. Если система замечает попытку получить доступ, украсть данные или обойти защиту, у команды есть 30 минут, чтобы разобраться, иначе работу останавливают. Такой контроль добавляет около 20% к вычислительным затратам именно проверяемых запусков.
Astra обещают отдать ограниченной группе пользователей уже скоро, но кого именно туда пустят, OpenAI пока не раскрывает.
Ни одна из пяти ведущих AI-компаний не получила выше C+ за контроль собственных моделей.
Guidelight AI Standards проверила Anthropic, OpenAI, Google, xAI и Meta по шести вещам: ведут ли журналы действий агентов, умеют ли проверять эффективность мониторинга, блокировать рискованные действия, останавливать систему при подозрительном поведении, привлекать внешних аудиторов и изолировать модель в аварийной ситуации. Лучшие оценки у OpenAI и Anthropic - C+, у Meta - F.
Пока индустрия лучше замечает проблему, чем умеет быстро её остановить. Ни по одному из шести критериев ни одна компания не набрала больше 3 баллов из 5, а в предотвращении и изоляции выше «частичной реализации» смогла подняться только Anthropic.
Справедливости ради, стоит отметить, что исследование проводилось на основе публичных материалов, где внутренне системы компаний не учитывались. Но даже по их собственным документам видно неприятное расхождение: модели становятся всё более самостоятельными, а понятных аварийных тормозов для них пока почти нет.
OpenAI открывает доступ к GPT 5.6 Cyber - версии GPT 5.6 Sol для исследователей кибербезопасности.
В Daybreak Blue для одобренных специалистов убирают часть системных ограничений, но на сложных запросах модель всё равно часто отказывает. Поэтому для Daybreak Red OpenAI доучила отдельную версию. Во внутреннем тесте модель выполнила 95% запросов на продвинутые сценарии безопасности, против 1,5% у обычной GPT 5.6 Sol и 2% у версии Daybreak Blue.
Один уже подтверждённый кейс - поиск уязвимостей в движке V8, на котором работает Chrome. GPT 5.6 Cyber помогла найти две связанные ошибки, с помощью которых можно было повредить память и выйти из песочницы V8.
В свободный доступ модель не выпускают. Daybreak Red доступен только проверенным людям и организациям, с мониторингом действий и юридическими ограничениями. Для личных аккаунтов с 1 сентября потребуют ещё и аппаратные ключи безопасности.
Получается, OpenAI не просто усиливает модель, а пробует дать защитникам больше возможностей раньше, чем такие инструменты массово окажутся у атакующих.
Meta выпустила Muse Code - своего конкурента Claude Code и Codex.
Это терминальный агент на Muse Spark 1.2 для больших репозиториев. Он сам планирует изменения, пишет код, запускает проверку и при необходимости подключает несколько вспомогательных агентов параллельно.
У Muse Code есть нормальная для долгих задач штука: все действия сохраняются в журнале. Если процесс упал посреди работы, агент может продолжить с того же места, а не заново перечитывать проект и восстанавливать контекст.
Базовый тариф стоит $1,25 за миллион входных токенов и $4,25 за миллион выходных. Но есть ещё один вариант, экономный - contributor tier, цена которого почти на 95% ниже обычного ($0,10 / $0,20). Почему же так дёшево? Всё просто: взамен Meta забирает себе всю активность разработчика и его кодовую базу для дообучения своих будущих моделей.
Для pet-проектов предложение может быть и заманчиво, но вот код клиентов или внутренние репозитории в такой тариф нести не очень-то и хочется. Даже при «скидке за шпионаж»)
Две настройки подняли GPT 5.6 Sol на ARC AGI 3 с 13,3% до 38,3%, при этом саму модель не изменяли.
Ребята из OpenAI пересобрали её запуск в тесте, после чего модель перестала удалять внутренние рассуждения по истечению каждого хода и заменила исчезновение старой истории на compaction - короткое сжатие уже пройденных шагов.
ARC AGI 3 - это набор незнакомых 2D игр, где агент сам понимает правила по ходу дела. В исходном тесте GPT 5.6 Sol после каждого действия теряла собственный ход мысли, а в длинной попытке ещё и переставала видеть ранние действия. Поэтому ей приходилось заново разбираться, во что она вообще играет.
После изменения настройки GPT 5.6 Sol почти утроила результат и потратила в шесть раз меньше выходных токенов. Выходит, что низкий балл в таком тесте может говорить не только о способностях модели, но и о том, дали ли ей сохранить то, что она уже поняла.
Почему Deep Research пока нельзя оставлять без проверки в научной работе.
В SciExplore им дали 103 задачи из 10+ научных областей: найти нужную работу по мутному описанию, восстановить пропущенные ссылки, собрать таблицу из нескольких исследований. Лучший результат - 49,39% у OpenAI Deep Research, в то время как большинство систем не дошли и до 20%.
Как только нужно не просто найти документ, а собрать из нескольких статей точный результат, модели начинают терять детали. OpenAI Deep Research заполнил 30,14% отдельных ячеек в сложных таблицах, но полностью корректными оказались лишь 18,59% строк. Т.е. достать отдельные факты агенту под силу, а вот сформировать из них цельный результат получается как-то не очень, по крайней мере, пока.
В одном из кейсов агент смог найти нужную статью, увидел в аннотации «20 участников» и пропустил уточнение в разделе Results: «исследование завершили только 18 человек.» С источниками перед глазами модель всё равно выбрала краткое резюме вместо точных данных, что для научной работы - серьёзный косяк.
Поэтому для поиска и черновой сборки материала Deep Research уже полезен, но таблицы, ссылки и цифры всё ещё нужно проверять по первоисточнику. Иначе в итоговом результате легко останется правдоподобная, но неверная деталь.
https://arxiv.org/abs/2607.20926
