BenchLabs

В раздел Skills приехали сразу 3 новых навыка для 1С:Элемент 🚀 Что добавили: 1️⃣ xbsl-explore — skill для разведки структуры проекта 1С:Элемент перед созданием новых объектов. Что умеет: ➖ находит папки проектов по Проект.yaml ➖ определяет подходящий путь для нового объекта ➖ проверяет конфликты имён ➖ показывает существующие объекты нужного типа в подсистемах По сути, это слой перед генерацией метаданных: skill сначала сканирует структуру проекта, а потом отдаёт вызывающему сценарию suggested_path, conflict и контекст по уже существующим объектам. 🔗 Посмотреть подробнее 2️⃣ xbsl-meta-add — orchestration-skill для создания объектов конфигурации в 1С:Элемент по описанию пользователя. Что умеет: ➖ определяет тип создаваемого объекта из запроса ➖ подтягивает спецификацию нужного типа ➖ вызывает xbsl-explore для выбора места и проверки конфликтов ➖ вызывает xbsl-uuid для генерации нужного числа идентификаторов ➖ создаёт .yaml-файл объекта ➖ при явном запросе создаёт ещё и .xbsl с методами Поддерживаются не только базовые сущности вроде Справочника, Документа и Перечисления, но и Регистры, ОбщийМодуль, Структура, HttpСервис, ГлобальноеКлиентскоеСобытие, КлючДоступа и ЛокализованныеСтроки. 🔗 Посмотреть подробнее 3️⃣ xbsl-uuid — утилитарный skill для генерации UUID v4 для объектов конфигурации 1С:Элемент. Что умеет: ➖ генерирует один или несколько UUID за вызов ➖ подходит для Ид объектов, реквизитов, элементов перечислений, табличных частей и других сущностей ➖ умеет работать через python3, а при отсутствии bash предполагает ручную генерацию UUID v4 по корректному шаблону Небольшой, но очень важный навык: именно он закрывает рутинную часть с идентификаторами, чтобы остальные skill’ы могли стабильно собирать YAML-описания без ручной возни. 🔗 Посмотреть подробнее И как обычно — если у вас есть свой skill для AI-агентов или вы знаете крутой проект, который мы пропустили: добавляйте сами или пишите, добавим. 🔗 Раздел Skills на BenchLabs

ДИСКЛЕЙМЕР BenchLabs не продаёт и не предоставляет skills, размещённые в каталоге. Мы лишь собираем информацию о существующих решениях и указываем ссылки на первоисточники. Разработки принадлежат их авторам — пожалуйста, самостоятельно проверяйте актуальность, безопасность и условия использования перед установкой/подключением. Если ваш skill попал в наш список, а вы не хотите, чтобы он там был, напишите в сообщения канала.

Мы добавили в BenchLabs каталог скиллов для агентов 🚀 Продолжаем собирать в одном месте всё, что помогает применять LLM в реальной работе по 1С — и теперь на сайте появился новый раздел со скиллами для агентов. Что уже доступно: 1️⃣ Запустили каталог скиллов для агентов 2️⃣ Уже выложили 116 скиллов, которые могут пригодиться в задачах по 1С 3️⃣ Добавили установку скилла одной командой — можно выполнить её в PowerShell или Bash прямо в нужной папке Зачем это нужно❓ Скиллы помогают агентам быстрее получать нужные инструкции, сценарии и рабочие заготовки под конкретные задачи. Вместо того чтобы каждый раз собирать всё вручную, можно просто выбрать подходящий скилл из каталога и установить его сразу в свою рабочую папку. К посту мы прикрепили карточки с объяснением, что такое навыки агентов и как это работает на практике — почитайте, там всё подробно и наглядно разобрано 🔍 Ещё одна полезная штука: добавить свой скилл можно очень просто ⚙️ Достаточно указать ссылку на Git-репозиторий: — если это ссылка на папку с скиллом, загрузится только этот скилл — если это ссылка на папку, где лежит несколько скиллов, загрузятся сразу все скиллы Остается только дождаться уведомления о принятии вашего "скилла" на сайте 📈 Мы хотим, чтобы 1С-сообщество могло не искать такие вещи по чатам, заметкам и случайным репозиториям, а открывать единый каталог, где уже есть готовые и понятные решения 🤖 📍Полезные ссылки по навыкам ищите у Валеры в канале📍 📣 Всё это уже доступно на сайте: 🔗 benchlabs.ru/skills Меньше слов — лучше просто зайти, посмотреть карточки и попробовать в работе 🔬

Мы добавили в BenchLabs улучшение промптов с обучающим разбором 🚀 Больше не нужно угадывать, почему промпт не сработал. Теперь вы видите что именно в запросе было слабым (контекст? роль? ограничения? структура?) — и как это исправить, чтобы получать стабильный результат. Как это выглядит: 1️⃣ Пишете задачу своими словами, коротко 2️⃣ BenchLabs превращает это в структурированный промпт: роли, контекст, строгие ограничения 3️⃣ Параллельно — оценка и пояснение, почему стало лучше 🔗 Улучшенный промпт можно сохранить как шаблон в один клик и поделиться с сообществом и коллегами 🖥 Смотрите как это работает и пробуйте сами ➡️ https://benchlabs.ru/prompt-improver

В раздел MCP-Серверы приехали сразу 3 новых проекта 🚀 Что добавили: 1️⃣ ConfluenceMCP — Локальный MCP-сервер для поиска по внутренней документации в Confluence (поддержка SSE и streamable-http, Basic Auth). ➡️ Посмотреть подробнее Автор этого MCP-сервера участник 1С AI Club — Иван Титов, автор Ютуб-канала ivantitov_tech 2️⃣ 1C MCP Toolkit от ROCTUP — инструмент для подключения AI-агентов (Kiro, Claude и др.) к базам 1С:Предприятие через MCP или REST API. Под капотом: Python прокси + внешняя обработка 1C, связь через HTTP long polling. Ключевые плюсы: ➕ без изменений конфигурации 1C ➕ без публикации 1C сервера ➕ без COM-соединения ➕ совместимость с 8.2.13+ и 8.3.25+ ➕ Docker-friendly ➡️ Посмотреть подробнее 3️⃣1C Buddy от ROCTUP — чат + MCP-сервер + OpenAI-совместимый API-шлюз для общения с 1С:Напарник. Плюс OpenAI-совместимый API: ➕ совместимость с Chat Completions (/v1/chat/completions) ➕ stream / non-stream + SSE ➕ Bearer-токены ➡️ Посмотреть подробнее 📌 Раздел MCP-Серверы на BenchLabs: ➡️ https://benchlabs.ru/mcp-servers И как обычно — если у вас есть свой MCP-сервер или вы знаете крутой проект, который мы пропустили: добавляйте сами или пишите, добавим.

ДИСКЛЕЙМЕР BenchLabs не продаёт и не предоставляет MCP-серверы, размещённые в каталоге. Мы лишь собираем информацию о существующих решениях и указываем ссылки на первоисточники. Разработки принадлежат их авторам — пожалуйста, самостоятельно проверяйте актуальность, безопасность и условия использования перед установкой/подключением. Если ваш MCP-сервер попал в наш список, а вы не хотите, чтобы он там был, напишите в сообщения канала.

Мы собрали 18 MCP-серверов для 1С в одном удобном месте 🚀 Мы продолжаем превращать BenchLabs в единую точку входа для всего, что помогает эффективно использовать LLM в задачах по 1С — и в этом обновлении у нас важная штука: раздел с MCP-серверами. Что сделали: 1️⃣ Запустили новый раздел MCP-Сервера 2️⃣ Уже добавили 18 MCP-серверов для 1С — большая часть из них — для разработки 3️⃣ Теперь можно в одном месте посмотреть, какие MCP-интеграции уже есть под 1С и что они умеют Зачем это нужно? MCP-серверы — это способ подключать LLM к инструментам и данным: от типовых операций и работы с конфигами до автоматизации рутины и интеграций. Мы хотим, чтобы 1С-комьюнити не собирало это по чатам и случайным репозиториям, а имело структурированный каталог, который можно быстро открыть и выбрать подходящее. 📌 Заходите и смотрите новый раздел: ➡️ https://benchlabs.ru/mcp-servers И как обычно — если у вас есть свой MCP-сервер или вы знаете крутой проект, который мы пропустили: добавляйте сами или пишите, добавим 👀

ДИСКЛЕЙМЕР BenchLabs не продаёт и не предоставляет MCP-серверы, размещённые в каталоге. Мы лишь собираем информацию о существующих решениях и указываем ссылки на первоисточники. Разработки принадлежат их авторам — пожалуйста, самостоятельно проверяйте актуальность, безопасность и условия использования перед установкой/подключением. Если ваш MCP-сервер попал в наш список, а вы не хотите, чтобы он там был, напишите в сообщения канала

🚀 Ребрендинг и большой апдейт — раздел с промптами! Наш проект "1С LLM Бенчмарк" теперь официально называется BenchLabs Почему мы это сделали? Мы расширяем поле наших исследований. Теперь это не только сравнение моделей, но и тесты RAG-систем, а также другие изыскания, которые помогают в работе с 1С и смежными областями. Название BenchLabs лучше отражает этот масштаб 👀 Методология, Arena Mode и все старые результаты доступны по новому адресу: 🌐 BenchLabs.ru И уже на обновленном сайте вы можете увидеть новые разделы — "Промпты" и "Подборки промптов" Мы решили создать единую базу промптов именно для 1С-сообщества. Раньше не было одного места, где можно было бы найти качественные запросы для аналитики, разработки, администрирования или тестирования в 1С. Теперь оно появилось. Что в этих разделах интересного: 1️⃣ Авторские подборки: Это не просто свалка текстов. Блогеры, преподаватели или эксперты могут создавать свои тематические коллекции (например, «Промпты для написания ТЗ» или «Помощник кода»). 2️⃣ Удобные шаблоны: Больше не нужно копировать текст в блокнот и вручную удалять лишнее. Если в промпте есть параметры в [квадратных скобках], вы просто заполняете их в специальном поле на сайте — и на выходе получаете готовый текст. 3️⃣ Проверка в Арене: Понравился чей-то промпт? Нажмите кнопку "В арену" и сразу отправьте его в "Арену", чтобы сравнить, какая модель выдаст лучший результат. 4️⃣ Сообщество: Каждый может добавить свой промпт, ставить лайки и собирать избранное для быстрой работы. Зачем мы это делаем?🎯 Наша цель — помочь тем, кто работает с 1С, быстрее решать рабочие задачи. Мы объединяем опыт сообщества, чтобы вам не приходилось каждый раз заново изобретать велосипед при общении с нейросетью. Заходите на сайт, тестируйте новый функционал и делитесь своими наработками: ➡️ Промпты тут ➖➖➖➖➖➖ ➡️Подборки тут

Арена снова доступна! Мы устранили неполадки, связанные с блокировками, и сервис снова работает в штатном режиме. Спасибо, что оставались с нами! Вместе с возвращением функционала мы обновили список доступных моделей. Уже сейчас вы можете протестировать и сравнить Gemini 3.0 Flash и GLM 4.7! Заходите, тестируйте промпты и голосуйте за лучшие ответы. Ваши голоса формируют объективный рейтинг нейросетей!

К сожалению, у нас возникли технические сложности, связанные с блокировкой OpenRouter'а на отправление запросов из России Арена в ближайшее время не будет работать Мы активно обновляем задачи бенчмарка и готовим большой пул задач с разными категориями. Бенчмарк тоже пострадал из-за блокировки Также до нового года мы готовим новые функции в наш сервис, которые будут полезны всем! Обязательно вернемся с новостями! А пока работаем над исправлением всех неполадок!

Запустили Arena Mode для всех пользователей 1C LLM Benchmark 😍 Последний месяц мы отдельно готовили и дорабатывали этот режим, и теперь любой специалист 1С может бесплатно зайти в АРЕНУ, выбрать две модели, задать свой рабочий запрос и проголосовать, чей ответ лучше На Арене уже доступны самые топовые модели: Gemini 3 pro, ChatGPT 5.1, Claude Sonnet 4.5 — их можно напрямую сравнивать между собой на ваших реальных задачах по 1С Каждое такое сравнение влияет на живой рейтинг нейросетей и делает наш бенчмарк по-настоящему народным — в нём участвует всё сообщество 1С, а не только организаторы. Это уже не только тесты и метрики, а совместная оценка качества решений для 1С Не забывайте выбирать категорию перед началом диалога! Арена уже доступна, для каждого по ссылке: 1c-llm-benchmark.ru/arena Меньше слов, посмотрите сами как это работает 👐

📣 Наш проект растет: новые модели, скорость и планы! Приветствуем всех, кто следит за развитием нашего проекта! Делимся свежими улучшениями и новостями. 🌐Новый игрок в рейтинге: 💸YandexGPT 5.1 pro Мы добавили в нашу систему оценки последнюю модель от Яндекса. И вот результаты: 📉 Занятое место: 12 ⚙️Решенные задачи: 30% 💸Средняя стоимость решения: 0,12 ₽ Что помешало ей подняться выше? Основные причины ошибок: 1. Нарушение синтаксиса языка 2. Использование неправильных конструкций 3. Галлюцинации 4. Ошибки в логике решения ⚡️ Супер-обновление производительности Мы серьезно поработали над скоростью и эффективностью: 1. Тестирование теперь в 22 раза быстрее! Это позволяет нам оперативнее оценивать новые модели. 2. Внедрили параллельное тестирование в нескольких базах данных для большей стабильности. 3. Оптимизировали запуск «Предприятия» для работы с тестовыми прогонами. 🔜 И главное... готовим сюрприз! Мы активно работаем над крупным и очень интересным обновлением, которое выведет проект на новый уровень. Обещаем, будет круто! 🏟 Следите за анонсами, самое интересное — впереди! ➡️ https://1c-llm-benchmark.ru/

🚀 Запуск первого автоматизированного бенчмарка LLM для 1С 🖥 Сайт — 1c-llm-benchmark.ru Проект призван решить ключевую проблему выбора больших языковых моделей для разработки на 1С, заменив субъективные оценки объективным автоматизированным тестированием. ⚙️ Методология тестирования Мы разработали автоматизированный цикл, который обеспечивает комплексную проверку способности нейросетей решать задачи программирования в среде 1С: 1. Формируется набор тестовых задач. Каждая задача включает промпт для LLM (например: «Сделай функцию, которая отсортирует массив по возрастанию») и готовый юнит-тест на YAXUNIT, который определяет логически корректный результат. 2. Система направляет промпт выбранной нейросети. 3. Полученный код автоматически вставляется в тестовую конфигурацию 1С и проходит типовую синтаксическую проверку. 4. После интеграции запускаются юнит-тесты. Успешное прохождение теста подтверждает, что код логически корректен и работоспособен в реальной среде 1С. 5. Система анализирует отчет о выполнении тестов и на основе полученных данных формирует объективный рейтинг моделей. Данный подход позволяет оценивать не только синтаксическую чистоту, но и функциональность генерируемого LLM кода. 🎯 Цели и развитие проекта Объективный мониторинг навыков программирования LLM на 1С для содействия специалистам в подборе наиболее эффективных моделей под их задачи. Планы по развитию: 1. Расширение пула задач — Добавление новых типов задач (доработка форм, работа с метаданными, написание запросов и т.д.). 2. Интеграция MCP серверов — Добавление использования MCP серверов для расширения возможностей тестирования. 3. Тестирование агентов — Разработка механизмов оценки агентов, способных самостоятельно анализировать файлы конфигурации и вносить необходимые изменения. 🖥 Перейти к рейтингу ➡️ https://1c-llm-benchmark.ru/