Старший Авгур

Один из шикарных примеров ответов Opus'а

Просматриваю данные, собранные из бота (пока не из чатов), несколько наблюдений: - Все локальные модели в боте кажутся абсолютным дерьмом по сравнению с gpt-4o и уж тем более с Opus'ом. И Suzume, и SFR, и Сайга, и Вихрь. Буду пробовать более тяжёлые варианты, модели в районе 7B явно не справляются. - Opus внезапно довольно раскрепощён. С правильным системным промптом можно и душевного общения добиться, и лёгкой эротики, и всего остального.

Выложил v6 в бота, сварил и выложил GGUF. Уменьшил лимиты для opus и gpt-4o, послезавтра и вовсе по 5 сообщений оставлю. Тратить по 50-60$ в день всё-таки перебор, да и данных уже довольно много собралось. Для других (локальных) моделей лимитов пока нет. В phi3 нашёл ошибку со спецтокенами, так что релиз откалдывается.

Победа, получается?.. Наглядно видно, что там Suzume выучила на Mistu. x1.5 к длине ответа, лол

Тут 2 новости: - У меня наконец получилось сварить SFT модель лучше, чем v4. А надо было всего лишь использовать простой советский weight_decay - phi3-medium вполне хороша из коробки, тюн на Сайге уменьшает длину ответов, но тоже ничего не портит

Вот примерно вот так это работает, системные промпты локальны для чатов.

@saiga_igusev_bot можно добавлять в чаты! Картинки там не поддерживаются, но всю историю чата бот запоминает. Можно использовать для чего угодно: для суммаризации, для справки, для озвучивания мнения. Пока в тестовом режиме, собираю баги.

Неполный список команд.

/settopp

Добавил задание температуры (/settemperature) и top-p (/settopp) в боте и узнавание текущего лимита (/getcount). Настройки применяются только к текущей модели. Все команды показываются по "/".