Старший Авгур

Тут 2 новости: - У меня наконец получилось сварить SFT модель лучше, чем v4. А надо было всего лишь использовать простой советский weight_decay - phi3-medium вполне хороша из коробки, тюн на Сайге уменьшает длину ответов, но тоже ничего не портит

Вот примерно вот так это работает, системные промпты локальны для чатов.

@saiga_igusev_bot можно добавлять в чаты! Картинки там не поддерживаются, но всю историю чата бот запоминает. Можно использовать для чего угодно: для суммаризации, для справки, для озвучивания мнения. Пока в тестовом режиме, собираю баги.

Неполный список команд.

/settopp

Добавил задание температуры (/settemperature) и top-p (/settopp) в боте и узнавание текущего лимита (/getcount). Настройки применяются только к текущей модели. Все команды показываются по "/".

Добавил Opus в бота. Не написав не одной строчки кода в самом боте! Однако пришлось написать прокси, чтобы привести формат API к OpenAI виду. За основу взял вот эту штуку: claude-to-chatgpt, но там старый формат API, поэтому пришлось немного переписать. Финальный вариант: anthropic2openai.js Задеплоил прокси на Cloudfare Workers, и оно работает.

Мини-пост на ночь. Всю свою работу, за которую я не получаю деньги, я выкладываю в open source. Так было всегда. Вот, например, мои решения задачек с 1 курса универа 11-летней давности. Были бы и крестики-нолики на Паскале из 9 класса, но я их хостил на Bitbucket, и он их сожрал 😭 Для меня моей список репозиториев — это своеобразный фотоальбом с разными этапами и событиями из моей жизни. Я не вижу ни одной причины как-либо скрывать свой код/данные/модели. Люди, чего вы стесняетесь? HR всё равно туда не посмотрят, а для любого технического специалиста что-то всегда лучше, чем ничего. Какого бы качества не был код. Зато плюсов дофига: - Всегда можно вспомнить "о, я это писал" и скинуть ссылку. - Всегда есть что показать и рассказать. - Даже для любого самого мелкого проекта может найтись человек, которому это пригодится. Ко мне до сих пор приходят люди по поводу богом забытого rnnmorph. Но всё равно я регулярно вижу, что кто-то делает пет-проекты в приватных репозиториях. Зачем?..

Два момента: - Перенёс все нужные скрипты и конфиги в отдельный репозиторий: saiga. Старый репо превратился в файлопомойку с тыщей ответов моделей, конфигов, ненужных скриптов и вот этого всего. Плюс сам репо уже старше BERT'а (6 лет!). Напоминаю, что код бота в saiga_bot. - Saiga-Aya на моём бенче довольно низко. Но я глазами посмотрел ответы, и у неё довольно хороший русский. Я скорее всего её выложу, потому что по-моему и для неё найдутся применения.

Предварительные результаты по phi3 medium. Почему предварительные: 4к контекста, AWQ, скорее всего косяки с форматом. Можно ещё заметить новую схему версионирования. d = версия датасета, m = версия конфига модели. Конфиги датасетов тут.