Dealer.AI

Когда пытаешься воспроизвести sota пейперы. *пятница развратница-sota юмор* Спасибо @FuturioFranklin

Вокруг всякие там FA3 анонсы а тут HF под шумок с Кекасом-Керасом колабятся.. https://huggingface.co/blog/keras-nlp-integration

Тут конечно вопрос, скок видел BGE и этот тюн. Мб там шифт минимальный от родителя, а еще там мерджа, ну мб и дистилл. Интересное👇

В копилку эмбеддинг моделей - deepvk/USER-bge-m3 Модель позиционируется как сентенс энкодер для русского языка, инициализированная на основе TatonkaHF/bge-m3_en_ru (урезанной версии baai/bge-m3). Однако близость с эмбдами оригинального BGE-M3 довольно высока:

Avg Cosine Similarity: 0.9666

Такая схожесть наводит на мысль о возможной дистилляции оригинальной BGE-M3, а что, так можно было?)) Вот он такой современный дистиллят рисерч)) При этом авторы описывают процесс обучения, включающий файнтюн на русскоязычных датасетах и применение техники LM-Cocktail для объединения моделей. Ниже приложу код замеров и ссылка на датасет: Датасет: en-ru-corpus Поддержать автора: cloudtips @den4ikresearch

метрики дваз

схема раз

Когда роутят mom LLM, RouteLLM Уже во всю гуляет тренд роутить LLM. Дядя писал даже идейку тут. И вот очередная поделка, для этого. RouteLLM - это либа для эффективной маршрутизации нескольких LLM. Обещают как всегда скорость, и рост метрик аля mtbench и mmlu. В фреймворке реализована интеграция с API (OpenAI, Anthropic, Google, Amazon Bedrock) и локальным бекэндом (Ollama) Имеются 4 преднастроенные стратегии роутинга: х2 с LLM , одна на bert и святой random:) https://github.com/lm-sys/RouteLLM https://arxiv.org/pdf/2406.18665 https://huggingface.co/routellm

По легенде, особи AI противоположенного пола сбегаются на ДСов с Axe AI. Не реклама. Просто кек. Жена подогнала.