Konvertov/Affiliate Marketing.

Недавно делал пост с полезностями для тех, кто планирует поставить локально open-source LLM под свои задачи. Сегодня расскажу, как можно всё это дело оптимизировать, снизить потребность в технических характеристиках железа под установку LLM, ускорить её работу и время отклика. Квантование – это метод, который позволяет уменьшить размер нейронной сети с небольшой потерей точности. Обычно веса и тензоры представлены в формате с плавающей запятой. С помощью квантования они преобразуются в типы данных с меньшим количеством бит. В результате значительно снижается объём памяти, необходимый для загрузки нейронных сетей. Этот метод также применим к большим языковым моделям (LLM). Он особенно эффективен для языковых моделей, поскольку они имеют очень большой размер. Нейросеть хранит миллиарды чисел (весов). Обычно они записываются с высокой точностью, например в формате FP32 (32-битные числа с плавающей точкой). Квантование заменяет их на менее точные форматы, например: 🔘FP16 - 16 бит. 🔘BF16 - 16 бит со специальным форматом. 🔘INT8 - 8-битные целые числа. 🔘INT4 - 4-битные числа. Как это работает:   Допустим есть число 5,651662 После квантования оно может храниться как: 🔘5,65 (небольшая потеря точности). 🔘или 5,6 (если квантование очень агрессивное). Для одного числа разница незначительна, но когда таких чисел миллиарды, экономия памяти и ресурсов, становится огромной. Все это позволяет запускать большие модели на более слабом железе, экономить видеопамять, ускорять генерацию ответов, снижать энергопотребление. Вообще под квантованием обычно имеют в виду специальную библиотеку, которая берёт готовую модель (FP16/BF16/FP32) и пересчитывает её веса в INT8/INT4 Я уже писал небольшой мануал о том, как можно поставить локально LLM при помощи Ollama. Так вот, квантование Ollama можно сделать при помощи llama.cpp. GitHub-репозиторий с llama.cpp находится тут и прям советую прочитать файл README.md, там всё очень подробно и доходчиво написано.