ecom.tech

#статья SGLang без магии: как устроены основные настройки инференса LLM … Когда модель помещается на одну GPU и обрабатывает пару запросов в минуту, кажется, что настройка инференса заканчивается выбором модели и типа данных. Но дальше начинается настоящая магия — точнее, её отсутствие… Эрик (ML-инженер из команды больших языковых моделей) в своей статье на Хабр разобрал, как на самом деле устроен SGLang: 🌪️Как TP, DP, CP, PP и EP делят модель между GPU — и что именно достаётся каждой карте; 🌪️Как Radix Cache и HiCache решают две разные задачи: что переиспользовать и где хранить; 🌪️Как считать и передавать данные в MoE — runner, a2a и борьба с перегрузкой экспертов; 🌪️Когда спекулятивное декодирование ускоряет генерацию, а когда просто тратит время. 💡Читать статью