RandRng

برق قطع شده بود چند ساعت پیش؛ نشستم پای تبلت و یک مقدار توی لینکدین و کانال‌های ایرانی گشتم. طرف یک کار کوچیک رو برای خودش همچین دستاورد کرده آدم پشماش میریزه؛ برید vLLM رو سرچ کنید متوجه می‌شید چی می‌گم : می‌خوام کاسبی بهم بریزم : vLLM Recipes این لینک به راحتی همه آن چیزی که برای دیپلوی سریع یگ مدل نیاز دارید رو بهتون میده؛ کامند + ورژن + فلگ‌های موجود و ... هر کسی ۵ دقیقه داکیومنت vLLM رو خونده باشه این رو باید پیدا کنه. خطاب به اون دوستان : ازینا دستاورد نسازید واسه خودتون بعد از این رو بگید که چه optimization هایی انجام دادید و چقدر بهبود داشتید و ... من اصل مطلب رو داشتم توی بوکمارک‌هام دیدم خیلی‌ها علاقه‌مند بودند توی لینکدین گفتم بجای اینکه براشون ماهی بگیرم؛ ماهی گرفتن رو یادشون بدم. دعوای ورژن هم ندارید؛ وارد سایت که بشید بالای صفخه براتون نوشته دقیقا چه ورژنی از vLLM این مدل رو پشتیبانی می‌کنه مثال :‌ من مدل JetBrain رو انتخاب کردم که توی Nightly پشتیبانی می‌شه و روی BF16 برای vLLM به 29GB رم نیاز داره. پارامتر‌های دیگه‌اش هم هست؛ می‌خواید tool call رو غیرفعال کنید (من اینو انتخاب کردم) و باقی موارد توی بخش advance پایینتر هم بیاید توضیحات آموزشی براتون گذاشته.