RandRng

برق قطع شده بود چند ساعت پیش؛ نشستم پای تبلت و یک مقدار توی لینکدین و کانال‌های ایرانی گشتم. طرف یک کار کوچیک رو برای خودش همچین دستاورد کرده آدم پشماش میریزه؛ برید vLLM رو سرچ کنید متوجه می‌شید چی می‌گم : می‌خوام کاسبی بهم بریزم : vLLM Recipes این لینک به راحتی همه آن چیزی که برای دیپلوی سریع یگ مدل نیاز دارید رو بهتون میده؛ کامند + ورژن + فلگ‌های موجود و ... هر کسی ۵ دقیقه داکیومنت vLLM رو خونده باشه این رو باید پیدا کنه. خطاب به اون دوستان : ازینا دستاورد نسازید واسه خودتون بعد از این رو بگید که چه optimization هایی انجام دادید و چقدر بهبود داشتید و ... من اصل مطلب رو داشتم توی بوکمارک‌هام دیدم خیلی‌ها علاقه‌مند بودند توی لینکدین گفتم بجای اینکه براشون ماهی بگیرم؛ ماهی گرفتن رو یادشون بدم. دعوای ورژن هم ندارید؛ وارد سایت که بشید بالای صفخه براتون نوشته دقیقا چه ورژنی از vLLM این مدل رو پشتیبانی می‌کنه مثال :‌ من مدل JetBrain رو انتخاب کردم که توی Nightly پشتیبانی می‌شه و روی BF16 برای vLLM به 29GB رم نیاز داره. پارامتر‌های دیگه‌اش هم هست؛ می‌خواید tool call رو غیرفعال کنید (من اینو انتخاب کردم) و باقی موارد توی بخش advance پایینتر هم بیاید توضیحات آموزشی براتون گذاشته.

turbovec Github داریم میدوییم که برسیم به قبل از قطعی فیلتر+تحریم نت

این خیلی خوبه : Gemma4-12B-Q4 گوگل خودش مدل‌های خانواده Gemma4 رو بصورت GGUF روی Q4 منتشر کرده و توی اکثر تست‌ها دقت با f16 یکسان هست. من این مدل حرگت‌ها رو دوس دارم. توی لینک بالا من نسخه ۱‍۲ میلیارد پارامتری و Dense رو گذاشتم که بنظرم یک مورد بسیار عالی برای تست‌های لوکال هست اگر طول context رو روی 128K بذارید روی llamacpp کمتر از ۱۲ گیگ VRAM لازم داره

بعضی از راهنمایی‌ها واقعا خیلی ساده بود؛ آقا ما هم یک چیزایی بلدیم به خدا. من میخوامک این رو اپتیمایز کنم دوستان : ۱۰ تا یوزر همزمان voice می‌فرستند FinalL = Final latency یعنی وقتی صحبتشون تموم شد تا من متن رو بگیرم : 0.121 s طول می‌کشه در بدترین حالت؛ حالا من میخوام این همین بمونه ولی یوزر رو ببرم روی ۱۰۰ تا (تا ۲۰-۳۰ هم همین می‌مونه؛ ۳۰ تا یوزر هم زمان)‌ تست هم روی لپ‌تاپ دارم انجام میدم سرور و ... ندارم الان

۲ ماه قبل آنتروپیک: مدل Mythos خیلی خطرناکه ما جزات نداریم منتشرش کنیم. ——- ارزش anthropic از openai هم بیشتر شد. ——- امروز : مدل Mythos رو منتشر کردیم. سال ۲۰۱۹ سم آلتمن : مدل GPT2 خیلی خطرناکه ما جرات نداریم منتشرش کنیم ——- ارزش openai مثل راکت رفت بالا ——- ۲ ماه بعد: مدل GPT2 منتشر شد چندماه بعد شرکت‌های تخصصی: سم‌آلتمن ضر زده اصلا هم خطرناک نبوده؛ احتمالا برای جذب سرمایه‌گذار بود. دژاووووو ؟ من هنوز هیچ بنچمارک و نتیجه‌ای از Mythos ندیدم فقط خواستم چیزی که یادم افتاد رو به شماهم یادآوری قبل از اینکه نتایج رو ببینید.

یادم باشه از تجربه امروز عصر با یکی از دوستان نزدیکم راجب Claude 4.8 هم بگم. به این جمله ختم شد،

این LLM‌ها برای کد زدن کسی خوبه که هیچ چیزی از کد نمی‌فهمه و نمی‌خواد هم بفهمه، فقط ی چیزی می‌خواد که کار کنه.

برگردیم سر پروژه خودم، کسی اینجا با onnx توی ۱ سال اخیر کار کرده ؟! یک سوال راجب performance دارم. حدوداً چقدر ازش توقع داریم ؟ باید کسی باشه که روی اسکیل بزرگ کار کرده باشه و بتونه Latency, Req/sec, hardware رو بگه که بتونم روی فریمورک های دیگه تبدیل کنم. نکته‌ هم اینه من با GIL پایتون به مشکل خوردم و اگر بخوام اون سمت مشکل رو حل کنم باید ببرمش روی Rust. اگر اعداد بخونه عالی میشه، اگر نخونه بهتره بدون وقت تلف کردن برگردم روی vLLM و مدل رو خودم آماده کنم براش

یکی از دوستانم زده این برات بد بود، نباید تو کانال می‌گفتی مصاحبه اینطوری بود. چه بدی‌ای داره ؟ چرا فکر می‌کنید من هرجا میرم مصاحبه باید قبول بشم ؟ خیلی وقتا من رد می‌شم، خیلی وقتا هم من رد می‌کنم قانون کار اینه دیگه، یک وقتایی تو از پروژه و مدیرعامل و ... خوشت نمیاد یک وقتایی اونا از تو خوششون نمیاد. و این طبیعی هست، سنیور و جونیور و ... هم نداره یان لوکان هم که باشی یکی تو متا پیدا می‌شه بندازت بیرون، ماها که در اون حدم نیستیم. خواستم بگم، آقا/خانم رد شدن بخشی از مصاحبه هست. حالا من که هی گفتم کار غیر قانونی نمی‌کنم یارو هم هی می‌گفت: let me tell you ... let me tell you ... 😂🤣😂

👆👆👆👆 مراقب این قضیه باشید، با اینکه مصاحبه امشب رو یک استاد دانشگاهی که سال‌ها پیش باهم کار کرده بودیم برای من هماهنگ کرده بود. متوجه شدم، بعد از ۳ دقیقه جلسه و توضیح متوجه شدم این هم همون موضوع هست. احتمالاً هدف ایران و ایرانی هست بخاطر اینکه توانایی شکایت رو نداره. من و این استاد همکارم (ایشون آمریکا هستند و به دنیا اومدند) پیگیر این موضوع خواهم بود. ولی به شدت توصیه می‌کنم برای ۱۰۰۰-۴۰۰۰ دلار توی دام این افراد نیوفتید، که جز بدبختی چیزی نداره. از هندی‌ها بپرسید ...

#موقت بریم برای مصاحبه شب آماده بشیم، از شرکت ایرانی پروژه درست و حسابی دست مارو نمی‌گیره بخصوص اگر قرار باشه واقعیت‌ها رو توی چشمشون کنی.

اپل با اون همه ادعا فهمید : یک وقتایی واسه ادامه دادن، نباید فیچر اضافه کنی، باید شیت کدها رو تمیز کنی. ولی شما با این همه ضرر بازم متوجه نشدی.

امروز یک مصاحبه داشتم با یک شرکت داخلی بعنوان مدیر یکی از بخش‌هاش، شرکت بزرگی هم هست توی ایران. قبلتر از مصاحبه یک NDA امضا کرده بودم و به یکی از پروژه‌ها بهم دسترسی داده شد برای خواندن، چون مدیرعامل رو یک دوست خیلی صمیمی معرفی کرده بود اینکار رو کردیم. خلاصه‌اش کنم، پروژه از پرفورمنس خیلی بد و باگ‌های خیلی زیاد توی فیچرهاش رنج می‌برد تا جایی که طبق گزارش این بخش هیچ مدیری رو بیشتر از ۸ ماه نگه نداشته (غیر از مدیر اول که اخراج شده، همه استعفا دادند) ارزیابی من از پروژه هم این بود که امکان اضافه کردن فیچر نیست، باید همینی که هست اول تمیز بشه و به یک وضعیت استیبل برسه، وقتی یکی از مدیرهای میانی و مسئول پروژه جلوی مدیرعامل گفت اینقدر هم پروژه بد نیست ما باید دنبال یکی بگردیم که توانایی بالاتری داره من جمله اول پست رو بهش گفتم، اضافه کردم: ۸ تا مدیر که بقول شما هرکدوم از بهترین‌های ایران بودند اومدند توی پروژه چندماه حقوق گرفتند و رزومه‌اشون رو بهتر کردند و بعدش هم فرار و شما هنوز متوجه ضرر نشدی ؟ از اون گذشته، من هم که می‌خوام مسیر درست رو نشونت بدم می‌خوای بذاری روی بی‌سوادی و ... که اشتباه خودت رو گردن نگیری ؟ درنهایت به مدیرعامل شرکت گفتم: آقای فلانی که من رو به شما معرفی کرده، ۵ سال با من کار کرده می‌تونید راجب توانایی من از ایشون بپرسید، من نیازی به ۸ ماه کار کردن توی شرکت شما برای تقویت رزومه‌ام ندارم و با همچین پروژه‌ای هم رزومه‌ام رو خراب نمی‌کنم. وضعیت خیلی از مدیر پروژه‌های ما تو ایران اینطوری هست (واقعاً با خیلی‌ها) : اکثراً مثل قماربازی می‌مونند که توی قمار ۵۰ دلار باخته و بعد برای بدست آوردن ۵۰ دلارش ۱۰۰ دلار باخت و حالا هی داره مبلغ شرط‌بندی‌اش رو دو برابر می‌کنه. با این تفاوت که قمارباز پول از دست خودش میره و مدیر پروژه پول رو از جیب دیگران خرج می‌کنه. برای همن هست که به خیلی از دوستانم می‌گم شرکتشون نیازی به مدیر پروژه نداره! ولی اگر مدیر پروژه خوب گیر آوردن هرجوری شده نگهش دارند، هرطوری.

یک آپدیت بدم؛ این مورد رو من ۲-۳ روز پیش پاک کردم. چرا ؟ اصلی‌ترین دلیلش این هست که هرطور حساب کردم نیاز ضروری به agent ندارم اما دلایل مهم دیگه : ۱- نگرانی از اینکه داره روی سیستم و شبکه من چه کاری می‌کنه ؟ ۲- این یکی جدای از Hermes هست و بطور کلی روی تمام موارد؛ میزان مصرف توکن همیشه برای نگران کننده هست. با اینکه من از مدل لوکال براش اسنفاده می‌کردم؛ چرا نگرانم ؟ درسته هزینه دلاری نداره ولی پردازش بیشتر = عمر سخت‌افزار کمتر راهکار بهتر برای موارد مهمی که داشتم ؟ کد نوشتم؛ کارهایی که خیلی واجب بود رو با همون کد زدن معمولی اتومات کردم. خیلی جالب هست که توی یکی از دیتاهام الگو پیدا کردم و با یک مدل ۲۷۰ میلیون پارامتری خیلی ساده اتوماسیون کامل گرفتم روش. با وضعیت فعلی بنظرم نیازی به Agent هم حتی نیست؛ کدهای اتومات همچنان بهترین راهکار هست.

#Quick دیروز به صورت remote رو مک یکی از دوستان داشتم کار می‌کردم. هرکی گفت اپل ۸ گیگ رم‌اش ۱۶ گیگ هست حرف مفت زده. این مدل ۱۶ گیگ رم داشت و دائم وسط کد رم کم میاورد و هنگ می‌کرد. (نمی‌شد بصورت همزمان کار کرد) ولی با اینکه سری M2 بود از نظر CPU مشکلی نداشت؛ اگر خواستید بخرید و باهاش جدی کد بزنید؛ زیر ۱۶ گیگ فکرشم نکنید. اما برای CPU می‌تونید حتی به M1 هم برگردید.

دوستان اشاره کردند :/

فحش گذاشتم هرکی اینترنت رو قطع کنه

بنظرم این دوتا پروژه جالب بود؛ بخصوص اگر local استفاده بشه : WebWright این همون PlayWright هست؛ فقط بجای اینکه LLM هی عکس بگیره موقع تست کردن؛ هربار کامپوننت و ... رو می‌بینه که خب خیلی بهتر و بهینه‌تر هست. LiteParse یک PDF پارسر کاملا آفلاین و سریع و راحت هست و برای خیلی‌ها کار راه بنداز

کسی می‌دونه تلگرام اجازه میده کلاینت براش بنویسیم یا نه ؟ تلگرام دسکتاپ واقعاً غمگین کننده هست، ۲ گیگ رم واسه هیچکاری نکردن ؟

33

آقا فکر کنم اضافه کردن cursed بهش طلسم رو شکست اونطوری شکست که حتی یوتیوب از عصر بدون فیلترشکن باز می‌شه توی گروه هم دوستان تایید کردند.