Dev Tweet

سریع‌تر از GPU؛ اما چطور؟! — بخش اول سربراس نسل جدید سیستمش، CS-4، را معرفی کرده و هم‌زمان همکاری‌اش با OpenAI به مقیاس بسیار بزرگ‌تری رسیده است. طبق گزارش رویترز، OpenAI متعهد شده طی سه سال بیش از ۲۰ میلیارد دلار برای استفاده از سرورهای مبتنی بر Cerebras هزینه کند؛ توسعه‌ی قراردادی که در ابتدا تا ۷۵۰ مگاوات ظرفیت inference را پوشش می‌داد. این عدد به‌خودی‌خود برتری فنی را ثابت نمی‌کند، اما نشان می‌دهد بحث دیگر یک benchmark آزمایشی نیست و OpenAI بخشی از ظرفیت inference آینده‌اش را روی معماری‌ای غیر از GPUهای متعارف می‌چیند. برای فهم معماری Cerebras کافی است از CPU، GPU و RAM شروع کنیم. در یک کامپیوتر معمولی، پردازنده محاسبه می‌کند و داده را از حافظه می‌گیرد. در GPU هم مدل عمدتاً در حافظه‌ی پرسرعت کنار GPU قرار دارد. در مدل‌های بزرگ، مخصوصاً هنگام تولید token، مسئله فقط تعداد عملیات ریاضی نیست؛ برای ساخت هر token باید حجم بزرگی از وزن‌های مدل دوباره در اختیار واحدهای محاسباتی قرار بگیرد. بنابراین سرعت جابه‌جایی داده میان حافظه و پردازنده می‌تواند به اندازه‌ی قدرت خود پردازنده تعیین‌کننده باشد. چیپ‌های معمولی ابتدا روی یک صفحه‌ی بزرگ سیلیکونی به نام wafer ساخته و بعد از هم جدا می‌شوند؛ هر قطعه‌ی جداشده می‌تواند به یک CPU یا GPU تبدیل شود. Cerebras مسیر متفاوتی رفت و به‌جای بریدن wafer، تقریباً کل آن را به یک پردازنده‌ی واحد تبدیل کرد. نتیجه یک چیپ بسیار بزرگ با صدها هزار هسته و مسیرهای ارتباطی داخلی کوتاه‌تر از یک خوشه‌ی متشکل از تعداد زیادی GPU است. مزیت دوم به حافظه برمی‌گردد. SRAM را می‌شود شبیه cache بسیار بزرگ و بسیار سریع داخل پردازنده تصور کرد؛ از RAM و حافظه‌ی معمول GPU سریع‌تر است، اما فضای بیشتری روی سیلیکون می‌گیرد و گران‌تر است، به همین دلیل در پردازنده‌های معمولی مقدار آن محدود است. هر Wafer Scale Engine سربراس ۴۴ گیگابایت SRAM روی خود چیپ دارد. این مقدار برای نگه‌داشتن همه‌ی مدل‌های بزرگ کافی نیست، اما اجازه می‌دهد بخش بزرگی از تبادل داده با پهنای باند بسیار بالا و بدون رفت‌وآمد مداوم به حافظه و شبکه‌ی خارجی انجام شود. نسل CS-4 این ایده را در سطح سیستم ادامه داده است. هر سیستم سه wafer دارد و سربراس latency ارتباط wafer-to-wafer را تا حدود ۲ میکروثانیه پایین آورده است. شرکت می‌گوید در مدل‌های آزمایش‌شده تا ۳۰ برابر سرعت inference بیشتر از سیستم‌های GPU و تا ۱۰ برابر throughput بیشتر به‌ازای هر وات نسبت به CS-3 به دست آورده است. ادعای مدل‌های بیش از ۱۰ تریلیون پارامتر با حدود ۱۰۰۰ token/s هم فعلاً extrapolation از benchmarkهای داخلی است، نه اجرای عمومی یک مدل ۱۰ تریلیون پارامتری. خروجی عملی‌تر این معماری را در GPT-5.6 Sol می‌بینیم. حالت Ultrafast این مدل روی Cerebras تا حدود ۷۵۰ token در ثانیه خروجی می‌دهد؛ تا ۱۴ برابر سریع‌تر از processing استاندارد، و طبق OpenAI همان مدل Sol است نه نسخه‌ای کوچک‌تر یا pruneشده. این تفاوت در coding agent یا research agent مهم‌تر می‌شود، چون مدل در یک کار بارها فراخوانی می‌شود، ابزار اجرا می‌کند و نتیجه را دوباره می‌خواند؛ latency هر مرحله روی مراحل بعدی جمع می‌شود. بخش اقتصادی هم به همان اندازه مهم است. جابه‌جایی کمتر داده یعنی انرژی کمتر، شبکه و حافظه‌ی خارجی کمتر و token بیشتر با همان توان دیتاسنتر. سربراس برای CS-4 تا ۱۰ برابر throughput به‌ازای هر وات نسبت به نسل قبلی اعلام کرده و در مقایسه‌ای که خودش برای CS-3 و DGX B200 منتشر کرده، هزینه‌ی کل سخت‌افزار و انرژی را حدود ۳۲ درصد پایین‌تر محاسبه کرده است. این عدد مستقل نیست و باید برآورد خود شرکت تلقی شود، اما جهت رقابت روشن است: معیار فقط token/s نیست، بلکه token به‌ازای دلار و token به‌ازای وات است. این روند به Cerebras محدود نیست. چند شرکت دیگر همان گلوگاه را دیده‌اند، اما هرکدام بخش متفاوتی از معماری کامپیوتر را تغییر داده‌اند. بخش دوم درباره‌ی همین alternativeهاست.

ما دقیقاً Median آمریکا هستیم 😂 داده‌های جدید Ramp از هزینه‌کرد AI در شرکت‌های آمریکایی واقعاً عجیبه: یک درصد بالای شرکت‌ها از نظر هزینه‌کرد AI، ماهانه به‌ازای هر کارمند حدود ۷۴۰۰ دلار خرج می‌کنند. در ۱۰ درصد بالایی این عدد حدود ۶۵۰ دلار است و شرکت میانه؟ فقط ۱۱.۹۵ دلار به‌ازای هر نفر در ماه! یعنی فاصله‌ی Top 1% با شرکت میانه الان به چیزی حدود ۶۲۰ برابر رسیده. 😐 بعد شرکت ما یک Cursor شصت‌دلاری گرفته، پنج شش نفری داریم ازش استفاده می‌کنیم. 😂😂 یعنی هزینه AI ما به‌ازای هر نفر می‌شود حدود ۱۰ تا ۱۲ دلار؛ عملاً با دقت خنده‌داری دقیقاً Median آمریکا هستیم. 😂 ولی قسمت مهم نمودار برای من حتی خود اعداد نیست؛ شکافی است که دارد با سرعت باز می‌شود. همه دارند بیشتر برای AI خرج می‌کنند، اما آن یک درصد بالایی با سرعت کاملاً متفاوتی در حال جداشدن از بقیه‌اند. واقعاً گپ عجیبی دارد ایجاد می‌شود.

جدول شخصیت‌های کلیدی یهودی یا یهودی‌زاده مرتبط با شرکت‌های برتر AI آمریکا پ.ن: ذکر این اسامی صرفاً جهت اطلاع‌رسانی است و به هیچ‌وجه جنبه نعت یا ذم یهودیان ندارد.

زن داریو آمودی، مدیرعامل Anthropic، طبق ایمیل‌های منتشرشده برای یک استارت‌آپ پورن لاکچری(طبق گفته خودش) از جفری اپستین درخواست فاند کرده بوده... و بخش باورنکردنی داستان؟ اپستین ریجکتش کرده. 😳 یعنی یه ایده‌ای داشتی که بردیش پیش جفری اپستین و حتی اون گفته: نه... من ترجیح میدم وارد این حوزه نشم. 😐 واقعاً بعضی خبرها رو اگر توی سریال می‌دیدی می‌گفتی نویسنده زیادی زیاده‌روی کرده. چیزی که اسناد نشان می‌دهند این است که Cami Clark برای پروژه‌اش از اپستین درباره سرمایه‌گذاری پرسیده و پاسخ ثبت‌شده او «Can't do sex TV» بوده؛ از این پاسخ نمی‌شود نتیجه گرفت علت رد، محتوای پروژه یا ملاحظات اخلاقی بوده و انتشار نام او در Epstein Files نیز به‌خودی‌خود به معنای مشارکت در جرایم اپستین نیست.

الگوریتم Recommendation System توئیتر منتشر شده. جالبه بیشترین چیزی که یک پست رو boost میکنه و رتبه‌ش رو در پیشنهاد دهی ارتقا میده کپی کردن لینک برای share کردن پسته. و به طور طبیعی بدترین تاثیر رو هم report کردن پست داره. جالب اینکه لایک و کلیک روی پست خیلی تاثیر کمی دارند و در یک حد هستند. و جالبتر اینکه سیستم بر حسب یک رابطه خطی وزن دار و ضرائب ثابت طراحی شده و یک مدل کاملا مبتنی بر وزن‌های شبکه‌ی عصبی نیست. این برای کسانی که Scoring Model کار کردند نکات فراوانی داره.

استفاده از روش تربیتی مادر ایرانی در harness مدل:)

عزیزم ادامه بده، تو می‌تونی :) ظاهراً برای جلو بردن مرز ریاضیات، گاهی فقط به ۶۰ تا AI Agent و یک نفر نیاز دارید که هر چند وقت یک‌بار بگوید: «عزیزم ادامه بده، تو می‌تونی!» انتروپیک یک نسخه‌ی research از Claude را گذاشته سراغ یکی از معروف‌ترین مسائل حل‌نشده‌ی تاریخ ریاضیات: فرضیه‌ی ریمن. کلود فرضیه ریمن را حل نکرد؛ اما در تلاش برای حلش، به نتیجه‌ای رسید که خودش به‌اندازه‌ی کافی عجیب و مهم است: یک bound قدیمی که دهه‌ها ریاضی‌دان‌ها روی آن کار کرده بودند را از حدود 41.6٪ به 67.25٪ رساند. برای اینکه بفهمیم این عدد یعنی چه، باید خود فرضیه ریمن را خیلی ساده توضیح بدهیم. اعداد اول ظاهراً با نظمی عجیب بین اعداد پخش شده‌اند. هرچه جلوتر می‌رویم می‌توانیم تقریب بزنیم چند عدد اول باید وجود داشته باشد، اما دقیقاً اینکه این بی‌نظمی چطور رفتار می‌کند یکی از عمیق‌ترین سؤال‌های نظریه اعداد است. بیش از ۱۶۰ سال پیش ریمن نشان داد برای فهم بهتر این توزیع می‌شود سراغ تابعی به نام Riemann Zeta Function رفت. این تابع نقاطی دارد که مقدارش صفر می‌شود و بخش مهم ماجرا مجموعه‌ای از همین صفرها در صفحه‌ی اعداد مختلط است. فرضیه ریمن می‌گوید تمام صفرهای non-trivial این تابع باید دقیقاً روی یک خط خاص به نام Critical Line قرار گرفته باشند. یعنی اگر خیلی ساده بگوییم، ریمن پیش‌بینی کرده نقاطی که در ظاهر می‌توانند در یک ناحیه پخش باشند، در واقع همگی دقیقاً روی یک خط نشسته‌اند. اهمیت ماجرا هم اینجاست که این صفرها ارتباط عمیقی با نحوه‌ی توزیع اعداد اول دارند. اگر فرضیه ریمن اثبات شود، تعداد زیادی از نتایج نظریه اعداد که امروز به‌شکل «اگر فرضیه ریمن درست باشد...» بیان می‌شوند، وضعیت بسیار محکم‌تری پیدا می‌کنند. به همین دلیل هم این مسئله یکی از Millennium Prize Problemهاست و برای اثباتش یک میلیون دلار جایزه گذاشته‌اند. مشکل اینجاست که بعد از بیش از یک قرن تلاش، هنوز کسی نتوانسته ثابت کند 100٪ این صفرها روی آن خط هستند. کاری که ریاضی‌دان‌ها در این مدت کرده‌اند این بوده که حداقل درصدی از آن‌ها را ثابت کنند و پیشرفت در این مسیر بسیار کند بوده است. تا قبل از این کار، بهترین نتیجه در این مسیر حدود 41.6٪ بود؛ یعنی می‌توانستیم با اثبات ریاضی تضمین کنیم حداقل این مقدار از صفرهای موردنظر روی Critical Line قرار دارند. کلود این عدد را یک‌دفعه به حدود 67.25٪ رسانده است. یعنی مسئله‌ی 100٪ هنوز سر جایش است؛ اما bound اثبات‌شده با یک جهش بسیار بزرگ از حدود ۴۲٪ به بیش از دو سوم رسیده. اما چیزی که برای من حتی جالب‌تر از نتیجه است، نحوه‌ی رسیدن به آن است. یکی از کارکنان انتروپیک به نام Jarred Sumner، که خودش ریاضی‌دان هم نیست، اساساً به Claude گفته: «یک تلاش جدی برای حل فرضیه ریمن بکن.» کلود شروع کرده و حدود 650 ایده مختلف را امتحان کرده و همه شکست خورده‌اند. بعد Jarred دوباره ازش خواسته ادامه بدهد. این بار کلود حدود 60 subagent از خودش راه انداخته و نزدیک یک‌ونیم روز روی مسئله کار کرده‌اند. در مجموع حدود 31 میلیون output token تولید شده، هزاران محاسبه و numerical check انجام شده، صدها Python script نوشته شده و agentها حتی ایده‌ها و نتایج یکدیگر را بررسی و نقد کرده‌اند. و این وسط نقش انسان واقعاً بامزه است 🙂 خود انتروپیک نوشته که بخش زیادی از دخالت Jarred در این مرحله تقریباً محدود بوده به فرستادن پیام‌هایی مثل «keep going» و «believe in yourself». جالب‌تر اینکه در گزارش نوشته‌اند همین encouragement ظاهراً کمک کرده کلود از بدبینی اولیه‌اش درباره‌ی اینکه اصلاً می‌تواند روی مسئله پیشرفت معناداری کند عبور کند! یعنی نقش Human-in-the-loop در یکی از جالب‌ترین experimentهای اخیر AI + Science عملاً شده: «عزیزم ادامه بده، تو می‌تونی :)» البته خروجی صرفاً یک عددی نیست که مدل با simulation پیدا کرده باشد. کلود در نهایت یک proof ریاضی ساخته، نتیجه توسط ریاضی‌دان‌ها بررسی شده و بخش‌هایی از آن هم به‌شکل formally verifiable در Lean نوشته شده است. بعد داستان یک مرحله‌ی عجیب‌تر هم پیدا کرده. یک کاربر paper حاصل از Claude را داده به GPT-5.6-Sol Pro و از آن خواسته ببیند آیا می‌تواند نتیجه را باز هم بهتر کند. این مدل همان نقطه‌ای را که کلود به آن رسیده بود به‌عنوان starting point گرفته و bound را کمی دیگر جلو برده: از حدود 67.25٪ به حدود 67.30٪.

حتی لسان‌الغیب هم ترسیده! :) میگه بعد از این همه LLM brainrot واقعاً نمی‌دونم چه کسی حاضر میشه دوباره منو استخدام کنه؛ احتمالاً حتی یادم رفته چطور باید یک for loop بنویسم! پست اصلی هم از یک برنامه‌نویسه که میگه تقریباً یک ساله حتی یک خط کد هم خودش ننوشته. این ترس رو واقعا منم دارم چند ماه پیش یه مصاحبه رفتم چند تا سوال الگوریتمی مسخره و ساده پرسید نتونستم جواب بدم:)

توزیع سابقه کار کارمندان OpenAI و Anthropic میانه هر دو در فاصله ده تا یازده ساله

لینک گروه متصل به کانال این هست: https://t.me/+MxcZLCReh9RiYzg0 لینک عمومی: @tweetdev_chat خوشحال می‌شوم اگر نظراتی خارج از پست‌ها دارید مطرح کنید اونجا با هم صحبت کنیم

دیروز یکی از اعضا به اسم خانم nina یک نکته‌ای در مورد تغییر در بازارکار در جواب دو پست قبل نوشتند و نکته دقیقی بود و من هم این پست را درفت کرده بودم در تایید حرف ایشون ارسال کنم امروز متوجه شدم کامنت رو پاک کردن. خلاصه اگه کامنتشون رو دوباره بذارن خوب میشه:)

شرکت‌های یک‌نفره دارند جدی می‌شوند! یک اتفاق جالب در اقتصاد آمریکا در حال رخ دادن است: تعداد کسب‌وکارهای جدید دارد سریع بالا می‌رود، اما بخش بزرگی از آن‌ها قصد استخدام کارمند ندارند. طبق داده‌های Census، از اوایل ۲۰۲۵ رشد ثبت کسب‌وکارها بیشتر از سمت شرکت‌هایی آمده که فعلاً برنامه‌ای برای payroll و استخدام ندارند. تعداد این کسب‌وکارها بیش از ۲۰٪ رشد کرده، درحالی‌که تعداد شرکت‌هایی که احتمال بالایی برای استخدام دارند تقریباً ثابت مانده است. این اتفاق در بخش Information، یعنی حوزه‌هایی مثل software، data و بعضی کسب‌وکارهای اینترنتی، شدیدتر است؛ تعداد کسب‌وکارهای جدید این بخش در یک سال حدود ۴۵٪ رشد کرده، اما همزمان تمایل آن‌ها به استخدام نیروی جدید کاهش پیدا کرده است. احتمالاً AI یکی از دلایل مهم این اتفاق است. قبلاً اگر می‌خواستید یک SaaS کوچک را از یک پروژه شخصی به یک کسب‌وکار واقعی تبدیل کنید، خیلی زود به برنامه‌نویس، طراح، پشتیبانی، مارکتینگ و چند نیروی دیگر احتیاج پیدا می‌کردید. حالا یک نفر می‌تواند بخش بزرگی از این کارها را با AI انجام دهد. در واقع بخشی از هزینه‌ای که قبلاً باید صرف حقوق و استخدام آدم‌ها می‌شد، دارد تبدیل می‌شود به هزینه‌ی API، token و compute. همین باعث می‌شود کسب‌وکارهایی که قبلاً با یک نفر اصلاً توجیه اقتصادی نداشتند، امروز قابل اجرا شوند. داده‌های Stripe این موضوع را جالب‌تر می‌کند. روی Stripe الان هزاران کسب‌وکار تک‌نفره وجود دارند که سالانه بیش از ۱ میلیون دلار revenue دارند. تعدادشان بین ۲۰۲۳ تا ۲۰۲۵ بیش از دو برابر شده و تعداد کسب‌وکارهای تک‌نفره‌ای که از ۱۰ میلیون دلار درآمد سالانه عبور کرده‌اند تقریباً سه برابر شده است. البته دقت کنید که این اعداد revenue هستند، نه سود. نمونه‌های عجیبی هم کم‌کم دیده می‌شود؛ مثلاً یک founder با استفاده گسترده از AI برای coding، پشتیبانی، ایمیل، refund و کارهای روزمره‌ی شرکت، بدون حتی یک کارمند به بیش از ۱۰ هزار مشتری پولی رسیده و برای امسال حدود ۱۰ میلیون دلار revenue پیش‌بینی کرده است. البته معنی این آمار این نیست که هرکس با ChatGPT یک محصول بسازد میلیونر می‌شود! اتفاقاً بخش دیگری از داده‌های Stripe شاید از این هم مهم‌تر باشد. در ۲۰۲۵ درآمد شش‌ماهه‌ی median استارتاپ‌های تک‌نفره نسبت به سال قبل ۲۳٪ کمتر شده، اما درآمد top 10% حدود ۱۹٪ رشد کرده است. چهار سال قبل یک founder در top 10% حدود ۳۴ برابر founder معمولی درآمد داشت؛ الان این فاصله به حدود ۶۱ برابر رسیده. یعنی AI ورود به بازار را خیلی آسان‌تر کرده، اما لزوماً موفق شدن را آسان‌تر نکرده است. ساختن محصول و نوشتن کد دارد ارزان می‌شود؛ بنابراین مزیت رقابتی بیشتر دارد به سمت چیزهایی مثل distribution، دسترسی به مشتری، brand، domain knowledge، proprietary data و retention منتقل می‌شود. یک نتیجه‌ی مهم دیگر این است که شاید در سال‌های آینده دیگر نتوانیم از افزایش تعداد startupها نتیجه بگیریم که به همان اندازه شغل جدید هم ساخته خواهد شد. ممکن است به جای ۲۰ شرکت پنج‌نفره، ۱۰۰ شرکت یک‌نفره ساخته شود. البته هنوز هم تیم مزیت خودش را دارد؛ در داده‌های Stripe، بعد از دو سال استارتاپ‌های چندبنیان‌گذار موفق در top 10% حدود ۵۳٪ درآمد بیشتری از نمونه‌های تک‌نفره دارند. بنابراین فعلاً داستان این نیست که «AI شرکت‌ها را بدون کارمند می‌کند». اتفاق مهم‌تر این است که سقفی که یک نفر به تنهایی می‌تواند به آن برسد، به‌طرز عجیبی در حال بالا رفتن است. چیزی که چند سال قبل به یک تیم ۵ تا ۱۰ نفره نیاز داشت، امروز در بعضی کسب‌وکارها ممکن است با یک founder و چند AI agent انجام شود. شاید مهم‌ترین تغییر اقتصادی AI هم در نهایت همین باشد: درآمد و خروجی دارند کم‌کم از تعداد افراد شاغل یا همان headcount جدا می‌شوند.

گوگل دیگر Level 11 ندارد! بلاخره Jeff Dean و Sanjay Ghemawat بعد از نزدیک به ۲۷ سال از گوگل جدا شدند؛ دو نفری که از ۱۹۹۹ آنجا بودند و تا جایی که به‌صورت عمومی مستند شده، تنها مهندسانی بودند که به Level 11 / Google Senior Fellow رسیده‌اند. برای درک وزن این خروج کافی است رزومه‌ی Jeff Dean را ببینید: از نسل‌های اولیه زیرساخت Search و سیستم‌های crawling و indexing گرفته تا MapReduce، Bigtable، Spanner، Google Brain، TensorFlow، Pathways و نقش کلیدی در TPU و در سال‌های اخیر co-lead پروژه‌ی Gemini. Sanjay هم یکی از معماران اصلی زیرساخت گوگل بود؛ از Google File System و MapReduce تا Bigtable، Spanner و Pathways. عملاً بخش بزرگی از چیزی که امروز «Google-scale computing» می‌شناسیم، ردپای این دو نفر را دارد. جالب‌تر اینکه Jeff Dean فقط چند روز قبل از اعلام خروج، در Startup Schoolِ YC از ایده‌ای حرف می‌زد که در آن AI چرخه‌ی پیشنهاد آزمایش → اجرا → ارزیابی نتیجه را اتوماتیک می‌کند و هزاران experiment را موازی جلو می‌برد؛ حالا دقیقاً همین ایده تبدیل شده به استارتاپ Discovery Loop که Dean، Ghemawat، Quoc Le و Oriol Vinyals برایش گوگل را ترک کرده‌اند. خود Vinyals هم درباره‌ی دلیل رفتنشان گفته در یک سازمان بزرگ برای هر تغییر رادیکال باید بر مقدار زیادی organizational inertia غلبه کرد و آن‌ها می‌خواهند چیزی متفاوت بسازند. شاید عجیب‌ترین بخش داستان همین باشد: دو نفر از بالاترین‌رتبه‌ترین مهندسان تاریخ گوگل، برای اجرای ایده‌ی بعدی‌شان به این نتیجه رسیده‌اند که حتی گوگل هم دیگر محیط مناسبی نیست.

ارزان‌تر از DeepSeek؛ اما با چه قیمتی؟! متا نسخه جدید Muse Spark 1.2 را منتشر کرده؛ یک آپدیت متمرکز بر کدنویسی و کارهای Agentic که برای تولید و دیباگ کد، درک کدبیس‌های بزرگ و انجام تسک‌های طولانی مهندسی نرم‌افزار بهینه شده است. این مدل کانتکست یک‌میلیون‌توکنی دارد و موتور مدل جدید Muse Code، ایجنت ترمینالی متا برای انجام پروژه‌های نرم‌افزاری، هم هست. اما شاید جالب‌ترین بخش انتشار آن، نه خود مدل، بلکه مدل قیمت‌گذاری‌اش باشد: متا می‌گوید اگر اجازه بدهید درخواست‌ها و توکن‌های شما برای بهبود محصولاتش استفاده شوند، قیمت API به‌شدت کاهش پیدا می‌کند؛ آن‌قدر که Muse حتی از DeepSeek-V4-Flash هم ارزان‌تر درمی‌آید. مدل Muse Spark 1.2 Contributor ورودی بدون کش: $0.10 ورودی کش‌شده: $0.002 خروجی: $0.20 مدل DeepSeek-V4-Flash ورودی بدون کش: $0.14 ورودی کش‌شده: $0.0028 خروجی: $0.28 یعنی پلن Contributor متا در هر سه بخش تقریباً ۲۹ درصد از DeepSeek ارزان‌تر است. البته این تخفیف رایگان نیست؛ در واقع متا دارد بخشی از ارزش داده‌های usage شما را با کاهش قیمت API پس می‌دهد. بهتر است هم نگوییم الزاماً «روی تک‌تک توکن‌ها train می‌کند»؛ عبارت دقیق‌تر این است که داده‌ها می‌توانند برای بهبود محصولات متا استفاده شوند. جالب‌تر اینکه فاصله میان دو پلن خود متا بسیار زیاد است: مدل Muse Spark 1.2 معمولی (داده‌ها برای بهبود محصولات استفاده نمی‌شوند.) ورودی بدون کش: $1.25 ورودی کش‌شده: $0.15 خروجی: $4.25 در مقایسه با پلن Contributor: ورودی ۱۲.۵ برابر ورودی کش‌شده ۷۵ برابر خروجی بیش از ۲۱ برابر گران‌تر است! ظاهراً توکن ارزان‌تر شده؛ اما این‌بار بخشی از هزینه را به‌جای پول، با داده پرداخت می‌کنید. رقابت دیگه فقط بر سر کیفیت مدل نیست؛ رقابت بر سر اقتصاد inference و ارزش داده‌های کاربران است.

سرورهای GPU رومیزی مثل DGX Spark کم‌کم دارند از یک اسباب‌بازی گران‌قیمت به زیرساختی واقعاً جدی تبدیل می‌شوند. در این تست، دو DGX Spark مدل DeepSeek V4 Flash 0731 را با پشتیبانی از کانتکست یک‌میلیونی، روی یک درخواست به حدود ۹۶ توکن‌برثانیه و روی دو درخواست هم‌زمان به ۱۵۲ توکن‌برثانیه تجمیعی رسانده‌اند. این عدد از API رسمی DeepSeek سریع‌تر نیست؛ API خود DeepSeek در تست‌های مستقل حدود ۱۰۴ توکن‌برثانیه خروجی می‌دهد. جذابیت واقعی ماجرا چیز دیگری است: یک سیستم رومیزی حالا می‌تواند مدلی در این ابعاد را با سرعتی نزدیک به زیرساخت ابری، کاملاً لوکال و تحت کنترل خودتان اجرا کند. تا قبل از مدل‌هایی مثل DeepSeek، خرید چنین سخت‌افزاری برای استفاده شخصی چندان معقول نبود؛ اما مدل‌های MoE کوچک‌تر، کوانتایز بهتر و speculative decoding دارند کم‌کم این معادله را تغییر می‌دهند. اگر مدلی با کیفیت نزدیک به DeepSeek V4 روی یک Spark با چنین سرعتی اجرا شود، آن‌وقت خرید این دستگاه‌ها واقعاً می‌تواند برای توسعه‌دهنده‌ها و تیم‌های کوچک وسوسه‌کننده شود. اگر پولش را داشتم، جدی به خریدش فکر می‌کردم :)

در باب اهمیت فراوان قیمت cache در هزینه مصرف بیشتر ما هنگام مقایسه قیمت API مدل‌ها فقط دو ستون را می‌بینیم: Input Price و Output Price در این جدول هم تقریباً همه‌چیز عادی به نظر می‌رسد. خود DeepSeek و چند پروایدر دیگر، ورودی را حدود ۰.۱۴ دلار و خروجی را حدود ۰.۲۸ دلار به‌ازای هر یک میلیون توکن قیمت‌گذاری کرده‌اند. اما ستون مهم‌تر برای مصرف واقعی Agentها، ستون سوم است: Cache Read Price خود DeepSeek برای هر یک میلیون توکن cache hit فقط ۰.۰۰۲۸ دلار می‌گیرد؛ اما تعدادی از پروایدرها همان cache read را ۰.۰۲۸ دلار قیمت زده‌اند. فقط یک صفر جابه‌جا شده، اما قیمت دقیقاً ۱۰ برابر شده است. اهمیت این موضوع وقتی مشخص می‌شود که ببینیم Agentها چطور مصرف می‌کنند. در یک ابزار کدنویسی، هر درخواست کاملاً مستقل نیست. بخش بزرگی از prompt بارها تکرار می‌شود: پرامپتsystem prompt، تعریف ابزارها، تاریخچه مکالمه، فایل‌های قبلی، ساختار repository و context طولانی پروژه. اگر prefix درخواست ثابت بماند، مدل لازم نیست همه این توکن‌ها را دوباره از ابتدا پردازش کند. آن‌ها از KV cache خوانده می‌شوند و قرار است بسیار ارزان‌تر حساب شوند. اینجا مزیت قیمت‌گذاری DeepSeek مشخص می‌شود: • ورودی input عادی: ۰.۱۴ دلار •کش cache read: ۰.۰۰۲۸ دلار یعنی cache hit در API مستقیم DeepSeek حدود ۵۰ برابر ارزان‌تر از input عادی است. اما وقتی یک پروایدر cache read را ۰.۰۲۸ دلار می‌فروشد، تخفیف کش از ۵۰ برابر به فقط ۵ برابر کاهش پیدا می‌کند. در ظاهر قیمت ورودی و خروجی را دست نزده، ولی بخش مهمی از مزیت اقتصادی DeepSeek را حذف کرده است. البته این به آن معنا نیست که کل قبض ۱۰ برابر می‌شود. این افزایش فقط مربوط به توکن‌هایی است که cache hit شده‌اند. مثلاً اگر ۹۰ درصد input از کش خوانده شود: هزینه ورودی مستقیم DeepSeek حدود ۰.۰۱۶۵ دلار به‌ازای هر میلیون توکن می‌شود، اما نزد پروایدری با cache read برابر ۰.۰۲۸ دلار، همین مقدار به حدود ۰.۰۳۹۲ دلار می‌رسد. یعنی هزینه بخش input حدود ۲.۴ برابر می‌شود، نه ۱۰ برابر. با اضافه‌شدن هزینه output، اختلاف کل صورتحساب از این هم کمتر خواهد شد. بااین‌حال، در workloadهایی مثل coding agent، research agent، پردازش repository و سشن‌های طولانی، این اختلاف اصلاً حاشیه‌ای نیست. هرچه نسبت cache hit بالاتر باشد، قیمت cache بیشتر از قیمت اسمی input اهمیت پیدا می‌کند. روترها و پروایدرهای ثالث می‌توانند بابت fallback، دسترسی یکپارچه، محدودیت کمتر، latency بهتر یا availability بالاتر ارزش واقعی ایجاد کنند. اما مقایسه آن‌ها فقط با دو عدد input و output ناقص است. برای انتخاب یک پروایدر باید حداقل این‌ها را کنار هم دید: قیمت cache read، نرخ واقعی cache hit، کیفیت و quantization مدل، throughput، latency و پایداری routing. در مدل‌های ارزان، گاهی گران‌ترین عدد جدول آن عددی نیست که بزرگ‌تر دیده می‌شود؛ همان صفر کوچکی است که در ستون cache حذف شده.

قیمت ورودی و خروجی بیشتر پروایدرها تقریباً همان قیمت مستقیم DeepSeek است: ورودی ۰.۱۴ دلار و خروجی ۰.۲۸ دلار. اما توکن کش‌شده را ۰.۰۲۸ دلار حساب می‌کنند؛ درحالی‌که خود DeepSeek همان توکن را ۰.۰۰۲۸ دلار می‌فروشد. یعنی دقیقاً ۱۰ برابر.

نسبت پارامترهای فعال مدل‌ها به کل پارامترها کمتر از ۵ درصده. و انگار داره استنتاج اسپارس و تنک تر میشه. این هزینه‌ی استنتاج رو ارزون میکنه.

با ChatGPT شوخی نکنید چند روز پیش داشتم با Hermes روی سرور، یک‌سری تست باگ‌بانتی انجام می‌دادم. با خیال راحت فکر می‌کردم مدل فعال DeepSeek است؛ چون خودم Hermes را برای استفاده از یک پروایدر رایگان DeepSeek روی Infrex تنظیم کرده بودم. وسط کار دو بار پیام مربوط به Cyber Abuse گرفتم، ولی خیلی جدی نگرفتم. چند ساعت بعد این ایمیل آمد: اکانت شما به‌دلیل فعالیت مرتبط با سوءاستفاده سایبری غیرفعال شده و دیگر قابل استفاده نیست. نکته اینجا بود که تقریباً تمام استفاده‌ی من از ChatGPT شامل پژوهش دکتری روی graph learning و fMRI، کدنویسی، تنظیم Kubernetes و سرور، تمرین زبان و سؤال‌های روزمره درباره‌ی بچه بود. تازه یک روز قبلش هم دوباره ۱۰۰ دلار برای ChatGPT Pro پرداخت کرده بودم! بعد که دقیق‌تر بررسی کردم، فهمیدم چه اتفاقی افتاده است. قبلاً به Codex لوکال خودم گفته بودم Hermes را روی سرور کانفیگ کند. Codex هم ظاهراً تصمیم گرفته بود هر جایی که امکان دارد، خودش را وارد تنظیمات کند؛ از جمله به‌عنوان fallback مدل اصلی:

fallback_model:
  provider: openai-codex
  model: gpt-5.5

پروایدر DeepSeek من رایگان بود و وقتی لود زیاد می‌شد یا سرویس پاسخ نمی‌داد، Hermes بدون اینکه من متوجه شوم، از مدل اصلی خارج می‌شد و روی Codex با GPT-5.5 می‌رفت. یعنی من فکر می‌کردم دارم تست‌های باگ‌بانتی را با DeepSeek انجام می‌دهم، ولی هر بار که DeepSeek جواب نمی‌داد، Codex خیلی نایس و مسئولیت‌پذیر وارد صحنه می‌شد و جواب می‌داد! در واقع مسیر failover هرمس طوری بود که روی rate limit، خطای موقت پروایدر، قطعی سرویس یا تمام شدن retryها، به‌صورت خودکار fallback فعال می‌شد. خلاصه Codex آن‌قدر خوب Hermes را کانفیگ کرده بود که حتی وقتی قرار نبود از خودش استفاده شود، باز هم خودش را به‌عنوان نیروی ذخیره گذاشته بود! اعتراض زدم و توضیح دادم که ماجرا یک سوءاستفاده عمدی نبوده و هنگام تست ابزارها، بدون اطلاع من مدل از DeepSeek به GPT تغییر کرده است. خوشبختانه بعد از بررسی جواب دادند:

مشخص شد اکانت شما به‌اشتباه غیرفعال شده است. دسترسی شما بازگردانده شد و بابت مشکلی که ایجاد شده عذرخواهی می‌کنیم.

پس اگر از agentها، مدل‌روترها، fallbackها یا ابزارهایی مثل Hermes استفاده می‌کنید، فقط به اسم مدلی که بالای ترمینال نوشته شده اعتماد نکنید. حتماً تنظیمات fallback و لاگ درخواست‌ها را هم بررسی کنید؛ شاید فکر کنید دارید با یک مدل رایگان تست می‌کنید، ولی پشت صحنه GPT دارد جواب می‌دهد و هم‌زمان برایتان پرونده‌ی Cyber Abuse تشکیل می‌شود! و البته باید اعتراف کنم: البته انصافاً OpenAI در رسیدگی به اعتراض خیلی نایس‌تر از Anthropic بود. یک appeal زدم، ماجرا را توضیح دادم و چند ساعت بعد اکانت را باز کردند و رسماً هم گفتند که غیرفعال‌سازی اشتباه بوده است.