Deep Time

معرفی KVarN گوگل چند وقت پیش یک روش بهینه در مدیریت KV cache به نام TurboQuant معرفی کرد که اساسا خود KV Cache رو کوئانتایز میکرد و بعد برای پروسه attention مجدد تبدیل به دقت بالاتر. اما vLLM با بنچمارک نشون داد که این کم شدن Memory Usage یا افزایش ظرفیت به قیمت از دست رفتن Accuracy و کم شدن throughput هست. این کاهش دقت خصوصا در long-cotext بیشتر دیده میشه چراکه error ها با این تبدیل به مرور زیاد میشن. حالا Huawei روش KVarN رو معرفی کرده که نه تنها دقت رو حفظ میکنه بلکه throughput رو افزایش میده و کار اصلیش هم که ۴ برابر کردن ظرفیت KV-cache (حتی این هم بهتر از TurboQuant) Paper Github مزیت برای استفاده: در یک فورک vLLM ارائه شده.

هوش مصنوعی و خصوصا LLM ها دنیای بازار‌های مالی رو متحول کردن (واضحا!). به همین دلیل در مورد LLM ها بیشتر پست‌های تکنیکال میذارم. در سطح Trade: اگر به عنوان یک کوئانت فقط روش‌های کلاسیک آماری/ دیتاساینس و مهندسی داده بلد باشید از رقابت کنار میرید. برای مثال بغیر از استفاده بهینه از مدل‌ها برای کدنوشتن و ... باید بتونید روش‌های LLM Inference سریع و در عین حال دقیق رو مسلط باشید و چند ثانیه/ میلی ثانیه در پردازش اطلاعات با LLM برتری پیدا کنید که معنیش در trading مشخص هست. تسلط و شناخت این حوزه برای کوئانت‌های نسل جدید اهمیت بالایی داره. در سطح Investment: اگر با LLM و ذاتش که نیاز به Memory هست آشنا میبودید احتمالا نیم نگاهی به سهام شرکت Micron داشتید که در ۶ ماه ۳۵۵ درصد سود داده. یا فرضا اگر سال قبل در کامیونیتی‌های LLM گشت میزدید رشد Player 2 در GPU که AMD هست رو پیشبینی میکردید که در یک سال ۳۱۵ درصد رشد داشت. پ.ن: انگیزه زوری بود برای گرفتن زهر پست‌های تکنیکال بعدی در مورد KV cache optimization Speculative Decoding Prefill decode disaggregation ...

یک مسئله جالب که این روزها بهش فکر میکنم تایید کورکورانه دوطرفه در تعاملات انسان با AI هست. تایید کورکورانه از جانب انسان: اینکه اگر شخصی فقط خروجی‌های هر مرحله از AI رو بدون بررسی تخصصی تایید کنه، دو مشکل خواهد داشت: ۱_ احتمال کیفیت پایین خروجی یا بهینه نبودن ۲_ خودِ این شخص به راحتی با AI جایگزین خواهد شد چون در مجموع ارزشی اضافه نخواهد کرد پس اگر از آندره کارپاثی میشنوید که دیگه خودش تقریبا  کدی نمینویسه به این معنی نیست که کد رو بررسی نمیکنه، علمش رو نداره، یا ساختارهارو نقد نمیکنه. تایید کورکورانه از جانب هوش مصنوعی: اینکه هوش مصنوعی به دلیل تمایل به راضی کردن کاربر یا بایاس شدن به دلیل کانتکست، احتمالا ایده‌های کاربر رو دست بالا خواهد گرفت که ممکن هست بعد از ماه‌ها کار اشکالات در عمل مشخص بشن. این مورد هم مجددا بر دوش انسان هست تا با تخصص و تفکر انتقادی تشخیص داده بشه. از طرفی بحث هزینه Agent ها و مصرف توکن که اخیرا برای شرکت‌ها دردسر ساز شده رو در نظر بگیرید که اهمیت استفاده بهینه و وجود تخصص رو بسیار بالا برده. در یک کلام، بازی عوض شده. میشه اینطور گفت که تخصص در برنامه‌نویسی، هوش مصنوعی و ریاضی: ۱_ اگر به شکل سطحی یا گاها متوسط باشه کم ارزش هست. اما در سال‌های گذشته اصلا اینطور نبود و تقاضا برای این سطوح زیاد بود. ۲_ اگر به شکل عمیق و تسلط بالا باشه، بسیار ارزشمند هست چراکه تنها این سطح از تخصص توانایی استفاده و مدیریت بهینه/کم هزینه AI رو خواهد داشت.

Brain Foundation Model انگار داره کلاه سرمون میره Sabi.com این واقعا میتونه game changer باشه در دنیا. قطعا زندگی معلولین در آینده متفاوت میشه اما آیا این تنها استفاده هست؟! دریافت سیگنال‌های مغزی به شکل wireless از طریق یک کلاه و تبدیل فکر به متن و بعدش هم که مشخصه: متن به AI برای انجام کار اما بازم میگم، تتها استفاده این موارد تبلیغی نخواهد بود. فکر کنید به روزی که کارمند ها مجبور به استفاده از این مورد بشن. همین اخیر هم خبر اومد که شرکت Meta در حال جمع‌آوری تمام اطلاعات مانیتورها، کلیک‌ها و تایپ و ... از کارمندان در آمریکا هست تا در یک سطح جدید مدل‌های هوش مصنوعی به هدف جایگزینی با انسان آموزش ببینن‌. پ.ن: این مدت بخاطر شرایط ایران کمتر فعال بودم. اما سعی میکنم بیشتر پست بذارم. اتفاقات و آپدیت ها زیاد بودن.

نوروز مبارک به امید روزهای بهتر برای ایران به امید آزادی❤️🖤

هم‌میهنانم، علی خامنه‌ای، ضحاک خونخوار زمان، قاتل ده‌ها هزار تن از شجاع‌ترین فرزندان ایران از صفحه روزگار محو شد. با مرگ او، جمهوری اسلامی نیز در عمل به پایان خود رسیده است و به‌زودی زود به زباله‌دان تاریخ خواهد پیوست. هر تلاشی از سوی بقایای رژیم برای تعیین جانشین خامنه‌ای، از پیش شکست‌خورده است. هر که را به جای او بنشانند، نه مشروعیت خواهد داشت، نه بقا؛ و بی‌تردید شریک جنایات این رژیم نیز خواهد بود. به نیروهای نظامی، انتظامی، و امنیتی: هرگونه تلاش برای حفظ رژیمی در حال سقوط، محکوم به شکست است. فرصت آخر شماست تا به ملت بپیوندید؛ به گذار باثبات ایران به آینده‌ای آزاد و آباد کمک کنید؛ و در ساختن آن آینده سهیم باشید. مرگ خامنه‌ای جنایتکار، اگرچه دادِ خون‌های ریخته‌شده را باز نمی‌گرداند، اما می‌تواند مرهمی باشد بر دل‌های سوخته خانواده‌های دادخواه؛ پدران و مادران، همسران و فرزندان داغدار؛ و خانواده‌های جان‌فدایان انقلاب ملی شیروخورشید ایران. ملت شریف و شجاع ایران، این اگرچه آغاز جشن بزرگ ملی ماست؛ اما پایان راه نیست. هوشیار و آماده باشید. زمان حضور گسترده و تعیین‌کننده در خیابان‌ها بسیار نزدیک است. ما با هم، متحد و استوار، پیروزی نهایی را رقم خواهیم زد، و آزادی ایران را در سراسر میهن اهورایی‌مان جشن خواهیم گرفت. پاینده ایران، رضا پهلوی @OfficialRezaPahlavi

خون‌های ریخته شده جنایت‌ کاران رو غرق خواهد کرد. زمستان ۱۴۰۴ و خصوصا ۱۸ و ۱۹ دی، به عنوان بزرگترین نماد اتحاد، آزادی و شجاعت در تاریخ ایران جاودان خواهد شد.

دوستانی که به دنبال موقعیت PhD فول فاند در زمینه Distributed Systems و ML هستن، این موقعیت عالی رو اقدام کنید: 🎓 𝐄𝐱𝐜𝐢𝐭𝐢𝐧𝐠 𝐏𝐡𝐃 𝐎𝐩𝐩𝐨𝐫𝐭𝐮𝐧𝐢𝐭𝐲 𝐢𝐧 𝐃𝐢𝐬𝐭𝐫𝐢𝐛𝐮𝐭𝐞𝐝 𝐒𝐲𝐬𝐭𝐞𝐦𝐬, 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 𝐟𝐨𝐫 𝐌𝐋, 𝐚𝐧𝐝 𝐌𝐋 𝐟𝐨𝐫 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 𝐚𝐭 𝐌𝐨𝐧𝐚𝐬𝐡 𝐔𝐧𝐢𝐯𝐞𝐫𝐬𝐢𝐭𝐲! 🎓⁣⁣ ⁣⁣ 𝐟𝐮𝐥𝐥𝐲 𝐟𝐮𝐧𝐝𝐞𝐝 𝐏𝐡𝐃 𝐩𝐨𝐬𝐢𝐭𝐢𝐨𝐧 (2026) is available in the Faculty of Information Technology at 𝐌𝐨𝐧𝐚𝐬𝐡 𝐔𝐧𝐢𝐯𝐞𝐫𝐬𝐢𝐭𝐲!⁣ More information

روح کشته شدگان شجاع وطنم که در راه آزادی و با دست خالی برای ایرانی بهتر سینه سپر کردند و جان دادن شاد و آرزوی صبر برای بازماندگان. ظلم پایدار نخواهد بود خونشون پایمال نخواهد شد

کنفرانس NeurIPS 2025 یک بخش ویژه فایننس داره که میتونید ببینید: NeurIPS 2025 Workshop on Generative AI in Finance اولین سخنرانی که معرفی شده آقای Rama Cont استاد ریاضی فایننس و هوش مصنوعی فایننس از دانشگاه Oxford هست. نکته مهم اینکه ایشون ایرانی هستن و اتفاقا بسیار عرق ملی دارن. من از طریقی ایشون رو میشناسم و شاید فرصت شد یکبار در کانال بیان صحبت کنیم.

دوستانی که ملبورن (استرالیا) هستن، خوشحال میشم در تماس باشیم: https://www.linkedin.com/in/mohammad-talaei-mt/

طبیعی هست که NVIDIA بی کار نخواهد نشست ایده اساسی CUDA Tile تمرکز روی الگوریتم بجای درگیر شدن با پیچیدگی‌های سخت‌افزار هست. برای کار در پایتون: NVIDIA CUDA Tile in Python

در ادامه‌ی پست‌های کانال، قصد داریم کتاب Build A Robo-Advisor with Python: Automate Your Financial and Investment Decisions را همراه با هم بخوانیم و بررسی کنیم. این کتاب توسط انتشارات Manning منتشر شده و تمرکز آن بر شیوه‌های مدیریت سرمایه‌گذاری مالی است. نگاه کتاب به سرمایه‌گذاری بلندمدت است و وارد مباحث مربوط به ترید نمی‌شود. نویسندگان تلاش کرده‌اند به پرسش‌های زیر پاسخ دهند: ۱. چطور یک سبد سرمایه‌گذاری مناسب تشکیل دهیم؟ چه مقدار از دارایی در بورس باشد؟ چه مقدار در رمزارزها؟ و هر سهم بورسی چه وزنی در کل سبد داشته باشد؟ ۲. سطح ریسک‌پذیری ما چقدر است؟ و برای هر میزان ریسک، بهترین استراتژی کدام است؟ ۳. چگونه میزان مالیات را به حداقل برسانیم؟ و چطور برای دوران بازنشستگی یک برنامه‌ریزی بلندمدت انجام دهیم؟ ۴. چطوری مدیریت سرمایه‌گذاری را به صورت خودکار برنامه‌نویسی کنیم؟ از آن‌جا که نویسندگان کتاب در آمریکا زندگی می‌کنند، مثال‌ها و مفاهیم مربوط به حساب‌های بانکی، مالیات و قوانین سرمایه‌گذاری مبتنی بر ساختار آمریکا است، اما به‌گونه‌ای ارائه شده‌اند که بتوان معادل آن‌ها را در سایر کشورها نیز پیدا کرد. این کتاب مجموعه‌ای گسترده از مباحث را پوشش می‌دهد. از الگوریتم‌های آماری و یادگیری تقویتی (RL) گرفته تا موضوعات مالی و برنامه‌نویسی. از آنجا که مطالب هر فصل نسبتاً سنگین است، پست‌های همخوانی کتاب جزئی‌تر خواهند بود. بنابراین ممکن است هر فصل به جای یک پست، در چند پست (چهار یا پنج) تقسیم شود تا درک مفاهیم آسان‌تر شود. #BRP_RR @metapageai

یک سریال آمریکایی دنبال می‌کنم که هفته‌ای یک قسمت میاد. اما زمان انتشار رسمی با زمانی که واقعا میشه دانلودش کرد بین یک ساعت تا یک روز متغیر بوده. دیدم که یکشنبه‌ها ممکن هست چندین بار در چند مقطع بخوام رفرش کنم که ببینم قسمت جدید آپلود شده یا نه و بازم شاید دوشنبه بیاد. گفتم باید یک کد بزنم اتومات بشه کار. تو چند دقیقه یک بات تلگرام نوشتم که وقتی اپیزود جدید اومد پیام بده و چند کار دیگه. معمولا اینطور سایت‌ها چون dynamic نیستن کار با bs4 انجام میشه و خیلی سادس. اما برای وبسایت‌های داینامیک مثل فروشگاه‌ها میتونید Selenium یا Playwright رو به صورت headless automation کار کنید. نیازی به هزینه سرور هم نیست و میشه مجانی از Kaggle استفاده کنید که containerized میکنه. با همون تلگرام هم مانیتور کنید که هر زمان پایین اومد مجدد راه‌اندازی کنید. نکته: با وجود LLM ها، حتی اگر دانش برنامه نویسی خیلی کمی دارید، باید بتونید زیر یک ساعت چنین رباتی رو بنویسید. به عنوان یک چالش انجام بدید: "Just Do It Mentality".

چی بهتر از اینکه کدها و سیستم‌ها مستقل از سخت‌افزار عمل کنن اون هم وقتی Chris Lattner این کار رو انجام بده. زبان Mojo احتمالا میتونه بازی بین شرکت‌های سخت‌افزار و طراح GPU رو کاملا متحول کنه. آقای Chris Lattner سازنده Mojo و فریمورک Max در واقع موارد زیر رو هم ساخته: تکنولوژی LLVM زبان Swift زیرساخت کامپایلر MLIR و ... علت اصلیِ ترجیح GPU‌های Nvidia وجود CUDA بوده که مخصوص سخت‌افزار این شرکت هست و بسیار هم توسط برنامه‌نویس‌ها به بلوغ رسیده. اما علاوه بر بحث محدودیت سخت‌افزاری، یادگیری CUDA هم برای مهندسین زمان‌بر هست. حالا Mojo با سینتکس شبیه Python و نگاه Multi-platform، به شکل مستقل از سخت‌افزار، بر روی CPU, GPU, TPU سوار میشه و عملکردی نزدیک به CUDA داره.  چنین قابلیتی مدیون سال‌ها تلاش برای LLVM و MLIR: Multi-Level Intermediate Representation بوده که در عمل به عنوان لایه‌ای واسط، بین کد شما و زبان ماشین قرار میگیرن. همونطور که سال ۲۰۲۱ به خیلی دوستان گفتم سهام Nvidia بررسی کنن، الان پیشنهاد میکنم اگر دسترسی به شبکه‌های سرمایه‌گذاری خصوصی دارین روی Modular تحقیق کنید که اخیرا هم ۲۵۰ میلیون دلار raise کردن.

چطور وقتی انقدر نرخ باخت trader ها بالاست باز هم انگار همه ادعا دارن از اون درصد جزئی هستن که در بلند مدت برنده میشن (و به باخت ادامه میدن)؟ جواب سادس. اگر کسی در مجموع ۱۰ سال‌ اخیر ۸۰ درصد به حجم بالا ضرر کرده و در چند ماه اول امسال ۱۰ درصد سود با حجم پایین داشته هیچوقت به شما از اون باخت بزرگ و پایدار نمیگه و فقط برد اخیرش رو مطرح میکنه و از اون statement میده. آیا این به قصد کلاهبرداری و دروغ از عمد هست؟ همیشه اینطور نیست. خیلی اوقات افراد ناخودآگاه به خودشون هم دروغ میگن و حافظه عمدا روی خاطرات ناگوار سرپوش میذاره. چرا؟ چون هدف مغز حفاظت از روان هست، نه کشف واقعیت. این باگ ذهنی دهه هاست که میلیاردها دلار به نفع بروکر‌ها، اکسچنج‌ها، کازینوها، پکیج فروش‌ها و رویافروش‌ها تموم شده. نکته: خیلی از ایده‌ها که اکثر تریدرایِ خرد مثل جونشون ازش محافظت میکنن، بدون موارد پست قبل بسیار ریسکی هستن یا حتی هیچ ارزش ذاتی ندارن و اگر بتونید واقعا همه استیتمنت‌هارو باهم ببینید یا استراتژی رو اتومات کنید، هر پولی رو صفر میکنن.

بی‌دلیل نیست که ۹۰ الی ۹۹ درصد معامله‌گران خرد در بازارهای مالی در بلند مدت پول میبازن! (سرچ بزنید) بسیار بسیار زیاد هست دلایل جالبی که آدم‌ها به دام میفتن. واقعیت trade در بازارهای مالی خیلی پیچیده‌تر از این هست که با LLM در بلند مدت موفق بمونید. برای احتمال موفقیت و سوددهی با ثبات و رسیک کنترل شده به طور خلاصه: ۱_ به یک استراتژی و ایده اولیه نیاز هست که همون بحث تعریف مسئله، مناطق پیشبینی پذیر و inefficiency در مارکت هست (بحثش گستردس) ۲_ نمیتونید به بررسی ایده‌تون با چشم در گذشته چارت اکتفا کنید و حتی بکتست‌های متاتریدر فقط احتمالا شما رو در چاه خواهد انداخت (این پست) ۳_ به شبیه‌سازی الگوریتم و بکتست استراتژی به صورت استاندارد و اجتناب از تله‌های بکتست و بایاس‌ها نیاز دارید که معمولا اینجا باگ زیاد پیدا خواهید کرد ۴_ حتی اگر استراتژی اساسا rule-based (یعنی ترکیب یکسری شرط مشخص) هست باید با data science و آمار احتمالات تحلیل و بررسی دقیق بشه در مرحله اول. ۵_بعد با ML و DS تا جای ممکن بهینه‌سازی و یا حتی یکسری مدل بخصوص برای آنالیز و پیشبینی حرفه‌ای تر. خیلی استراتژی‌ها تازه در این مرحله پایدار و سودده می‌شن. ۶_ بکتست استراتژی نهایی روی Holdout Set بدون تکرار یا با حداقل تکرار ۷_ پیاده سازی سیستم Trade Execution ۸_ ابتدا Paper Trade برای تست نرم‌افزار و استراتژی و بعد Live Trade با افزایش تدریجی سرمایه

در همون تاریخی که پست گذاشته شد، اگر پولتون رو روی بهترین مدل پیشبینی کننده این سایت یعنی DeepSeek میذاشتین، ظرف ۳ روز صفر می‌شد. یعنی بالای ۱۰۰۰۰ دلار ضرر با فرض ۱۰۰۰۰ دلار پول اولیه (طبق اطلاعات سایت). بقیه مدل‌هاش که هیچ.

اسیر مارکتینگ یا بختانگی (Randomness) نشیم یکسری افراد این مدت در مورد nof1.ai یا همون AlphaArena خیلی هیجانی شدن که واقعا باعث تعجب هست. حتی دوستی اومد گفت فلان جا گفتن معاملاتش رو کپی کنیم. Good luck این وب‌سایت خودش رو اولین بنچمارک سنجش AI در سرمایه‌گذاری معرفی میکنه (انگار که AI فقط LLM هست!) در واقع یکسری LLM ها مثل ChatGPT و Deepseek برای Trade در بازار کریپتو سنجیده می‌شن. مسئله اول: بنچمارکی که شفافیت نداره به هیچ عنوان بنچمارک نیست! شما هیچ اطلاعی از ورودی مدل ها یعنی مواردی مثل prompt ها یا وجود RAG و ... ندارید. این مدل‌ها با ورودی متفاوت رفتار کاملا متفاوتی دارن. مسئله دوم: ۶ تا مدل به جون بازار افتادن خوب کاملا طبیعی هست که دو مدل شانسی سود ده شدن (البته با Max dd ناامید کننده) و ۴ مورد خنثی و یا ضررده بد. شما همینطوری ۴ استراتژی آبکی ساده رو لایو بذاری یکی دو مورد سود ده میشه. با این همه صحبت در مورد اثر شانس و survivorship bias و ... باز هم این الگو همونجایی هست که سرمایه ملت رو همیشه به باد داده. شما ۲ بار پارامتر بکتست هم عوض کنی سودده میشه. در نهایت به عنوان یک تفریح، دیدن رقابت یکسری مدل شاید جالب باشه اما به دلیل نبود اطلاعات ورودی به مدل‌ها، و خصوصا اطلاعات backtest استاندارد، امکان نداره بتونید آلفا رو از شانس و randomness تشخیص بدید (اگر بخواد آلفایی باشه). یادتون نره که کسی که بحران مالی ۲۰۰۸ رو پیشبینی کرد، یک کتاب داره تحت این عنوان: Fooled by Randomness