Deep Time

پیرو بحث قبل، نسل جدیدی از Hedge Fund ها بر مبنای Foundational Model برای Trading در حال شکل گیری هست که سودهای بالایی گزارش کردن‌: Prodigy Research Launching news

اخیرا یک پروژه رو تحویل دادیم که برای Forecasting سری زمانی بود. نکته جالب اینکه از حدود ۳۶ مسئله مستقل، در بیش از ۶۰ درصد از حالات مدل TimesFM 2 500M بهترین عملکرد رو در بین همه مدل‌ها داشت. و در حالات دیگه هم بین چند مدل اول بود. دقت کنید که مدل‌های دیگه تک متغیره نبودن، با داده‌های این مسئله train میشدن و حتی HPO هم انجام شد. اما این مدل بدون نیاز به آموزش و فقط با خود متغیر اصلی به عنوان context عملکرد بهتری داشت. چرا این مسئله مهم هست؟ بعد از سال‌ها به تازگی داریم میبینیم که Foundational Model ها در سری زمانی و tabular data هم رقابت میکنن و اگر در حال حل مسئله ای هستید باید تستشون کنید. بعد از موفقیت TimesFM در این مدت، گوگل چند هفته قبل مدل TabFM هم برای Tabular data منتشر کرد. کمی جزئیات: اینجا که بر خلاف NLP بجای کلمات با اعداد سر و کار داریم نوع توکن سازی و patch شدن هم مکانیزم جالبی داره. فرضا هر ۳۲ عدد متوالی در سری زمانی یک توکن ورودی هست و خروجی هم ۱۲۸ عدد متوالی رو در یک forward path تولید میکنه.

در مورد استاندارد OKF از Google به این پست اضافه کنم که: ۱- این کار گوگل از LLM Wiki آندره کارپاثی الهام گرفته شده ۲_ یک از دو فرد اصلی این پروژه آقای امیر حرمتی هستن که در این مورد مصاحبه فارسی هم داشته: YouTube link

مدت زیادی باور بر این بود که به طور کلی Claude در نوشتن کد حرف اول رو میزنه. اما اخیرا که مدل‌های جدید OpenAI معرفی شدن در یکسری کار پیچیده Quantitative Finance که برای سنجش مدل‌ها استفاده میکنیم، مدل Sol بسیار بهتر از مدل‌های Claude عمل کرد. مصرف توکن بهتری هم داشت. مدل جدید Grok 4.5 هم در مصرف توکن و به نسبت دقتی که داره واقعا بی نظیر هست. البته همه این موارد طبق مشاهدات محدود هست. رقابت بین شرکت‌ها همیشه به نفع مردم تموم میشه مثل LLM ها که هر روز میشه لذت برد. از اون طرف انحصار (مونوپلی یا اولیگوپلی)، فرضا مثل صنعت خودرو یا اکثر صنایع در ایران، کاملا فلج کننده هست.

#موقت: پوزیشن دکتری Distributed LLM Training با فاند صنعتی (مقدار فاند بیشتر از نرمال هست). فرصت همکاری با یک شرکت پیشگام در این حوزه. اگر در این زمینه کار کردید بررسی کنید. شاید همکار شدیم!

حدودا بلافاصله بعد از قرارداد همکاری که با یک گروه معامله‌گر داشتیم، به نوعی خواستن نشون بدن که استراتژی قدرتمندی دارن و به شکل هیجانی با مشاوره‌ای که از تیم نرم‌افزاری خودشون گرفته بودن، طبق سیگنال سیستمشون معاملات پله‌ای باز کردن و در چند دقیقه چند هزار دلار باختن. این نوع معاملات شاید بدون حضور نرم‌افزار زیاد باشه اما وقتی افرادی میان و استراتژی رو به هر نحوی بکتست میگیرن باید یک اصل نانوشته رو بدونن: هدف از بکتست، اثبات کارا نبودن استراتژی هاست! وگرنه بسیاری از اکسپریمنت ها در بکتست میتونن به نتایج رضایت‌بخش غیرواقعی منجر بشن. رویکرد تیم کوئانت باید skeptical بودن باشه که تا حد ممکن قبل از paper trading از بایاس ها جلوگیری بشه و بکتست تا حد ممکن به واقعیت نزدیک بشه. مشخصا این رویکرد میتونه باعث رنجش طرف مقابل شما بشه اما اینجا فرق رویافروش با کوئانت مشخص میشه. اما با وجود مشخص شدن نتایج بد و ضرر، چرا رویافروش‌ها همچنان قربانی میگیرن و حسابی پول درمیارن؟ (البته این سوال فراتر از برنامه نویس هاست) متأسفانه یا خوشبختانه اولویت مغز انسان حفاظت از روان هست و نه کشف واقعیت. پس اینطور تجربیات باخت پول خیلی اوقات فراموش میشن یا حداقل کمرنگ میشن تا انسان رنج کمتری تحمل کنه. اما دوپامین ناشی از حس "گنج پیدا کردن" حتی اگر فقط حس باشه خیلی اوقات قوی‌تر هست که باعث میشه جیب رویاپردازان تریدینگ خالی‌تر و جیب رویافروشان پر تر بشه.

درباره الگوریتمیک کردن استراتژی‌های معاملاتی تریدر های حرفه‌ای زیادی در کانال هستن که مدت‌هاست (به طور دستی یا نیمه اتومات) فعالیت دارن. اما اکثرا تجربه خوبی از اتومات کردن، پیاده‌سازی نرم‌افزاری یا بکتست ندارن. علت: اکثر تیم‌های نرم‌افزاری که تریدرها یا اساتید مدرس و ... باهاشون کار میکنن، حتی اگر کار درست باشن، کوئانت ندارن یا اگر دارن فقط اسمش هست! مسائل کوئانت فایننس به طور خاص نیازمند domain expertise و تجربه معامله گری توسط اون تیم نرم‌افزاری هست (شرط لازم و نه کافی) علت۱: در بازارهای مالی، تعداد مواردی که شاید کار رو از ریشه خراب کنن بسیار است یا به اصطلاح Many things can go wrong بنابراین شناخت این موارد اگر قرار باشه اتفاق بیفته احتمالا توسط کوئانت هست. از بایاس‌های بکتست گرفته تا اشتباهات در Execution و ... علت۲: الگوریتمی که تریدر به شما میگه در خیلی موارد با چیزی که واقعا در ذهنش میخواد تفاوت داره (شاید بگید این بحث فهم بیزینس در حوزه‌های دیگر هم هست که حرف اشتباهی نیست). وظیفه شما به عنوان کوئانت این هست که اون خواسته‌ نهایی رو بتونی بفهمی، از زبان تریدری به کامپیوتر تبدیل کنی و پیاده کنی. البته در خیلی مسائل سوالات درست پرسیدن هم خیلی کمک میکنه.

معرفی KVarN گوگل چند وقت پیش یک روش بهینه در مدیریت KV cache به نام TurboQuant معرفی کرد که اساسا خود KV Cache رو کوئانتایز میکرد و بعد برای پروسه attention مجدد تبدیل به دقت بالاتر. اما vLLM با بنچمارک نشون داد که این کم شدن Memory Usage یا افزایش ظرفیت به قیمت از دست رفتن Accuracy و کم شدن throughput هست. این کاهش دقت خصوصا در long-cotext بیشتر دیده میشه چراکه error ها با این تبدیل به مرور زیاد میشن. حالا Huawei روش KVarN رو معرفی کرده که نه تنها دقت رو حفظ میکنه بلکه throughput رو افزایش میده و کار اصلیش هم که ۴ برابر کردن ظرفیت KV-cache (حتی این هم بهتر از TurboQuant) Paper Github مزیت برای استفاده: در یک فورک vLLM ارائه شده.

هوش مصنوعی و خصوصا LLM ها دنیای بازار‌های مالی رو متحول کردن (واضحا!). به همین دلیل در مورد LLM ها بیشتر پست‌های تکنیکال میذارم. در سطح Trade: اگر به عنوان یک کوئانت فقط روش‌های کلاسیک آماری/ دیتاساینس و مهندسی داده بلد باشید از رقابت کنار میرید. برای مثال بغیر از استفاده بهینه از مدل‌ها برای کدنوشتن و ... باید بتونید روش‌های LLM Inference سریع و در عین حال دقیق رو مسلط باشید و چند ثانیه/ میلی ثانیه در پردازش اطلاعات با LLM برتری پیدا کنید که معنیش در trading مشخص هست. تسلط و شناخت این حوزه برای کوئانت‌های نسل جدید اهمیت بالایی داره. در سطح Investment: اگر با LLM و ذاتش که نیاز به Memory هست آشنا میبودید احتمالا نیم نگاهی به سهام شرکت Micron داشتید که در ۶ ماه ۳۵۵ درصد سود داده. یا فرضا اگر سال قبل در کامیونیتی‌های LLM گشت میزدید رشد Player 2 در GPU که AMD هست رو پیشبینی میکردید که در یک سال ۳۱۵ درصد رشد داشت. پ.ن: انگیزه زوری بود برای گرفتن زهر پست‌های تکنیکال بعدی در مورد KV cache optimization Speculative Decoding Prefill decode disaggregation ...

یک مسئله جالب که این روزها بهش فکر میکنم تایید کورکورانه دوطرفه در تعاملات انسان با AI هست. تایید کورکورانه از جانب انسان: اینکه اگر شخصی فقط خروجی‌های هر مرحله از AI رو بدون بررسی تخصصی تایید کنه، دو مشکل خواهد داشت: ۱_ احتمال کیفیت پایین خروجی یا بهینه نبودن ۲_ خودِ این شخص به راحتی با AI جایگزین خواهد شد چون در مجموع ارزشی اضافه نخواهد کرد پس اگر از آندره کارپاثی میشنوید که دیگه خودش تقریبا  کدی نمینویسه به این معنی نیست که کد رو بررسی نمیکنه، علمش رو نداره، یا ساختارهارو نقد نمیکنه. تایید کورکورانه از جانب هوش مصنوعی: اینکه هوش مصنوعی به دلیل تمایل به راضی کردن کاربر یا بایاس شدن به دلیل کانتکست، احتمالا ایده‌های کاربر رو دست بالا خواهد گرفت که ممکن هست بعد از ماه‌ها کار اشکالات در عمل مشخص بشن. این مورد هم مجددا بر دوش انسان هست تا با تخصص و تفکر انتقادی تشخیص داده بشه. از طرفی بحث هزینه Agent ها و مصرف توکن که اخیرا برای شرکت‌ها دردسر ساز شده رو در نظر بگیرید که اهمیت استفاده بهینه و وجود تخصص رو بسیار بالا برده. در یک کلام، بازی عوض شده. میشه اینطور گفت که تخصص در برنامه‌نویسی، هوش مصنوعی و ریاضی: ۱_ اگر به شکل سطحی یا گاها متوسط باشه کم ارزش هست. اما در سال‌های گذشته اصلا اینطور نبود و تقاضا برای این سطوح زیاد بود. ۲_ اگر به شکل عمیق و تسلط بالا باشه، بسیار ارزشمند هست چراکه تنها این سطح از تخصص توانایی استفاده و مدیریت بهینه/کم هزینه AI رو خواهد داشت.

Brain Foundation Model انگار داره کلاه سرمون میره Sabi.com این واقعا میتونه game changer باشه در دنیا. قطعا زندگی معلولین در آینده متفاوت میشه اما آیا این تنها استفاده هست؟! دریافت سیگنال‌های مغزی به شکل wireless از طریق یک کلاه و تبدیل فکر به متن و بعدش هم که مشخصه: متن به AI برای انجام کار اما بازم میگم، تتها استفاده این موارد تبلیغی نخواهد بود. فکر کنید به روزی که کارمند ها مجبور به استفاده از این مورد بشن. همین اخیر هم خبر اومد که شرکت Meta در حال جمع‌آوری تمام اطلاعات مانیتورها، کلیک‌ها و تایپ و ... از کارمندان در آمریکا هست تا در یک سطح جدید مدل‌های هوش مصنوعی به هدف جایگزینی با انسان آموزش ببینن‌. پ.ن: این مدت بخاطر شرایط ایران کمتر فعال بودم. اما سعی میکنم بیشتر پست بذارم. اتفاقات و آپدیت ها زیاد بودن.

نوروز مبارک به امید روزهای بهتر برای ایران به امید آزادی❤️🖤

هم‌میهنانم، علی خامنه‌ای، ضحاک خونخوار زمان، قاتل ده‌ها هزار تن از شجاع‌ترین فرزندان ایران از صفحه روزگار محو شد. با مرگ او، جمهوری اسلامی نیز در عمل به پایان خود رسیده است و به‌زودی زود به زباله‌دان تاریخ خواهد پیوست. هر تلاشی از سوی بقایای رژیم برای تعیین جانشین خامنه‌ای، از پیش شکست‌خورده است. هر که را به جای او بنشانند، نه مشروعیت خواهد داشت، نه بقا؛ و بی‌تردید شریک جنایات این رژیم نیز خواهد بود. به نیروهای نظامی، انتظامی، و امنیتی: هرگونه تلاش برای حفظ رژیمی در حال سقوط، محکوم به شکست است. فرصت آخر شماست تا به ملت بپیوندید؛ به گذار باثبات ایران به آینده‌ای آزاد و آباد کمک کنید؛ و در ساختن آن آینده سهیم باشید. مرگ خامنه‌ای جنایتکار، اگرچه دادِ خون‌های ریخته‌شده را باز نمی‌گرداند، اما می‌تواند مرهمی باشد بر دل‌های سوخته خانواده‌های دادخواه؛ پدران و مادران، همسران و فرزندان داغدار؛ و خانواده‌های جان‌فدایان انقلاب ملی شیروخورشید ایران. ملت شریف و شجاع ایران، این اگرچه آغاز جشن بزرگ ملی ماست؛ اما پایان راه نیست. هوشیار و آماده باشید. زمان حضور گسترده و تعیین‌کننده در خیابان‌ها بسیار نزدیک است. ما با هم، متحد و استوار، پیروزی نهایی را رقم خواهیم زد، و آزادی ایران را در سراسر میهن اهورایی‌مان جشن خواهیم گرفت. پاینده ایران، رضا پهلوی @OfficialRezaPahlavi

خون‌های ریخته شده جنایت‌ کاران رو غرق خواهد کرد. زمستان ۱۴۰۴ و خصوصا ۱۸ و ۱۹ دی، به عنوان بزرگترین نماد اتحاد، آزادی و شجاعت در تاریخ ایران جاودان خواهد شد.

دوستانی که به دنبال موقعیت PhD فول فاند در زمینه Distributed Systems و ML هستن، این موقعیت عالی رو اقدام کنید: 🎓 𝐄𝐱𝐜𝐢𝐭𝐢𝐧𝐠 𝐏𝐡𝐃 𝐎𝐩𝐩𝐨𝐫𝐭𝐮𝐧𝐢𝐭𝐲 𝐢𝐧 𝐃𝐢𝐬𝐭𝐫𝐢𝐛𝐮𝐭𝐞𝐝 𝐒𝐲𝐬𝐭𝐞𝐦𝐬, 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 𝐟𝐨𝐫 𝐌𝐋, 𝐚𝐧𝐝 𝐌𝐋 𝐟𝐨𝐫 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 𝐚𝐭 𝐌𝐨𝐧𝐚𝐬𝐡 𝐔𝐧𝐢𝐯𝐞𝐫𝐬𝐢𝐭𝐲! 🎓⁣⁣ ⁣⁣ 𝐟𝐮𝐥𝐥𝐲 𝐟𝐮𝐧𝐝𝐞𝐝 𝐏𝐡𝐃 𝐩𝐨𝐬𝐢𝐭𝐢𝐨𝐧 (2026) is available in the Faculty of Information Technology at 𝐌𝐨𝐧𝐚𝐬𝐡 𝐔𝐧𝐢𝐯𝐞𝐫𝐬𝐢𝐭𝐲!⁣ More information

روح کشته شدگان شجاع وطنم که در راه آزادی و با دست خالی برای ایرانی بهتر سینه سپر کردند و جان دادن شاد و آرزوی صبر برای بازماندگان. ظلم پایدار نخواهد بود خونشون پایمال نخواهد شد

کنفرانس NeurIPS 2025 یک بخش ویژه فایننس داره که میتونید ببینید: NeurIPS 2025 Workshop on Generative AI in Finance اولین سخنرانی که معرفی شده آقای Rama Cont استاد ریاضی فایننس و هوش مصنوعی فایننس از دانشگاه Oxford هست. نکته مهم اینکه ایشون ایرانی هستن و اتفاقا بسیار عرق ملی دارن. من از طریقی ایشون رو میشناسم و شاید فرصت شد یکبار در کانال بیان صحبت کنیم.

دوستانی که ملبورن (استرالیا) هستن، خوشحال میشم در تماس باشیم: https://www.linkedin.com/in/mohammad-talaei-mt/