Deep Time

در این پست مثلا درباره اهمیت زبان Rust در کنار پایتون در توسعه و سرعت LLM‌ها صحبت شده که میشه برای آینده سرمایه‌گذاری کرد و یاد گرفت. این مدل Moshi کلا توسط یک تیم ۸ نفره مهندس فرانسوی (یان لکن و فرانس شوله هم فرانسوی هستن) در ۴ ماه بالا اومده و شبیه GPT 4o کار میکنه اما Open-Source. به همین مطلب اضافه کنم که یک نفر اومده و یک سیستم micrograd و اینفرنس GPT-2 رو کامل با Rust پیاده کرده. Link کلا هم بحث مشتق‌پذیر کردن ماتریس و اعداد هست که Pytorch هم دقیقا کارش همین هست و در این باره این پست هم از همین فرد جالبه که میاد سعی میکنه این فرآیند‌های Pytorch رو از اول بنویسه که بعدش تونسته روی Rust پیاده کنه.

برای ارتقا سطح خودتون در هوش مصنوعی و نرم‌افزار پیشنهاد میکنم حتما کانال‌های دوست خوبم محمد عباسی رو دنبال کنید. کانال Pyhints برای مباحث پایتون پیشرفته بسیار مفید هست. از اول شروع کنید مباحثش رو ببینید و کتابخوانی Fluent Python هم حتما دنبال کنید (لایو و یوتوب). کانال هوش مصنوعی هم بسیار مفید هست برای مباحث روز و تکنینک‌های مهندسی در LLM‌ها و ... .

از ابتدا انگلیسی نوشته شد و عوضش نکردم. سه مورد اول بیشترین اهمیت رو در روند توسعه یک مدل Machine Learning دارن. رایج ترین اشتباهات هم مربوط به انتخاب اولین مدل هست. در واقع مدل اول باید یک مدل ساده و مورد پذیرش در اون حوزه باشه و با مشاهده underfitting به مرور پیچیدگی اضافه میشه: مدل‌های دقیق‌تر یا پارامترهایی که پیچیدگی اضافه میکنن. مثلا اضافه کردن لایه در شبکه عصبی یا max_depth در tree-based models مورد اول هم حتما به کارتون اضافه کنید. یادگیری mlflow یا wandb واقعا سادس اما مزیت بالایی برای سیستمی که میسازید داره./

In theory, the gap between train and test sets' error can not be less than what is called Bayes error, which is sometimes equivalent to human-level intelligence/error in fields where human natural perception is high (such as NLP and Vision). However, in Time Series, it is difficult to predict how far we can minimize this gap. The following steps are what I suggest and they are all basically about using model's bias & variance in each experiment and then use some techniques to improve the model: 0. Use an experiment tracking tool: Start by organizing all your experiments using MLOps tools such as WandB and MLflow that let you log metadata (such as cross-validation results) and save models as artifacts. I prefer Weights&Biases which lets you do multiple experiments using Sweep and Grid Search or Bayesian Optimization to maximize a defined metric on your cross-validation for HPO. Note: Do not waste your time by overly tuning the models' parameters when doing HPO. It is wise to work on data centric approaches instead 1. Start with simple models: Avoid starting with irrelevant or overly complicated models. Begin with simple models and monitor their bias and variance. If you observe underfitting, you might want to use models that can capture non-linear relationships and work well with tabular time series data, such as Random Forest and XGBoost. Avoid jumping directly to complicated RNN models like LSTM, which were initially developed for NLP applications and have not performed well in time series competitions. 2. Address overfitting: Once you solve the underfitting problem, you may reach a model that can learn non-linear relationships in the training data. At this point, your model might exhibit high variance and overfitting on the training data. There are several ways to mitigate overfitting: Add more training data or use data augmentation techniques. For example, a 2017 Kaggle winning solution for tabular data augmentation and representation learning used DAE. Regularization techniques: Apply L1 and L2 regularization (known as reg_lambda and reg_alpha in XGBoost) to penalize large weights and coefficients. Early stopping, Dropout, and Reduce Learning Rate on Plateau are other techniques commonly used for neural networks. 3. Use ensemble methods: Combine multiple models using techniques like soft voting. 4. Blending & stacking: Implement blending and stacking techniques to leverage the strengths of different models. 5. Advanced time series representations: Explore advanced methods such as signature kernels and wavelets to create better features and representations of your data. 6. Advanced tabular ML models: Look into new models like GRANDE, which combines the advantages of tree-based models and neural networks. Note that if you want to use models such as RF, XGB or GRANDE for time series problems you should do some shape transform first. 7. Improved time-series CV: You can use more advanced time-series Cross-Validation techniques like Embargo & Purge which usually used in quantitative finance. @deeptimeai

یک نفر در Stackoverflow سوال کرده بود "چطور میشه گپ بین دقت داده train و test رو در مدل‌های Machine Learning حل کرد"؟ سوال برای یک مسئله سری زمانی بود. اول با خودم گفتم آقا خسته نباشی ملت صبح و شب در تلاش برای همین کار هستن تا هوش مصنوعی بهتر یاد بگیره. اما خوب تصمیم گرفتم به سوالش جواب بدم و حتی vote منفی سوالش رو که بقیه داده بودن خنثی کردم. روند توسعه مدل Machine Learning خیلی اوقات خوب انجام نمیشه و موارد پایه‌ای دیتاساینس و ماشین لرن رعایت نمیشه. مواردی مثل مانیتور کردن bias variance، شروع با مدل ساده و ارتقا با توجه به بایاس واریانس، experiment tracking و MLOps , بعضی روش‌های Advanced رو در 8 مورد نوشتم. پ.ن: تمامی LLM ها و چت جی پی تی از منابعی مثل Stackoverflow کار و ریزه کاری کدزنی رو یاد گرفتن و باهوش شدن. پس مشارکت در Stackoverflow فراموش نشه. آپدیت: یک مشارکت کننده رده بالا اومد گفت آقا چرا همچین سوالی رو جواب دادی و این سوال افزایش پرفورمنس در model dev هست نه سوال برنامه نویسی و اینجا off topic محسوب میشه. منم گفتم آره طرف باید این سوال رو در کامیونیتی مثل Cross Validated میپرسید (از زیرمجموعه های stackexchange هست اگر ندیدین حتما سر بزنید). اما طرف خوشش نیومد در کل و یک رای منفی هم داد و رفت! اما قصد نوشتن اون مطلب بود که اینجا میارم کاملش رو @deeptimeai

احتمال اینکه ۴ عدد همزمان ضریبی از ۳ باشن چند درصد است؟ به عنوان نمونه اعداد رأی‌ نهایی رو در نظر بگیرید. عدد ۱: ۱۰.۴۱۵.۹۹۱ عدد ۲: ۹.۴۷۳.۲۹۸ عدد ۳: ۳.۳۸۳.۳۴۰ عدد ۴: ۲۰۶.۳۹۷ جواب با آمار دبیرستان: (1/3)^4 = 0.012 ~ 1.2% دنیای ریاضیات جای سوتی دادن نیس پ.ن: این رابطه رو من کشف نکردم، بعضی توییت‌ها و خبرگزاری‌ها اعلام کردن. من صرفا چک کردم و احتمال رو حساب کردم

#موقت در سکانسی از فیلم "پول رو بردار و فرار کن" از اولین ساخته‌های وودی آلن، دو دسته سارق مسلح بدون هماهنگی باهم و از روی اتفاق با فاصله زمانی وارد بانکی می‌شوند. هر کدام از این دو گروه سارق حق خود می‌دانند که بانک و مشتریان را غارت کنند. در نهایت مجبور می‌شوند که این مشکل را به رای عمومی بگذارند و گروگان‌ها خودشان انتخاب کنند که کدام گروه از سارقان آن‌ها را چپاول کنند.

از قبل قرار بود درباره عوامل رشد و یادگیری مطلبی بنویسم. البته این زمینه پست‌هارو من در بهترین حالت از منابع معتبر گردآوری و به سبک خودم بازگو میکنم چرا که در حیطه تخصصی من نیست. مشخصا وقتی دسترسی به دانش و منابع یادگیری تقریبا برای همه فراهم است، رقابت اساسی بر روی نحوه یادگیری و رشد ایجاد می‌شود. البته شدیدا معتقدم قبل از این موارد، باید مسائل مربوط به تمرکز و اهمال‌کاری رو حل کرد. اولین ابزار در واقع ذهنیتی هست به نام Just Do It Mentality که حرفش سادست: از گود ناآگاهی در مفاهیم یا حوزه‌ها نترسید و وارد گود شوید. استعداها و علایق (حتی نیمه گمشده!) ذاتی نیستند و ساخته می‌شوند. جرئت کن و به عمق برو. اثری به نام Matthew Effect در رشد سریع و تغییر لیگ شما تاثیر دارد: افراد وقتی فکر کنند در چیزی داناتر هستند و جلوتر هستند، انگیزه می‌گیرند، پس باز هم جلوتر می‌روند و دانا و داناتر می‌شوند. برای همین فرضا اگر دانشجویی در زبان انگلیسی قوی باشد، این یک Matthew Effect برای او ایجاد میکند. شما باید به این سوال جواب بدید که چه موردی میتونه براتون این اثر رو ایجاد کنه یا قبلا چه مواردی این تاثیر رو گذاشتن. مورد بعدی بسیار جالب است: Being Bored. خسته شدن چیز خوبی است به شرطی که تفسیر ما از این موضوع درست باشد. چرا که اصولا خسته شدن، نامیدی و افسردگی در واقع مکانیزم‌های بقایی برای تغییر و کشف راه‌های جدید است. حتی حیوانات گاها این احساسات را تجربه می‌کنند تا از راه جدیدی به دنبال غذا و شکار بروند. باقی موارد مثل اثر محیط و Deliberative Practice در پست‌ بعد بحث میشن. @deeptimeai

دیروز متوجه شدم یک کارگاه حضوری در دانشگاه تهران در موضوع Advanced Algorithmic Trading توسط دکتر علی حبیب‌نیا تیرماه برگزار میشه ولی با توجه به اینکه دوره رایگان نیست من مستقیم لینک قرار نمیدم اما میتونین در سایت evand پیدا کنید.

آقای دکتر حبیب‌نیا که با ایشون دو بار در کانال صحبت کردیم و ضبط شد شنبه در دانشکده اقتصاد دانشگاه تهران سخنرانی دارن. اطلاعات: 🔻Modeling Systemic Risk: A Time-Varying and Nonparametric Causal Inference Framework 👤 ارائه کننده: دکتر علی حبیب نیا - دکتری اقتصاد از دانشگاه LSE - استاد دانشگاه ویرجینیاتک امریکا 💻نحوه برگزاری: حضوری و آنلاین 🗓  شنبه ۱۹ خرداد ۱۴۰۳ 🕒  ساعت ۱۳ الی ۱۵ 📌دانشکده اقتصاد دانشگاه تهران اطلاعات بیشتر و ثبت نام👇 https://evand.com/events/msrisk 🆔 @ider1960 📱 تلگرام | اینستاگرام| لینکدین| @deeptimeai