فینپای | FinPy

موفق ترین مدل های ماشین لرنینگ برای حل مسائل مالی ▫️بخش بزرگی از مسائل دنیای فایننس مبتنی بر داده های جدولی (Structured/Tabular) مثل داده هایی که در یک دیتافریم ذخیره میشن، هستند. بخش دیگری از مسائل هم مبتنی بر آلترناتیو دیتا، مثل متن و تصویر که داده های بدون ساختار (Unstructured) نامیده میشن. اگر مساله با داده های جدولی شما، یه مساله Supervised باشه، بهترین مدل برای حل اش GBDTها هستند. XGBoost، LightGBM و CatBoost نمونه هایی از GBDT هستند که در مواجهه با داده های جدولی، سایر مدلها از جمله مدلهای دیپ لرنینگ، حرفی برای گفتن در مقابل شون ندارن. توجه داشته باشید که برای داده های بدون ساختار مثل متن و تصویر، دیپ لرنینگ انتخاب بهتری هست. بنابراین اگر مسائل پیش روی شما با داده های جدولی سر و کار داره، سراغ دیپ لرنینگ نرید و مساله رو با GBDT یا مدلهای Bagging مثل Random Forest حل کنید. GBDT = Gradient Boosting Decision Tree @FinPy

الگوریتمهای LTR در فایننس ▫️وقتی تو گوگل چیزی رو سرچ میکنیم، نتایج بر اساس میزان مربوط بودن (relevance) به عبارت سرچ ما، رنک و بهمون نمایش داده میشن. الگوریتمهایی که پشت موتورهای جستجو این کار رو انجام میدن Learning to Rank یا LTR نام دارند. حالا فرض کنید چیزی که میخواییم سرچ کنیم که بهش کوئری میگن، این باشه: "پر بازده ترین سهم ها در یک ماه آینده کدامها خواهند بود؟" برای این کوئری میشه یه الگوریتم LTR رو ترین کرد تا بر اساس چیزی که یاد گرفته بیاد و پربازده ترین سهم ها در یک ماه آینده رو برای ما به ترتیب سورت کنه و مثلا یه پرتفو بر اساس سهمهای با رنک بالا تشکیل بدیم. توجه داشته باشید که این الگوریتم ترتیب بازدهی رو پیش بینی میکنن نه مقدار بازدهی! البته که مثل هر الگوریتم دیگه ای فیچرهایی که LTR ازش یاد میگیره اهمیت زیادی دارند و بدون فیچرهای به اصطلاح predictive این الگوریتم هم نمیتونه کاری از پیش ببره چون garbage-in منجر به garbage-out میشه! اگر این دسته از الگوریتمهای ماشین لرنینگ براتون جذاب هست، این مقاله از ژورنال Financial Data Science رو مطالعه کنید. #LTR @FinPy

#تقلب_در_بازارهای_مالی ▫️تقلب در بازارهای مالی یک پدیده چندوجهی است که با ورود فناوری به عرصه مالی، ابعاد جدیدی به خود گرفته است. کتاب "Solving Modern Crime in Financial Markets" به تحلیل این ابعاد جدید تقلب و جنایات مالی می‌پردازد. نویسنده، با ارائه مطالعات موردی از جمله پرونده‌های تقلب LIBOR و Forex، به همراه انتقال نظریه‌های کمی و روش‌های آماری، به خواننده‌ها فرصت می‌دهد تا به شناخت بهتری از این تهدیدات پیچیده در بازارهای مالی دست یابند. این کتاب به دلیل ترکیب منحصر به فرد تحقیقات نظری و مطالعات موردی، یک دیدگاه جدیدی از ابعاد نظری و عملی جرم مالی را ارائه می‌دهد. @FinPy

#سواد_داده ▫️ "سواد داده" به توانایی درک، مشارکت، تحلیل و استدلال حجم عظیم داده‌ها، اشاره دارد. اهمیت یادگیری این مهارت به شدت برای کسب‌وکارها، نیروی کار و جامعه در حال افزایش است. ▫️ سواد داده امکان تفکر انتقادی، پرسش‌های صحیح، و بهترین تفسیر اعداد و آمارهایی که روزانه در زمینه‌های مختلف به ما ارائه می‌شوند را فراهم می‌کند. اما اهمیت آن فراتر از توانمندی‌های فردی می‌رسد و برای کسب‌وکارها به‌طور حیاتی مهم شده است. ▫️کتاب Data Literacy in Practice برای تحلیلگران داده، متخصصان داده، و تیم‌های تحلیل داده که در حال شروع به سفر سواد داده خود هستند یا می‌خواهند این سفر را شتاب بخشند، مناسب است و به شما کمک می کند مهارت‌ها و دیدگاه‌هایی که برای کار با داده نیاز دارید را کشف کنید. @FinPy

#سواد_مالی ▫️سواد مالی به عنوان یک ضرورت جهانی در دو حوزه تصمیم های شخصی و آموزش بسیار حیاتی تلقی می‌شود. از یک سو، در حوزه تصمیم‌گیری‌های شخصی، افراد با سواد مالی قادرند تصمیمات مالی خود را با دقت بیشتری بگیرند و راهبردهای بهتری برای مدیریت منابع خود پیدا کنند. از طرف دیگر، در حوزه آموزش، اهمیت سواد مالی در این است که این مهارت به دانش‌آموزان این امکان را می‌دهد تا با مسائل واقعی زندگی مالی خود در آینده به بهترین شکل ممکن برخورد کنند. ▫️همچنین، در حوزه نظام مالی و اقتصاد ملی، سواد مالی به عنوان یک عامل کلیدی در تقویت اقتصاد و جامعه و درک بهتری از ریسک‌ها و فرصت‌های مالی عمل می‌کند. بانک‌های مرکزی و نهادهای مالی ملی نیز در ترویج سواد مالی نقش بسیار مهمی ایفا می‌کنند. ▫️کتاب (International Handbook of Financial Literacy ) یک منبع جامع است که به بررسی گسترده و عمیق مسائل مرتبط با سواد مالی در سطح جهان می‌پردازد. نویسندگان این کتاب از محققان و متخصصان برجسته در زمینه سواد مالی اند و مفاهیم، رویکردها، و پژوهش‌های جدید در زمینه سواد مالی را ارائه دهند. @FinPy

#گوگل_بارد #تایپ_فرمول ▫️یکی از جنبه‌های زمان‌بر در نگارش مقالات و کارهای علمی، تایپ فرمول‌های بزرگ و پیچیده است که ممکن است برای پژوهشگران وقت زیادی را به خود اختصاص دهد. با استفاده از سرویس بارد می توانید به راحتی تصویر فرمول را آپلود کرده و به فرمول متنی تبدیل کنید. این سرویس همچنین امکانات دیگری از قبیل نوشتن کد و انجام جستجو را نیز داراست. می توانید از رباتش (@Googela_bard_bot) هم استفاده کنید. توی این ویدئو میتونید تفاوت اون رو با chatgpt ببینید. ▫️البته نرم افزار Mathpix نیز همین کار تایپ فرمول رو برای شما انجام میدهد. @FinPy

#بکتست قسمت سوم - بایاس Look-Ahead در بکتست ▫️این بایاس به دلیل استفاده از اطلاعاتی که در زمان انجام بک تست منتشر نشدن، به وجود میاد. مثلا در شکل، صورت های مالی فصلی "خودرو" رو میبینید که تقریبا با تاخیر ۱ ماه منتشر شدن، حالا اگه بیاییم و مثلا اطلاعات موجود در صورت مالی منتهی به ۱۴۰۱/۳/۳۱ رو از همون روز وارد بک تست کنیم، نتایج مخدوشه، چون این اطلاعات در اون تاریخ در دسترس نبودن! نوع ظریف تر این بایاس هم زمانی رخ میده که شرکت ها میان اصلاحیه میزنن و اطلاعاتی که قبلا منتشر کردن رو تغییر میدن که بهش میگن Restatement Bias و ما فقط از اطلاعات اصلاح شده استفاده میکنیم. ▫️ برای اینکه بکتست دچار این بایاس نشه باید اطلاعات رو زمانی وارد پروسه بک تست کنیم که منتشر شدن. بنابراین لازمه دیتابیس ما شامل تاریخ انتشار و اصلاحیه های مربوط به اطلاعات مورد استفاده هم باشه. در صورت عدم دسترسی به تاریخ انتشار، باید این داده ها رو با تاخیر وارد بکتست کنیم. مثلا در آمریکا داده های فصلی به طور میانگین با ۳۰ روز تاخیر منتشر میشن ولی باید بیشترین تاخیر که حدود ۹۰ روز هست رو برای همه شرکتها اعمال کنیم. @FinPy

#گیت مدیریت و پیگیری تغییرات با گیت ▫️گیت (Git) یه سیستم کنترل نسخه برای مدیریت و پیگیری تغییرات (Version Control) هست که در پروژه های نرم افزاری و کدنویسی مورد استفاده قرار میگیره. با استفاده از گیت میتونیم تغییراتی که در کدهامون در گذر زمان ایجاد میکنیم رو ثبت کرده و هر جا لازم باشه به نسخه های قبلی کدمون برگردیم. گیت همچنین همکاری چند نفره در یک پروژه رو تسهیل میکنه و این اجازه رو میده که مشارکت کنندگان در پروژه، کدهاشون رو در یک مخزن مشترک که مثلا میتونه توسط گیتهاب میزبانی بشه رو ذخیره و برای سایر اعضای تیم قابل دسترس کنه. با استفاده از گیت میشه برنچ های جدیدی برای توسعه ویژگی های جدید یا رفع باگ ایجاد کرده و پس از نهایی شدن، به برنچ اصلی مرج کرد. ▫️اگه با گیت آشنا نیستید، یه مجموعه آموزش مختصر و بسیار مفید توسط آقای علیرضا آقامحمدی تهیه شده که در یوتیوب قابل دسترسی هست. مفاهیم از نصب تا اتصال ریپو به گیتهاب و دستورات پرکاربرد گیت در این آموزش به خوبی پوشش داده شده. در صورت آشنایی هم این ویدیو که توسط Hudson and Tames تهیه شده رو برای Best Practices ببینید. @FinPy

#کاربردهای_مالی_ماشین_لرنینگ آیا ماشین لرنینگ قادر به پیش بینی قوی سیاه است؟ ▫️قوی سیاه به پدیده های با احتمال وقوع ناچیز و تبعات شدید گفته میشه که در گذشته مشابه اش رخ نداده، مثل فلش کرش. با توجه به اینکه مدل های ماشین لرنینگ با یادگیری از گذشته سعی در پیش بینی آینده دارن، چطور ممکنه بتونن پدیده ای که تاکنون رخ نداده رو، پیش بینی کنن؟! پاسخ اینه که "قوی سیاه توسط تئوری ها قابل پیش بینی هست و نه الگوریتمها، ماشین لرنینگ میتونه برای کشف تئوری هایی که میتونه قوی سیاه رو پیش بینی کنه، راهگشا باشه". در مورد فلش کرش، الگوریتم مورد بحث در ویدیو، وجود سفارشات فروش بزرگی که مارکت میکرها نمیتونستن هندلش کنن و در نتیجه با فعال کردن حد ضرر مارکت میکر، اونها رو از بازار خارج کرده رو تشخیص و با توجه به ریسک های بازار بدون مارکت میکر فعال، حتی در مقطع زمانی کوتاه، تصمیم به بستن پوزیشن ها گرفته. جزئیات بیشتر در مقاله زیر: The Microstructure of the Flash Crash: Flow Toxicity, Liquidity Crashes, and the Probability of Informed Trading @FinPy

#معرفی_کتاب ▫️این کتاب قطعا یکی از بهترین منابع برای یادگیری اصولی و کاربردی ماشین لرنینگ همراه با مفاهیم ریاضی الگوریتم های مربوطه هست که کدهای نسخه های قبلی اش با R بود. اما در این نسخه کدها با پایتون هستند و با صرف زمان و تلاش کمتری میشه مسیر یادگیری رو طی کرد. اسلایدهای مربوط به فصل های کتاب از اینجا قابل دانلود بوده و نوتبوک های پایتون اش هم در گیتهاب در دسترس هستند. نسخه R و پایتون کتاب هر دو رایگان بوده و از سایت کتاب قابل دانلود هست. برای سهولت مراجعه، نسخه پایتون رو از لینک زیر هم میتونید دانلود کنید. An Introduction to Statistical Learning with Applications in Python @FinPy

#کریپتو چرا بازار رمزارزها از رونق افتاده؟ ▫️داده های ماه جاری The Block، نشان دهنده افت بی سابقه حجم معاملات کریپتو به کمترین مقدار خود از اکتبر ۲۰۲۰ هست. عوامل موثر بر این رکود در بازار کریپتو که در حال تشدید شدن هم هستند، عبارتند از: ۱. خروج مارکت میکرهای (Market Maker) بزرگ و اختلال در تامین نقدینگی مورد نیاز بازار رمزارزها. ۲. فروپاشی بانک های Silvergate و Signature که چرخانندگان دو زیرساخت مهم SigNet و SEN، برای انتقال بلادرنگ و کم هزینه دارایی های دیجیتال بودن. ۳. فروپاشی شدو بانکهای بزرگ (Shadow Bank) کریپتو که تامین نقدینگی برای هج فاندها و بازارسازهای فعال در این بازار رو دشوار کرده. ۴. افزایش حداقل مارجین مورد نیاز و کاهش حداکثر اهرم قابل استفاده برای بازارسازها و هج فاندهای فعال بازار. ۵. تصویب قوانین سخت گیرانه نظارتی در آمریکا که صرافی های بزرگ رو هدف گرفته. این عوامل که در مجموع پول رو از بازار کریپتو فراری داده، به راحتی قابل برطرف شدن یا خنثی شدن توسط عوامل دیگه نبوده و در نتیجه رونق گرفتن مجدد بازار کریپتو، حداقل با معلومات امروز امری دور از ذهن به نظر میرسه! @FinPy

#بکتست قسمت دوم - بایاس Survivorship در بک تست ▫️این بایاس به معنی استفاده از یونیورس فعلی سهم ها و در نظر نگرفتن سهم هایی که در گذر زمان به هر دلیلی از لیست سهم های قابل معامله حذف و در نتیجه سرمایه اختصاص یافته به اونها صفر یا بلا تکلیف شده (مثل آکنتور)، هست. ▫️در شکل یه نمونه از تاثیر چنین بایاسی در نتایج بک تست نشون داده شده. سهم هایی که در شاخص Russell 3000 بودن از کمی بیشتر از ۲۵۰۰ تا در اواخر سال ۱۹۸۶ به حدود ۵۰۰ تا در اواخر سال ۲۰۱۳ رسیده (شکل چپ) و اگر بک تست یه پرتفوی هم وزن با همه سهم های یونیورس بازماندگان (Survivor Universe) در سال ۲۰۱۳ انجام بشه، منحنی قرمز (شکل راست) به دست میاد در حالی که اگه بک تست روی همه سهم های فعال شاخص Russell 3000 در اواخر سال ۱۹۸۶ انجام میشد، منحنی آبی (شکل راست) که حدود ۳ برابر کمتر از یونیورس بازمانده ها بازدهی داده، به دست میومد. فاصله این نتایج در صورتی که از معیارهای خاصی برای انتخاب یونیورس استفاده کنید میتونه حتی خیلی بیشتر هم بشه! @FinPy

#گزارش گزارش هوش مصنوعی کگل ۲۰۲۳ ▫️از بخش های مختلف این گزارش که به بررسی ترندها و دیدگاه های بزرگان کگل در حوزه های مختلف ماشین لرنینگ پرداخته، بخش ۴ که در مورد داده های جدولی و سری های زمانیه، کاربردی ترین برای فایننسی هاست. اگرچه همه فایننس داده های جدولی نیست و اگر با داده های آلترناتیو کار میکنید، سایر بخش ها هم میتونه براتون مفید واقع بشه، اما زمان ویژه ای برای مطالعه و هضم نکات بخش ۴ و نوتبوک های مربوطه که لینک اش در گزارش گنجانده شده، بزارید. برای سهولت مراجعه به نوتبوکها، میتونید از لیست زیر هم استفاده کنید: - Learnings From the Typical Tabular Modelling Pipeline - AI Report - Time Series and Tabular Data - Tabular Data in the Age of AI ▫️فایل گزارش رو میتونید از اینجا دانلود کنید. قبلا هم کتاب The Kaggle Book رو اینجا معرفی کردیم. @FinPy