دیتاهاب

خب اخر سال میلادی هستش و داشتم به ترندهای ۲۰۲۵ نگاه می‌کردم یک چیز خیلی جالب به چشمم خورد: در کمتر از ۲ سال، هزینه انجام یک تسک مشابه با MMLU چندین برابر برابر کاهش پیدا کرده یعنی الان کارایی که سال پیش هزار دلار هزینه داشت، حالا با چند دلار انجام میشه یک مثال ملموس و بغل گوشمون: دو سال پیش میشد این حرف زد "نمی‌تونیم از GPT-4 استفاده کنیم، خیلی گرونه" الان ولی خیلی هزینه ها کمتر شده تحقیقات اخیر میگفتن که بهبود الگوریتمی سالانه حدود ۴۰۰٪ هست (به نظرم در این حد هم نیست البته) یعنی نتایج امروز رو می‌شه یک سال بعد با ربع compute بدست آورد (طبق همون تحقیقاتی که دیدم) خلاصه دیگه بهونه نداریم که AI گرونه راستی اگه قبلا پروژه‌ای داشتید که به دلیل گرون بودن API کنسلش کردین، دوباره امتحان کنید احتمالا الان ارزون‌تر شده😂😂😂

این سوال توی یک گروه تلگرامی دیدم: "ما می‌خوایم یک مدل custom بسازیم، چقدر هزینه داره؟" برام سوال شد: "چرا custom؟ مدل‌های آماده رو امتحان کردن؟" چی میخام بگم؟ حرف اینه که توی کشوری که قیمت جی پی یو سر به فلک کشیده و از هر نوع خدمت و سرویس خارجی به واسطه کاغذ پاره های تحریم، محروم هستیم چه اصراریه به تیون کردن مدل های سنگین قشنگ شبیه مسابقه شده، مدل من بزرگتره... یا من پول بیشتری خرج کردم...

در سال ۲۰۲۴، سازمان غذا و دارو آمریکا ۲۲۳ دستگاه پزشکی مبتنی بر AI رو تایید کرد، در حالی که ۲۰۱۵ فقط ۶ تا بودش و این یعنی AI واقعا داره وارد زندگی روزمره میشه آمارش خیلی عجیب بود و آدم حسابی به فکر فرو میبره که چقدر فرصت و ظرفیت پول در آوردن هست

یک چیز جالب امروز فهمیدم: مدل Claude یک ویژگی داره به اسم "Extended Thinking" یعنی چی؟ یعنی مدل قبل از جواب دادن، چند ثانیه فکر می‌کنه مثل وقتی که شما یک مسئله ریاضی دارید و قبل جواب دادن، روی کاغذ محاسبه می‌کنین و اینش برام جالبه که این مدل ها تا می تونن از هوش انسانی تقلید می کنن یعنی هر ویژگی مغزمون داره را دارن به هوش مصنوعی اضافه میکنن و شده منبع الهامشون (صحبتم شبیه کلاس دینی راهنمایی شد😂)

یکی از بچه ها می پرسید: "چرا مدلم overfitting میشه؟" نگاه کردم به کدش، ۵۰۰ تا سمپل داشت ۱۵ تا فیچر ساخته بود مدلش ۱۰ لایه داشت بهش گفتم مشتی، تو داری با تفنگ ژ3 به گنجشک شلیک می‌کنی! قاعده کوچولوی امروزمون: اگر دیتاست کوچیک داری، مدل ساده بساز اگر دیتاست بزرگ داری، مدل پیچیده ترین مدل سنگین و مصرف کلی GPU هنر نیست و جایزه نمیدن بابتش توی محیط صنعت اتفاقا گاهی با روش های ساده تر حل کردن، ترندتره اگه بخام نکته کنکوریش بگم: (علمی و وحی منزل نیست) کمتر از ۱۰۰۰ سمپل → Logistic Regression یا Decision Tree ۱۰۰۰ تا ۱۰۰۰۰ → Random Forest یا XGBoost بیشتر از ۱۰۰۰۰ → حالا می‌تونی سراغ Deep Learning بری پند نهایی☺️ همیشه از ساده شروع کنید بعد پیچیده‌ترش کنید، نه برعکس پ.ن: گاهی مشکلاتمون با یک مدل ساده حل میشه، نه GPT-5 😅

امروز یک چیز کاربردی برا‌تون دارم می‌خواید ببینید مدل زبانیتون چقدر دقیقه؟ این متریک رو حتما اندازه بگیرید: معیار Perplexity Perplexity = میزان سردرگمی مدل عدد کمتر = مدل مطمئن‌تر کد ساده با پایتون:

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

model = GPT2LMHeadModel.from_pretrained('gpt2')
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

text = "Your text here"
inputs = tokenizer(text, return_tensors='pt')
with torch.no_grad():
    outputs = model(**inputs, labels=inputs['input_ids'])
    loss = outputs.loss
    perplexity = torch.exp(loss)

print(f"Perplexity: {perplexity.item()}")

عدد زیر ۲۰؟ مدلتون خوبه عدد بالای ۵۰؟ یک جایی مشکل داره درسته که این یک معیار سادست ولی خیلی کمک می‌کنه بفهمید مدلتون چقدر روی داده‌تون خوب کار می‌کنه، البته معیارهای مکمل هم باید در نظر بگیرین

امروز می‌خوام یک مفهوم رو ساده کنم که خیلی‌ها ازش می‌ترسن: Mixture of Experts (MoE) بذارید با یک مثال توضیح بدم: فرض کنید یک رستوران دارید به جای اینکه یک آشپز همه غذاها رو بپزه ۱۰ تا آشپز دارید، هرکدوم متخصص یک نوع غذا وقتی سفارش می‌گیرید، فقط آشپز مربوطه کار می‌کنه نتیجه: سریع‌تر، بهتر، کارآمدتر تکنیک MoE دقیقا همینه: به جای یک مدل بزرگ، چندتا مدل کوچیک (experts) و یک router تکه صمیم می‌گیره کدوم expert باید کار کنه مثال واقعی: Mixtral 8x7B ۸ تا expert داره، ولی فقط ۲ تا برای هر input فعال میشن نتیجه: سرعت بالا، مصرف واحد پردازشی کمتر چرا مهمه؟ کم‌مصرف‌تر، سریع‌تر، مقیاس‌پذیرتر اگر می‌خواید با MoE کار کنید: مدل Mixtral رو از Hugging Face امتحان کنید لینک: https://huggingface.co/mistralai/Mixtral-8x7B-v0.1

یک چیز عجیب دیدم توی LinkedIn: یک نفر نوشته بود: "من 15تا مدل machine learning train کردم" ولی هیچ کدوم deploy نکرده بود رفقا، مدل train کردن ۲۰٪ کاره دیپلوی کردن و نگهداری کردنش ۸۰٪ کاره یک مدل که روی Jupyter Notebook کار می‌کنه، هنوز آماده محیط واقعی نیست چیزایی که باید یاد بگیرید: ۱. Docker → از مدلتون کانتینر بسازید. ۲. FastAPI → یک ای پی آی ساده بسازید ۳. AWS/GCP → یاد بگیرید چطور دیپلوی کنید یک پروژه عملی: یک مدل ساده‌ بسازید، با FastAPI براش API بنویسید، با Docker یک کانتینر ازش بسازید، روی Heroku یا Railway اونو deploy کنید این یک پروژه، ارزش ۱۰ تا notebook توی GitHub داره برای شروع: FastAPI: https://fastapi.tiangolo.com Railway: https://railway.app

یک پند به دوستان جونیور: دیروز یک نفر پرسید: "چطور می‌تونم سریع‌تر کد بزنم؟" جوابم این بود: "کپی‌پیست کردن سریع نیست، تکرار کردنه" توضیح می‌دم: وقتی از ChatGPT یا Copilot استفاده می‌کنید، کد رو کپی نکنید بخونید، بفهمید، خودتون دوباره بنویسید چرا؟ چون مغز شما باید الگوها رو یاد بگیره کپی‌پیست = حافظه کوتاه‌مدت تایپ کردن = حافظه بلندمدت یک تمرین ساده: ۱. کد AI رو بخونید ۲. پنجره رو ببندید ۳. خودتون از حفظ بنویسید ۴. مقایسه کنید قطعا اول کاری سخته، ولی بعد از ۱۰ بار، دیگه نیاز به AI ندارید این فرق یک junior که copy-paste می‌کنه با یک mid-level که واقعا بلده

یک اشتباه رایج که تازه متوجه شدم: خیلی‌ها فکر می‌کنن fine-tuning همیشه جوابه نه دوستان، خیلی وقت‌ها RAG بهتره بذارید ساده بگم: Fine-tuning = آموزش دوباره مدل زمان‌بر، پرهزینه، نیاز به GPU قوی وقتی داده‌تون تغییر کنه، باید دوباره تیون کنید RAG = دادن اطلاعات در لحظه به مدل سریع، ارزون، فقط یک vector database لازمه داده تغییر کرد؟ فقط دیتابیس رو آپدیت کنید قاعده ساده: داده‌تون ثابته و می‌خواید سبک نوشتار تغییر کنه؟ → Fine-tune داده‌تون مدام عوض میشه و می‌خواید مدل بهش دسترسی داشته باشه؟ → RAG برای شروع یادگیری RAG LangChain + ChromaDB + OpenAI API یک آخر هفته کافیه برای یادگیریش

داشتم با Claude Sonnet 4.5 کار می‌کردم یهو متوجه شدم این مدل توی reasoning واقعا فرق کرده یک مسئله پیچیده کدنویسی بهش دادم که GPT-4 گیر کرده بود نه تنها جواب داد، بلکه مراحل فکریش رو هم توضیح داد این نسل جدید مدل‌ها دارن یک چیز یاد می‌گیرن: فکر کردن دیگه فقط pattern matching نیست، دارن می‌فهمن چرا یک راه حل کار می‌کنه برای کسایی که می‌خوان کد بزنن: مدل Claude رو امتحان کنید با پرامپت‌های طولانی‌تر بهش بگید "قبل از جواب، مراحل فکریت رو بنویس" تفاوت رو حس می‌کنید. پ.ن: نه، این پست اسپانسر نیست😂 واقعا تجربه خودمه

یه خبری می خوندم که: Meta داره Threads رو به یه پلتفرم برنامه‌نویسی تبدیل می‌کنه! منظورم اینه که الان می‌تونی مستقیم توی Threads کد بنویسی و اجرا کنی مثل Jupyter Notebook ولی توی یه شبکه اجتماعی! هنوزم مطمئن نیستم و حدس میزنم ممکنه خبر فیک باشه ولی اگه بهش فکر کنیم چقدر جالب میشه: کدت رو می‌نویسی، بقیه لایک می‌کنن، کامنت می‌زارن، suggest می‌دن یه جور GitHub + Twitter = Threads و اگه موفق بشه، LinkedIn خیلی ناراحت می‌شه 😄 فکر کن بتونی portfolio کدت رو مثل پست اینستاگرام share کنی

راستی یکی دو تا کار تحقیقاتی جدید شروع کردیم با موضوعات هوش مصنوعی در پزشکی و مدل های زبانی از دوستان کسی علاقه داشت چه توی بخش پیاده سازی چه نگارش مشارکت داشته باشه و اسمش درج بشه رزومه خودش به این اکانت بفرسته (حداکثر تا 2 هفته آینده- چون تیم به وزدی بسته میشه و کار سریعا شروع خواهد شد) @data_hub

فک کنم نزدیک به دو ساله پیام چاپ مقاله نزاشته بودم😢 ولی خب الان میگم که مقاله جدیدمون اکسپت شد😎 به زودی پابلیش میشه و DOIاش میزارم از خانم زارعی هم تشکر می کنم این دومین کار مشترکمون شد فعلا لینک آرکایو داشته باشید☺️ https://arxiv.org/abs/2311.13925

یکی از دوستام گفت: «من از AI هیچی استفاده نمی‌کنم، ترجیح میدم خودم کار کنم» گفتم باشه، بیا یه تست کنیم بهش گفتم یه ایمیل رسمی به انگلیسی بنویس برای درخواست مرخصی ۲۰ دقیقه نشست، ۳ بار نوشت و پاک کرد آخرش یه متن ۴ خطی نوشت که گرامرش هم مشکل داشت من همون متن رو ۳۰ ثانیه تو Claude دادم: «این متن فارسی رو به انگلیسی ترجمه کن، لحن رسمی و مؤدب باشه» یه ایمیل حرفه‌ای ۱۰ خطی برگردوند دوستم گفت: «خب این که تقلبه!» گفتم نه، این هوشمندیه😎 مثل اینکه بگی استفاده از ماشین حساب توی ریاضی تقلبه کار AI اینه که کارهای تکراری رو برامون انجام بده تا وقت بیشتری برای فکر کردن و خلاقیت داشته باشیم نه اینکه جایگزین مغزمون بشه پ.ن: ولی ته ذهنم اینه که هوش مصنوعی مارا تنبل بار میارن و خلاقیتمون کم می کنن😄☺️

یک تیم می شناسم که 6 ماهه دنبال ML engineer می‌گرده و پیدا نمی کنه گفتم: "چه شرایطی می‌خواید؟" لیست شرایط: PhD در AI/ML 5+ سال تجربه مسلط به PyTorch, Hugging Face تجربه MLOps و Kubernetes تجربه fine-tuning مدل‌های بزرگ گفتم: "حقوق چقدر؟" گفت: "22 میلیون تومان" گفتم این حقوق برای یک junior developer خوبه! کسی که این رزومه رو داره، حداقل 50 میلیون می‌ارزه یا بره شرکت‌های بین‌المللی کار کنه بازار کار خیلی غیرواقعی شده انتظارات بالا، پول کم پ.ن: خیلی وقت بود پست ناله محور نزاشته بودم😃

دوستان عزیز، سال ۲۰۲۵ هست بهینه ساز SGD برای اکثر کارهای deep learning دیگه گزینه اول نیست ساده بگم: SGD: قدیمی، کنده، نیاز به تنظیم زیاد Adam: سریع، خودکار، برای اکثر کارها خوبه AdamW: نسخه بهتر Adam با weight decay یک قاعده ساده (که لزوما همه جا هم جواب نمیده): اول Adam رو امتحان کنید اگر overfitting دیدید، برید سراغ AdamW کدش:

optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.01)