دیتاهاب

نظریه نامحبوب: ایران کشور جهان سومی هست؟ میخام با دلیل توضیح بدم کشور ما احتمالا با دوپینگ، جهان 5امی باشه، ته ته ته لیست یکی از قوی ترین مدل های زبانی کنونی Fable 5 هست حالا تولید این مدل چقدر خرج برداشته؟ خود آنتروپیک که به صورت رسمی چیزی اعلام نکرده ولی یک سری مراجعی اومدن و تخمین زدن هزینه: حدود 500 میلیون دلار تا یک میلیارد دلار مدت زمان اجرا: حدود 60 تا 120 روز سخت افزار: حدود 20 هزار تا 50 هزار NVIDIA GB300-class GPUs دیتاست: حدود 10 تا 30 میلیارد توکن حالا فقط فکر نکنید آنتروپیک اینقدر بریز و بپاش کرده ها شرکت OpenAI واسه GPT 5 و خصوصل مدل GPT‑5.6 تا الان حدود 1.5 تا 3 میلیارد دلار هزینه کرده حالا چرا میگم ما خیلی عقب افتاده ایم: یک حساب کتاب ساده قیمت الان دلار را حدودا 180 فرض می کنیم یک میلیارد دلار میشه حدودا 180 هزار میلیارد تومان یا به عبارتی 180 همت دولت با این مبلغ یک تا دو ماه کل کشور (قربونش بشم) مدیریت می کنه سوال: کدوم شرکت خصوصی و حتی دولتی ایرانی در زمینه مهندسی نرم افزار چنین بودجه ای داره؟ 180 همت پیشکش، 1 همت چی؟ اونم نه 100 میلیارد چی؟ اونم احتمالا نه خب ما اصلا در برابر کشورهای پیش رو تکنولوژِی حرفی واسه گفتن داریم؟ متاسفانه یک سری از شرکت های نرم افزاری بعد قطعی اینترنت حتی توی حقوق کارمندها موندن چ برسه به توسعه مدل هوش مصنوعی بدون تعارف و صادقانه، کدوم محصول ایرانی در حوزه هوش ارائه شده که واقعا باکیفیت بوده باشه و همه گیر شده باشه؟ حالا نه اینکه فقط امریکا این همه خرج کنه ها، همین بغلمون امارات سال 2025 حدود 1.5 میلیارد دلار قرارداد واسه توسعه هوش مصنوعی بست همه ایران دوست داریم ولی باید واقع بین بود الکی خودمون گول نزنیم چه خوشمون بیاد چ ناراحت بشیم در اینده جهان ما حرفی واسه گفتن نداریم، به معنای واقعی کلمه عقب افتاده ایم و شوربختانه روز به روز فاصله مون بیشتر میشه.

درود توی شهریور قرار هست با همکاری شهرک علمی و تحقیقاتی اصفهان یک پنل انتقال تجربه و آموزش در زمینه پروژه های فریلنسری و دلاری برگزار کنیم کسایی که در این زمینه تجربه دارند و تمایل به مشارکت دارند به این آی دی پیام بدین @mohammad_dehghaniiii

هیچوقت حال و هوای اصفهان اینقدر سیاه و تلخ نبود. هنوزم توی بهتم از روزایی که داریم تجربه می‌کنیم

بعد ی صحبت حدود ۲ ساعته با چت صوتی chatgpt چیزی ک فهمیدم هیچ میلی ب بقا نداره ریشه تقریبا هر رفتار و کنش انسانی میل ب بقا و جاودانگی هستش همه چیز را در نسبت با بقا میشه تعریف کرد عشق ترس از مرگ و ... بعید میدونم هوش مصنوعی ب این زودی‌ها ب تازه برسه ک دغدغه بقا و جاودانگی پیدا کنه

شمام این تجربه داشتین که وارد لینکدین بشین و دیدن این همه پست که با هوش مصنوعی نوشته میشه که اکثر نکته آموزشی خاصی نداره خسته بشین قبول دارین تازگی چقدر فضای لینکدین کسل کننده و غیر مفید شده همه روزی چندتا پست با هوش مصنوعی می نویسن محتوای آموزشی نزدیک به صفر متن ها شبیه به هم و تکراری و به شدت طولانی و گاهی وقت تلف کن واسه همین موضوع یک پست توی لینکدین نوشتم لینک پست

بامزه ترین چیزی که این مدت دیدم توی چین یه لیگ مبارزه ربات‌ها داخل قفس راه انداختن که برنده حدود ۱.۵ میلیون دلار جایزه می‌بره

#موقت فک کن ایده‌ای که به نظرت خیلی خوبه بدون چشم داشت پست می‌کنی بعد یک عده دیس لایک میکنن جرات ندارن کامنت بزارن تا هویتش مشخص بشه عجیب که از کانال هم لفت نمیدن تازه دیشب یک نفر روی پست قبلی کامنت گذاشته که چون اون پست گذاشتم حروم لقمه هستم من که صرفا کامنت پاک کردم و هیچ پاسخی بهش ندادم ولی عزیز دل با افتخار کل عمرم شریف زندگی کردم و به احدی باج ندادم، مجیزگوی‌ نهاد یا صنف خاصی هم نبودم با افتخار بچه روستایی هستم و از صفر شروع کردم از صفر صفر صفر، پدر عزیزتر از جانم هم مدت زیادی کارگر بوده و البته همیشه روی چشم‌هام جا داره امثال من هر چی درآوردم نون بازو بوده...

یک ایده به ذهنم رسیده که به نظرم ارزش زیادی داره و اگر روش کار بشه، می‌تونه تبدیل به یه مقاله‌ی خیلی خوب بشه. شاید بپرسید اگر این ایده این‌قدر خوبه، چرا خودت انجامش نمی‌دی؟ دو تا دلیل داره. اول اینکه خودم فعلاً فرصت انجامش رو ندارم. دوم اینکه دوست دارم یکی از شماها این ایده رو برداره، روش کار کنه، یه مقاله‌ی خوب ازش دربیاره و نتیجه‌ش رو هم توی یه کنفرانس خفن منتشر کنه و رزومه خوبی برای خودش بسازه. حالا ایده چیه؟ بچه‌هایی که با معماری Transformer آشنا هستن می‌دونن که یکی از مشکلات مدل‌های ترنسفورمری، عملکردشون روی متن‌های خیلی بلنده. قبل از Transformer، شبکه‌های عصبی بازگشتی (RNN) مشکل Long-term Dependency داشتن؛ یعنی وابستگی‌های بلندمدت رو خوب یاد نمی‌گرفتن. بعد Transformer اومد و Attention رو معرفی کرد تا این ضعف رو تا حد زیادی برطرف کنه. اما الان یه مشکل جدید داریم. فرض کنید از یک مدل زبانی یه گزارش ۵۰ صفحه‌ای می‌خواید، یا ۲۰۰ صفحه متن بهش می‌دید، یا حتی ۲۰ هزار توکن ورودی. هرچقدر طول ورودی بیشتر میشه، حتی مکانیزم Attention هم دیگه نمی‌تونه وابستگی بین همه‌ی کلمات رو به خوبی حفظ کنه و عملکرد مدل افت می‌کنه. اینجا ایده‌ای که به ذهن من رسیده اینه که از مفهوم Convolution استفاده کنیم. توی CNNها یک Kernel یا فیلتر داریم که روی ورودی حرکت می‌کنه. پیشنهاد من اینه که همین منطق رو برای متن استفاده کنیم، ولی به جای Kernel، از Attention استفاده کنیم. فرض کنید یک متن ۲۰ هزار توکنی داریم. به جای اینکه Attention روی کل متن یکجا محاسبه بشه، متن رو به بخش‌های کوچکتر تقسیم کنیم؛ مثلاً ۲۰ بخش هزار توکنی. بعد مثل Convolution روی این بخش‌ها حرکت کنیم، اما عملیاتی که انجام می‌دیم از جنس Attention باشه، نه Convolution. یعنی برای هر بخش، Attention جداگانه محاسبه بشه و این فرآیند به صورت Sliding Window روی کل متن حرکت کنه. می‌دونم که این روش Information Loss ایجاد می‌کنه و بعضی وابستگی‌های دور از بین میره. مثلاً ممکنه کلمات هزار توکن اول با کلمات هزار توکن پنجم ارتباط داشته باشن و این ارتباط کامل حفظ نشه. ولی به نظرم بخش زیادی از این ارتباط‌ها قابل چشم‌پوشیه و هزینه‌ای که بابت از دست دادن اون مقدار اطلاعات می‌دیم، در مقابل بهبود مقیاس‌پذیری ارزشش رو داره. به نظرم ترکیب Convolution و Attention می‌تونه ایده‌ی جالبی باشه و شاید حتی راه‌حلی برای یکی از مشکلات مهم مدل‌های زبانی امروزی باشه. چون الان یکی از دردسرهای اصلی LLMها اینه که هرچقدر طول ورودی بیشتر میشه، بعد از یک نقطه عملکرد مدل به شکل محسوسی افت می‌کنه و Performance واقعاً Drop می‌کنه.

بعد از مدت‌ها دوباره برگشتیم درود به همگی اول از همه وظیفه خودم می‌دونم اتفاقات تلخی که دیماه افتاد رو به همه تسلیت بگم. غمیه که فکر می‌کنم تا مدت‌ها توی فکر و قلب خیلی‌هامون می‌مونه. واقعیتش بعضی دردها اون‌قدر بزرگن که واقعاً چیزی برای گفتن پیدا نمی‌کنه. فقط می‌تونم امیدوار باشم که امانت‌دار خوبی باشیم و نام و یادشون را اونجوری که شایسته‌‌شون باشه، زنده نگه داریم.

#موقت اگه کسی تجربه کاری در سایت های فریلنسری مثل upwork داره لطفا یک پیام بده mohammad_dehghaniiii

من طبیعتا پیشگو نیستم، و اقتصاد هم محل پیشگویی نیست ولی میشه پیش بینی کرد اگر با همین دست و فرمون جلو رفته بشه (خصوصا محاصره دریایی ادامه داشته باشه) مشکل شدید در پخش و توزیع بنزین - احتمالا در خرداد (بخشی از بنزین مصرفی، وارداتی هست) ابرتورم در تابستان (احتمالا مرداد) - میشه گفت تابستان بسیار گرمی در پیش خواهیم داشت پ.ن: الان هم ابرتورم هستیم (وقتی فقط طی یک سال، مرغ 4 برابر میشه) ولی چیزی ک میگم شبیه به F(f(x)) هست یعنی ابرتورم در ابرتورم پ.ن 2: اصلا شرایط اقتصادی مناسب نیست (فاجعه اس) و خودمون را برای شرایط بسیار سختی آماده می کنیم و اصلا خرید اضافه و غیرضروری نمی کنیم و تصمیم های مهم زندگی را ترجیحا به تعویق می اندازیم.

سال نوی همگی مبارک❤️🤍💚 امیدوارم امسال دیگه سال ما باشه! با آرزوی سربلندی ایران و ایرانی...

#موقت عاشق ری اکشن‌تونم😊 ولی من ایران هستم نمی تونم‌ مستقیم حرف بزنم این پیام در اصل میخواست بگه وارد مرحله دوم شدیم

🖤🖤🖤 وطن عزیزم قربون اون زخم‌های جدیدی که داره به پیکره نحیفت‌ وارد میشه

خسیس نباشین به بقیه هم بگین 😢

درود و مهر رفقا‌ با چ روشی وصل هستین؟ بگین تا یک کمکی بشه و وصل بشیم

یک سوال مهم، چرا برنامه‌نویسی توی ایران ارزونه؟ خیلی از بچه‌هایی که تازه می‌خوان برنامه‌نویسی رو شروع کنن، مخصوصاً تو حوزه‌ی علم داده و هوش مصنوعی، ازم می‌پرسن چرا محدوده حقوق‌ها اینقدر پایینه؟ حتی بعضیا مقایسه می‌کنن میگن چرا یه نفر تو وب کار می‌کنه بعضی وقتا از یه نفر تو دیتا یا AI بیشتر می‌گیره؟ (کاری به استثناها ندارم، طبیعتاً همه جا استثنا هست. دارم کلی حرف می‌زنم) جوابش خیلی ساده‌ست. ما تو اقتصاد یه اصل چندصد ساله داریم به اسم

عرضه و تقاضا

. حالا ربطش چیه؟ وقتی می‌خوایم بریم سر کار، یعنی یه شرکتی باید باشه که فرصت شغلی ایجاد کنه. چه دولتی، چه خصوصی. آره، یه عده هم فریلنسی یا ریموت کار می‌کنن، ولی نسبتشون خیلی کمه. پس سمت «عرضه‌ی شغل» دست شرکت‌هاست. حالا وضعیت هوش مصنوعی تو ایران چطوره؟ + داده‌ی زیاد و تمیز نداریم. + سخت‌افزار مناسب نداریم. (کافیه قیمت GPU ببینیم...) + اینترنت و دسترسی آزاد به ابزارها نداریم. + تحریم و فیلترینگ داریم. در ایران: - بسیاری از صنایع هنوز دیجیتال‌محور نیستند. (شرکت های دولتی اصلا چنین دغدغه هایی ندارن) - مدل‌های درآمدی سنتی‌اند و الزام رقابتی برای هوشمندسازی ندارند. (صنعت ما واسه 50 سال پیشه) - هزینه سرمایه‌گذاری در AI بالاست و بازگشت سرمایه نامطمئن است. - تحریم‌ها و محدودیت زیرساختی هزینه را افزایش می‌دهد. (تقریبا به اکثر ابزارهای جهانی دسترسی نداریم) پس چی شد؟ تقاضای واقعی برای نیروی AI کمه. حالا بیایم سمت تقاضای نیروی کار. یه نگاه بندازین ببینین چقدر دوره‌ی هوش مصنوعی برگزار میشه. چقدر آدم از رشته‌های مختلف میان میگن: "بریم AI یاد بگیریم شاید یه فرجی بشه." یه موج بزرگ راه افتاده. یعنی عرضه‌ی نیروی کار تو این حوزه خیلی زیاده. پس یه طرف قضیه: کشوری که صنعتش هنوز سنتیه و داده‌محور نیست ← تقاضا برای AI کمه. طرف دیگه: آدم‌هایی که AI یاد گرفتن زیادن ← عرضه زیاده. خب الان قدرت چانه‌زنی دست کیه؟ دست شرکته. بهت میگه با چه حقوقی میای؟ میگی مثلاً ۳۰ تومن. میگه نه، نمی‌خوام. چون می‌دونه یکی دیگه هست با ۲۰ هم میاد. همین جمله‌ی معروف که زیاد میشنویم: "نمی‌خوای، ده تا دیگه هستن." این یعنی چی؟ یعنی عرضه از تقاضا بیشتره. وقتی عرضه زیاد باشه و تقاضا کم، قدرت چانه‌زنی میره سمت کارفرما. طرف دنبال کاره، میگه: هر شرایطی باشه، هر حقوقی باشه، فقط استخدامم کن. اونجا دیگه قدرت چانه‌زنی پایینه.

واسه درک و فهم ساز کار دلار و اینکه دعوای چین و امریکا سر چیه گزاف نیست بگم یک ماه مطالعه کردم تا یک درک کلی پیدا کنم...