Deep Mind

آیا باید به غریبه دمِ درِ خانه اعتماد کنیم؟ اعتماد یکی از عجیب‌ترین تصمیم‌هایی است که هر روز، گاهی حتی بدون اینکه متوجه باشیم، می‌گیریم. از باز کردن درِ خانه برای یک غریبه گرفته تا سپردن سرمایه به یک شریک تجاری یا خرید از یک فروشگاه اینترنتی؛ همه‌ی این‌ها در نهایت به یک سؤال ختم می‌شوند: «آیا این ریسک ارزشش را دارد؟» بسیاری از مردم تصور می‌کنند اعتماد کردن یا نکردن یک ویژگی شخصیتی است؛ بعضی ذاتاً ریسک‌پذیرند و بعضی نه. اما در واقع، اعتماد بیشتر از آنکه یک احساس باشد، یک تصمیم مبتنی بر اطلاعات است. یک مثال ساده فرض کنید شما و دوستتان یک فروشگاه اینترنتی راه‌اندازی کرده‌اید. تعدادی از مشتریان درخواست می‌کنند که کالا را ابتدا دریافت کنند و هزینه را هنگام تحویل یا حتی به صورت قسطی بپردازند. دوست شما مخالفت می‌کند. او می‌گوید:

«اکثر مردم بدقول‌اند. چرا باید چنین ریسکی بکنیم؟»

اما شما موضوع را از زاویه‌ی دیگری می‌بینید. اگر پرداخت نشدن پول غیرممکن نیست، پس پرداخت شدن آن هم غیرممکن نیست. شاید با پذیرفتن کمی ریسک، بتوان مشتریان بیشتری جذب کرد و سود بسیار بالاتری به دست آورد. در اینجا اختلاف اصلی فقط بر سر یک چیز است: اکثریت مردم قابل اعتمادند یا نه؟ آیا واقعاً بیشتر مردم بدقول‌اند؟ جالب است که تجربه‌ی صنعت اعتبارسنجی طی بیش از دو دهه، تصویر متفاوتی نشان می‌دهد. نتیجه‌ی بسیاری از این مطالعات این بوده که:

اکثر افراد، زمانی خوش‌حساب هستند که اصلاً فرصتی برای خوش‌حساب بودن به آن‌ها داده شود.

جامعه از دو گروه تشکیل شده است؛ افراد خوش‌حساب و افراد بدحساب. اگر با همه یکسان رفتار کنیم، هرگز تفاوت این دو گروه را نخواهیم فهمید. پس سؤال درست این نیست که

: «به همه اعتماد کنیم یا به هیچ‌کس؟

» بلکه باید پرس

ید: «چقدر به هر فرد اعتماد کنی

م؟» اعتماد کورکورانه یا اعتماد هوشمند؟ فرض کنید تصمیم بگیرید روی مشتریان خود یک آزمایش انجام دهید. در ابتدا، به تعدادی از آن‌ها فرصت خرید اعتباری بدهید. رفتارشان را ثبت کنید. چه کسانی به موقع پرداخت کردند؟ چه کسانی دیر پرداخت کردند؟ چه کسانی اصلاً پرداخت نکردند؟ بعد از مدتی، دیگر با یک جامعه‌ی ناشناخته روبه‌رو نیستید؛ بلکه مجموعه‌ای از داده در اختیار دارید. اکنون می‌توانید برای هر مشتری، بر اساس رفتار گذشته‌اش، میزان اعتماد تعیین کنید. در این حالت اعتماد دیگر یک احساس نیست؛ بلکه به یک عدد تبدیل می‌شود. اما مرز اعتماد کجاست؟ فرض کنید حالا برای هر مشتری بتوانید احتمال پرداخت را پیش‌بینی کنید. مثلاً: مشتری اول: ۹۸٪ احتمال پرداخت مشتری دوم: ۷۵٪ مشتری سوم: ۴۵٪ سؤال اینجاست که از چه عددی به بعد باید به مشتری اعتماد کرد؟ پاسخ، برخلاف تصور بسیاری از افراد، یک عدد ثابت نیست. این مرز کاملاً به هدف شما بستگی دارد. اگر هدف شما کمینه کردن ضرر باشد، منطقی است فقط به افرادی اعتماد کنید که احتمال بسیار بالایی برای پرداخت دارند. اما اگر هدف، بیشینه کردن سود باشد، ممکن است پذیرش ریسک بیشتر تصمیم بهتری باشد؛ زیرا هر مشتری جدید، علاوه بر احتمال ضرر، احتمال ایجاد درآمد نیز دارد. در واقع، اعتماد همیشه یک معامله بین ریسک و سود است. بانک‌ها چه می‌کنند؟ بانک‌ها نیز دقیقاً با همین مسئله روبه‌رو هستند. آن‌ها معمولاً به جای اینکه فقط بگویند «بله» یا «خیر»، از مدل‌های اعتبارسنجی استفاده می‌کنند. این مدل‌ها احتمال بازپرداخت وام را تخمین می‌زنند و سپس بر اساس سیاست بانک تصمیم گرفته می‌شود که آیا ریسک آن مشتری قابل قبول است یا خیر. گاهی بانک ترجیح می‌دهد محافظه‌کار باشد و فقط به افراد بسیار کم‌ریسک وام بدهد. گاهی نیز برای افزایش سود، حاضر است ریسک بیشتری بپذیرد. بنابراین حتی بانک‌ها هم به دنبال حذف کامل ریسک نیستند؛ بلکه تلاش می‌کنند ریسک را مدیریت کنند. نتیجه‌گیری پرسش «آیا باید به غریبه اعتماد کنیم؟» در واقع سؤال کاملی نیست. سؤال بهتر این

است: «با توجه به اطلاعاتی که داریم، چقدر باید به او اعتماد ک

نیم؟» اعتماد نه باید کورکورانه باشد و نه بر پایه‌ی بدبینی مطلق. ابتدا باید جامعه و رفتار افراد را مشاهده کرد، داده جمع‌آوری کرد و سپس بر اساس آن تصمیم گرفت. زیرا تنها زمانی می‌توان افراد قابل اعتماد را پیدا کرد که حداقل یک بار فرصت اثبات خود را داشته باشند. در نهایت، اعتماد همیشه به معنای حذف ریسک نیست؛ بلکه هنرِ پذیرفتن ریسکِ درست، در زمان درست و برای فرد درست است.

آیا باید به غریبه دمِ درِ خانه اعتماد کنیم؟ اعتماد یکی از عجیب‌ترین تصمیم‌هایی است که هر روز، گاهی حتی بدون اینکه متوجه باشیم، می‌گیریم. از باز کردن درِ خانه برای یک غریبه گرفته تا سپردن سرمایه به یک شریک تجاری یا خرید از یک فروشگاه اینترنتی؛ همه‌ی این‌ها در نهایت به یک سؤال ختم می‌شوند: «آیا این ریسک ارزشش را دارد؟» بسیاری از مردم تصور می‌کنند اعتماد کردن یا نکردن یک ویژگی شخصیتی است؛ بعضی ذاتاً ریسک‌پذیرند و بعضی نه. اما در واقع، اعتماد بیشتر از آنکه یک احساس باشد، یک تصمیم مبتنی بر اطلاعات است. --- یک مثال ساده فرض کنید شما و دوستتان یک فروشگاه اینترنتی راه‌اندازی کرده‌اید. تعدادی از مشتریان درخواست می‌کنند که کالا را ابتدا دریافت کنند و هزینه را هنگام تحویل یا حتی به صورت قسطی بپردازند. دوست شما مخالفت می‌کند. او می‌گوید: ««اکثر مردم بدقول‌اند. چرا باید چنین ریسکی بکنیم؟»» اما شما موضوع را از زاویه‌ی دیگری می‌بینید. اگر پرداخت نشدن پول غیرممکن نیست، پس پرداخت شدن آن هم غیرممکن نیست. شاید با پذیرفتن کمی ریسک، بتوان مشتریان بیشتری جذب کرد و سود بسیار بالاتری به دست آورد. در اینجا اختلاف اصلی فقط بر سر یک چیز است: اکثریت مردم قابل اعتمادند یا نه؟ --- آیا واقعاً بیشتر مردم بدقول‌اند؟ جالب است که تجربه‌ی صنعت اعتبارسنجی طی بیش از دو دهه، تصویر متفاوتی نشان می‌دهد. نتیجه‌ی بسیاری از این مطالعات این بوده که: «اکثر افراد، زمانی خوش‌حساب هستند که اصلاً فرصتی برای خوش‌حساب بودن به آن‌ها داده شود.» جامعه از دو گروه تشکیل شده است؛ افراد خوش‌حساب و افراد بدحساب. اگر با همه یکسان رفتار کنیم، هرگز تفاوت این دو گروه را نخواهیم فهمید. پس سؤال درست این نیست که: ««به همه اعتماد کنیم یا به هیچ‌کس؟»» بلکه باید پرسید: ««چقدر به هر فرد اعتماد کنیم؟»» --- اعتماد کورکورانه یا اعتماد هوشمند؟ فرض کنید تصمیم بگیرید روی مشتریان خود یک آزمایش انجام دهید. در ابتدا، به تعدادی از آن‌ها فرصت خرید اعتباری بدهید. رفتارشان را ثبت کنید. چه کسانی به موقع پرداخت کردند؟ چه کسانی دیر پرداخت کردند؟ چه کسانی اصلاً پرداخت نکردند؟ بعد از مدتی، دیگر با یک جامعه‌ی ناشناخته روبه‌رو نیستید؛ بلکه مجموعه‌ای از داده در اختیار دارید. اکنون می‌توانید برای هر مشتری، بر اساس رفتار گذشته‌اش، میزان اعتماد تعیین کنید. در این حالت اعتماد دیگر یک احساس نیست؛ بلکه به یک عدد تبدیل می‌شود. --- اما مرز اعتماد کجاست؟ فرض کنید حالا برای هر مشتری بتوانید احتمال پرداخت را پیش‌بینی کنید. مثلاً: - مشتری اول: ۹۸٪ احتمال پرداخت - مشتری دوم: ۷۵٪ - مشتری سوم: ۴۵٪ سؤال اینجاست که از چه عددی به بعد باید به مشتری اعتماد کرد؟ پاسخ، برخلاف تصور بسیاری از افراد، یک عدد ثابت نیست. این مرز کاملاً به هدف شما بستگی دارد. اگر هدف شما کمینه کردن ضرر باشد، منطقی است فقط به افرادی اعتماد کنید که احتمال بسیار بالایی برای پرداخت دارند. اما اگر هدف، بیشینه کردن سود باشد، ممکن است پذیرش ریسک بیشتر تصمیم بهتری باشد؛ زیرا هر مشتری جدید، علاوه بر احتمال ضرر، احتمال ایجاد درآمد نیز دارد. در واقع، اعتماد همیشه یک معامله بین ریسک و سود است. --- بانک‌ها چه می‌کنند؟ بانک‌ها نیز دقیقاً با همین مسئله روبه‌رو هستند. آن‌ها معمولاً به جای اینکه فقط بگویند «بله» یا «خیر»، از مدل‌های اعتبارسنجی استفاده می‌کنند. این مدل‌ها احتمال بازپرداخت وام را تخمین می‌زنند و سپس بر اساس سیاست بانک تصمیم گرفته می‌شود که آیا ریسک آن مشتری قابل قبول است یا خیر. گاهی بانک ترجیح می‌دهد محافظه‌کار باشد و فقط به افراد بسیار کم‌ریسک وام بدهد. گاهی نیز برای افزایش سود، حاضر است ریسک بیشتری بپذیرد. بنابراین حتی بانک‌ها هم به دنبال حذف کامل ریسک نیستند؛ بلکه تلاش می‌کنند ریسک را مدیریت کنند. --- نتیجه‌گیری پرسش «آیا باید به غریبه اعتماد کنیم؟» در واقع سؤال کاملی نیست. سؤال بهتر این است: ««با توجه به اطلاعاتی که داریم، چقدر باید به او اعتماد کنیم؟»» اعتماد نه باید کورکورانه باشد و نه بر پایه‌ی بدبینی مطلق. ابتدا باید جامعه و رفتار افراد را مشاهده کرد، داده جمع‌آوری کرد و سپس بر اساس آن تصمیم گرفت. زیرا تنها زمانی می‌توان افراد قابل اعتماد را پیدا کرد که حداقل یک بار فرصت اثبات خود را داشته باشند. در نهایت، اعتماد همیشه به معنای حذف ریسک نیست؛ بلکه هنرِ پذیرفتن ریسکِ درست، در زمان درست و برای فرد درست است.

این نوشته بررسی تاریخی ریشه های ریاضیاتی back propagation هست. از حساب دیفرانسیل و انتگرال ابتدایی تا بهینه سازی پیشرفته تر و در نهایت کار های نزدیک تر به خود back propagation رو به صورت جامع بررسی کردم. اگه دوست دارید بدونید به طور ساده این ایده از کجا شروع شده و چطور به اینجا رسیده پیشنهاد میکنم این نوشته رو بخونید.

ترجمه یه توییت که میشه درموردش فکر کرد: سلام، من گایدو هستم، امروز بیست‌وسومین روز اعتصاب غذامه جلوی دفترهای شرکت Anthropic، هنوز سرپا هستم. یه پلیدی بزرگ و عمیق توی اینجا هست. هر روز ظهر و شب می‌شینم و نگاه می‌کنم که چطور پیک‌ها با موتور و دوچرخه میان و غذا میارن دم در ساختمون بی‌تابلو توی خیابون هاوارد ۵۰۰ که دفتر شرکت توسعه هوش مصنوعی فوق‌پیشرفته Anthropic اونجاست، بی‌خبر از این‌که پشت اون درِ امنیتی چی داره ساخته می‌شه. حال آدم بهم می‌خوره وقتی می‌بینی همون برنامه‌نویسایی که این پیک‌ها بهشون غذا می‌رسونن دارن با سرعت می‌رن سمت ساختن هوش مصنوعی فرابشری که هیچ برنامه درست‌وحسابی برای کنترلش ندارن و می‌تونه همین پیک‌ها، بچه‌هاشون، خانواده‌هاشون و کل جامعه‌شون رو نابود کنه. این برنامه‌نویسا و شرکتی که براش کار می‌کنن راحت نشستن و از دست همین پیک‌ها غذا می‌گیرن ولی جون و زندگی‌شون رو به خطر می‌ندازن. پشت این پرده بی‌خبری قایم شدن تا چهره و قضاوت آدم‌هایی که دارن بهشون خدمت می‌کنن رو نبینن و به زندگی راحت و حقوق‌های بالاشون ادامه بدن، بدون این‌که حتی ازشون نظر یا اجازه‌ای گرفته باشن. به نظر می‌رسه هیچ نیازی نمی‌بینن که به مردم هشدار بدن چه خطری دارن براشون آماده می‌کنن، یا این مسابقه جهانی رو که خودشون دارن جلو می‌برن متوقف کنن؛ مسابقه‌ای که ممکنه من و تو رو نابود کنه. چطور ممکنه همچین آدم‌هایی با این همه بی‌خیالی و پنهان‌کاری غذای زندگی‌شون رو از دست دیگران بگیرن و در عوض با زندگی و عزیزاشون این‌طور قمار کنن؟ آیا ذره‌ای انسانیت و وجدان توشون نمونده؟ خجالت نمی‌کشن؟ ۲۳ روزه که جلوی دفترهای شرکت Anthropic ــ همون شرکتی که داره ماشین‌های انقراض می‌سازه ــ می‌شینم و با رهگذرا حرف می‌زنم. مردم تعجب می‌کنن وقتی می‌فهمن این دفتر بی‌تابلو مقر یه شرکت هوش مصنوعیه که مدیرعاملش، داریو آمودی، خودش گفته مسابقه‌ای که توش هستن ۲۵ درصد احتمال داره تمدن ما رو نابود کنه. ولی همین مدیرعامل راحت نشسته و گذاشته این پرده بی‌خبری بین خودش و کارش و مردم کوچه‌وبازار باشه، بی‌اینکه مسئولیت قبول کنه و جلوی این مسابقه جهانی رو که خودش از معمارای اصلیشه بگیره یا حتی مردم کشورش رو از این خطر جدی آگاه کنه. هر روز بیدار می‌شم توی دنیایی که Anthropic داره دروغی رو تولید و بازتولید می‌کنه که باعث می‌شه جامعه نفهمه چه خطری بالای سرشه؛ دروغی که می‌گه مسابقه به سمت سوپرهوش مصنوعی می‌تونه «ایمن» یا «مسئولانه» باشه. دروغی که القا می‌کنه «همه‌چی عادیه»، «هیچ اضطراری نیست». این دروغ رو با تبلیغات ساده و فریبنده‌شون توی مترو و فرودگاه‌ها تقویت می‌کنن، با سکوت سرد دفترهای بی‌تابلوشون، و با سکوت گوش‌خراش کارمنداشون که می‌دونن چه خطر عظیمی داره پیش می‌آد ولی تا حالا خیانت کردن به مسئولیت انسانی‌شون برای هشدار دادن به ما و متوقف کردنش. هر روز بیدار می‌شم توی دنیایی که آینده هر بچه و هر مادری زیر سایه مرگیه که Anthropic و رقباش با این مسابقه خطرناک درست کردن؛ مسابقه‌ای که هیچ تلاشی برای توقفش نمی‌کنن و همشون مسئول جمعی این فاجعه‌ان. اینجا یه خیانت عمیق اتفاق افتاده. پشت کردن به بنیادی‌ترین وظایف انسانی. بریدن پیوندهای مشترک ما. زخمی کردن وجدان و روح ما. جنایتی تاریک علیه بچه‌های این دنیا و نسل‌های آینده. ازت خواهش می‌کنم، اگه اینو می‌خونی، در برابر این پلیدی ساکت نمون. با بی‌عملی شریک جرم نشو. هر کسی که خطر این پروژه رو برای عزیزاش می‌فهمه باید انتخاب کنه؛ نمی‌شه از این انتخاب فرار کرد: یا به مسئولیتت عمل می‌کنی و این خطر رو متوقف می‌کنی، یا خیانت می‌کنی ــ به خودت، به اون‌ها و به وظیفه‌ات. امیدوارم خدا بهت نیرو و بزرگواری بده که درست انتخاب کنی.

ظاهراً GPT 5 تونسته برخی مسائل باز ریاضی رو حل کنه، این مقاله تست گودل رو معرفی می‌کنه. [لینک مقاله] توضیحات فنی صوتی :

یه بلاگ کوتاه در مورد مسیر پژوهشی طی شده LLM ها(ایده ها و مقالات کلیدی) از ۲۰۱۳ تا الان نوشتم: https://vrgl.ir/vY9ij

در یک سند اطلاعات تکمیلی که همراه با مقاله در نشریه Nature منتشر شد، شرکت برای اولین بار اذعان کرد که مالک تراشه‌های A100 است و گفته این تراشه‌ها را در مراحل مقدماتی توسعه به کار گرفته. پژوهشگران نوشتند: «در رابطه با تحقیقاتمان روی DeepSeek-R1، ما از GPUهای A100 برای آماده‌سازی آزمایش‌ها با یک مدل کوچک‌تر استفاده کردیم.» آن‌ها اضافه کردند که پس از این مرحله‌ی اولیه، مدل R1 در مجموع به مدت ۸۰ ساعت روی خوشه‌ای شامل ۵۱۲ تراشه H800 آموزش داده شد.

In a supplementary information document accompanying the Nature article, the company acknowledged for the first time it does own A100 chips and said it had used them in preparatory stages of development. "Regarding our research on DeepSeek-R1, we utilized the A100 GPUs to prepare for the experiments with a smaller model," the researchers wrote. After this initial phase, R1 was trained for a total of 80 hours on the 512 chip cluster of H800 chips, they added.

[Reuters]

به تازگی DeepSeek مقاله ای در nature منتشر کرده که درمورد جزئیات فنی مدل های سری R1 صحبت می‌کنه. [لینک مقاله] [لینک توییت خلاصه مقاله] توضیحات فنی به فارسی و انگلیسی (ساخته شده با notebooklm):

مدل های o1🍓 و کنکور ریاضی! دیشب ۱۲ سپتامبر شرکت OpenAI سری جدید مدل های خودش رو با نام o1 معرفی کرد، این مدل ها با یه ویژگی خاص طراحی شده ان، اینکه قبل از پاسخ دادن فکر کنن. اما چطوری؟ راز این مدل ها استدلال زنجیره ای آن ها یا CoT-Reasoning هست. اما Chain of Tought یا CoT(استدلال زنجیره ای) دقیقا چیه؟ مدل‌های فعلی مثل سری GPT به صورت end-to-end کار می‌کنن، یعنی ورودی رو به خروجی تبدیل می‌کنن بدون اینکه خیلی بهش فکر کنن. این به معنی اینه که به سرعت جواب می‌دن بدون اینکه فرآیند استدلالی پشت جواب رو نشون بدن. این روش چند مشکل داره: ۱. خیلی از مسائل نیاز به چند مرحله محاسبه یا استدلال دارن که مدل‌های عادی ممکنه نتونن همه این مراحل رو در یک گام انجام بدن. ۲. چون مدل مستقیم به خروجی می‌رسه بدون اینکه استدلال کنه، در مسائل پیچیده احتمال رسیدن به جواب درست کمتر می‌شه و دقت مدل پایین میاد. ۳. ما نمی‌دونیم مدل چطور به جواب رسیده و شفافیتی در منطق استفاده شده برای تولید جواب وجود نداره. اما در استدلال زنجیره‌ای، مدل به جای اینکه جواب نهایی رو فوری تولید کنه، مراحل مختلفی رو که شامل فرآیند فکر کردن هستن به صورت زنجیره‌ای تولید می‌کنه. یعنی مسئله رو به بخش‌های کوچکتر تقسیم می‌کنه و هر بخش رو جداگانه پردازش می‌کنه و این مراحل رو گام به گام پیش می‌بره. این شبیه به کاریه که انسان برای حل مسائل پیچیده انجام می‌ده، یعنی تبدیل مسئله به بخش‌های کوچکتر و حل مرحله به مرحله. این روش مشکلات بالا رو حل می‌کنه چون با پردازش مسئله به صورت گام به گام، هر مرحله به طور مجزا مدیریت می‌شه و احتمال خطا و از دست دادن اطلاعات مهم کم می‌شه. همچنین، استدلال استفاده شده توسط مدل به صورت شفاف قابل مشاهده است و ما می‌فهمیم که چرا مدل به این جواب رسیده. پس در استدلال زنجیره‌ای، ورودی اولیه به مدل داده می‌شه و مدل به جای تولید جواب فوری، ورودی رو به اجزای مختلف تقسیم می‌کنه. این اجزا به مدل کمک می‌کنن که استدلالش رو به طور شفاف‌تر و به صورت مرحله به مرحله بیان کنه و به نتایج دقیق‌تر و بهتری برسه. تیم OpenAI گفته که هرچی مدل تایم بیشتری رو به فکر کردن اختصاص بده، نتایج بهتری به دست میا‌د. این مدل ها که در دو نسخه preview و mini برای حل مسائل سخت و پیچیده علمی و کد نویسی منتشر شدن، عملکرد خوبی نشون دادن. مدل mini سریعتره و تو کد نویسی عملکرد خوبی داره. مدل preview مدل بزرگتر و قوی تر هست که پیشرفت چشمگیری نسبت به GPT-4o داشته و توی بنچمارک هایی که خود تیم OpenAI انجام داده، پیشرفت های خیلی بزرگی تو زمینه های علمی به خصوص ریاضیات صورت گرفته، به عنوان مثال: مدل GPT-4o تونسته به 13 درصد سوالات المپیاد جهانی ریاضیات پاسخ بده اما o1-preview تونسته به 56 درصد سوالات پاسخ بده که خیلی خفنه! جالبه بدونید مدل اصلی سری یعنی خود o1 به 83 درصد سوالات پاسخ داده! همچنین این مدل ها تونستن به سطح دانش اموزان PhD در علوم فیزیک، شیمی و زیست شناسی برسن! در سوالات برنامه نویسی رقابتی جزو 89 درصد برتر واقع شده ! یکی از دوستان زحمت کشیدن سوالات کنکور ریاضی امسال رو به مدل preview دادن و مدل موفق شده بعد از 9 دقیقه به تمام سوالات پاسخ صحیح بده! دسترسی این مدل ها فعلا فقط برای بخش محدودی از کاربران ChatGPT Plus به صورت خیلی محدود باز شده، تعداد پیام های مجاز نسخه preview 30 پیام در هفته ست و مدل mini ، 50 پیام در هفته که عدد خیلی کمی هست. همچنین از طریق API هم این مدل ها به صورت محدود(20 ریکوست در ثانیه) فقط برای کاربران سطح 5 (tier 5) قابل دسترسی هست یعنی کاربرانی که حداقل هزار دلار استفاده از API داشته اند. قیمت استفاده از این مدل ها در API هم زیاد هست و به ازای 1 میلیون توکن ورودی و خروجی مدل preview به ترتیب باید 15 و 60 دلار پرداخت کنین و برای مدل mini به ترتیب 3 و 12 دلار باید پرداخت کنین که 80 درصد نسبت به مدل preview ارزون تر هست. شرکت OpenAI اعلام کرده که قراره مدل مینی به صورت رایگان در دسترس همه کاربرا قرار بگیره که خبر خوبیه. @nnaidp

نسل 3.1 لاما تغییرات جالبی رو با خودش همراه کرد. این سری از مدل‌های لاما در سه نسخه 8B، 70B و 405B منتشر شدن و یه تغییر بزرگ رو توی جامعه اوپن سورس رقم زدن. این تغییر بزرگ به واسطه انتشار بزرگترین مدل این سری یعنی Llama 3.1 405B اتفاق افتاده. مدلی با 405 میلیارد پارامتر که بزرگترین مدل اوپن سورس تا به امروز هست. تا حالا هیچ کمپانی‌ای مدلی به این عظمت رو اوپن نکرده بود و این یعنی قراره شاهد اتفاقات بزرگی توی جامعه اوپن سورس باشیم. سنجش کیفیت مدل‌ها با استفاده از بنچمارک‌ها اهمیت زیادی داره چون این کار به ما امکان میده تا عملکرد مدل‌ها رو در شرایط مختلف ارزیابی کنیم و به مقایسه دقیق‌تری دست پیدا کنیم. بنچمارک‌ها به‌عنوان ابزارهای استاندارد برای اندازه‌گیری دقت و کارایی مدل‌ها استفاده می‌شن و نتایج به‌دست‌آمده کمک می‌کنه تا به‌طور مؤثری نقاط قوت و ضعف مدل‌ها شناسایی بشه و بهبودهای لازم اعمال بشه. حالا با توجه به اهمیت این ارزیابی‌ها، نگاهی میندازیم به نتایج بنچمارک مدل‌های جدید لاما و تغییرات کلیدی که با خودشون به همراه داشتن. این مدل روی 150 تا بنچمارک مختلف سنجیده شده و اتفاق جالب اینه که توی بنچمارک‌هایی که متا منتشر کرده، به سطحی نزدیک به Claude 3.5 Sonnet، GPT-4 و GPT-4o رسیده و حتی توی بعضی بنچمارک‌ها بهتر عمل کرده. مثلا توی بنچمارک IFeval که مربوط به Instruction following هست، از هردوی Claude Sonnet 3.5 و GPT-4o بهتر عمل کرده. این نتایج نشون میدن که پیشرفت های موثری تو پرفورمنس مدل های اوپن سورس در حال صورت گرفتن هست. در رابطه با دو نسخه کوچیک 8 و 70 میلیاردی، دو تغییر اصلی این دو مدل شامل طول کانتکست 128K و پشتیبانی از چند زبان مختلف مثل انگلیسی، فرانسوی، آلمانی، هندی، ایتالیایی، پرتغالی، اسپانیایی و تای هستن. متأسفانه، زبان فارسی هنوز به‌صورت رسمی به این مدل‌ها اضافه نشده. البته، این مدل‌ها می‌تونن تا حدی فارسی صحبت کنن، اما نمیشه بهشون اعتماد کامل داشت و امیدواریم تو آپدیت‌های بعدی زبان فارسی هم به‌صورت کامل پشتیبانی بشه. و همینطور عملکرد مدل‌های این نسل توی کدنویسی خیلی بهتر شده. درکل جز تغییراتی که گفته شد تغییر خیلی مهم دیگه ای صورت نگرفته و این دو مدل صرفا اپدیتی از مدل های قبلی نسل ۳ هستن. جزییات فنی: - دیتا: دیتای آموزشی این نسل نسبت به نسل قبل خیلی بزرگتر و باکیفیت‌تر شده. حجم دیتا حدود 15.6 تریلیون توکن هست که تقریباً 8 برابر دیتای نسل قبلی لاما (نسل 2) هست. - آموزش: مدل 405B با 3.8 × 10**25 FLOPs روی 15.6T توکن آموزش داده شده. این مدل چند ماه توی فاز آموزش بوده و روی 16000 تا تراشه H100 آموزش دیده که در مجموع به 39.3 میلیون ساعت محاسباتی GPU میرسه و چند صد میلیون دلار هزینه داشته. همچنین مدل‌های این سری روی 10 میلیون سوال و جواب انسانی و 25 میلیون داده مصنوعی (synthetic) فاین‌تیون شدن. توی این فرآیند از SFT و DPO استفاده شده. SFT یعنی مدل رو با داده‌های واقعی که انسان‌ها آماده کردن، بهبود دادن. DPO هم روشی برای تنظیم مدل هست که بر اساس ترجیحات انسانی، داده‌های مصنوعی ایجاد می‌کنه تا عملکرد مدل بهتر بشه. - معماری: توی معماری این سری خبری از روش‌های پیچیده‌ای مثل MoE نیست و از یک معماری ساده Decoder Only استفاده شده. همه مدل‌های این سری از تکنیکی به نام GQA یا Grouped Query Attention استفاده می‌کنن. GQA یه روش هست که با بهینه کردن عملکرد الگوریتم اتنشن، کمک میکنه مدل در طول آموزش، پایداری و کارایی بهتری داشته باشه. همچنین، مدل رو از فرمت BF16 به FP8 کوانتایز کردن تا حجمش کمتر بشه و جالبه که میگن اینکار باعث شده بتونن مدل رو روی یه نود سرور واحد اجرا کنن. اجرا و تست مدل‌ها: مشخصاً مدل بزرگ رو نمیتونین به‌صورت لوکال اجرا کنین و باید از پروایدرهای third-party استفاده کنین. متا با 25 تا سرویس قرارداد داره مثل Nvidia Nims, fire works, ... که مدل هارو ارائه میدن. برای تست نسخه‌های کوچیکتر میتونین از Ollama استفاده کنین. برای استفاده از نسخه 8B کوانتایز شده میتونین با 4090 لودش کنین و نسخه کوانتایز شده 70B هم با A100، L40 یا L40S قابل اجراست. همچنین از طریق پلتفرم ما هم میتونین از همه مدل های این سری استفاده کنین نکات اضافی: - متا گفته که قراره نسل‌های جدید لاما MultiModal باشن. - متا به زودی یه سرویس API برای این مدل‌ها ایجاد میکنه که با Bing هم سازگار خواهد بود.

یه آپدیت بزرگ برای پلتفرممون منتشر کردیم! توی این آپدیت تغییرات کلی و تغییرات جزئی هردو دیده میشن که پیشنهاد ما اینه که خودتون تجربشون کنین.🟡 اما اصلی ترین تغییر نسخه جدید پلتفرم ، اضافه شدن 23 تا مدل جدید از چند خانواده مدل جدید هست! یعنی شما درحال حاضر به ۳۵ مدل open source و close source به صورت رایگان دسترسی دارین! 💬با انتشار نسل جدید سری مدل های لاما، یعنی نسخه های 3.1، ما هم دست به کار شدیم و علاوه بر هر 3 مدل جدید منتشر شده توسط متا، 20 مدل جدید به پلتفرممون اد کردیم. 💬نسخه 405B لاما هم به صورت کاملا رایگان همون شب عرضه مدل ها به پلتفرممون اضافه کردیم اما تصمیم گرفتیم خبرشو همزمان با اپدیت پلتفرم اعلام کنیم. لیست مدل هایی که درحال حاضر میتونین ازشون استفاده کنین🔽🔽🔽 1. Dorna AI(hugging face text generation model) 2. OpenAI Family: 📱 neural-brain-Al(GPT 4 instance) gpt4-o-mini GPT-4 gpt-3.5-turbo gpt-3.5-turbo-1106 TTS 3. Qwen Family: Qwen2-57B Qwen2-7B Qwen2-1.5B Qwen2-O.5B Qwen1.5-110B Qwen1.5-32B Qwen1.5-2.7B 4. Llama Family 📱: Llama-3.1-405B Llama-3.1-70B Llama-3.1-8B Llama-3-70B Llama-3-8B 5. Cohere Family: 💬 Aya-35B Aya-23B Command-R-Plus Command-R Command-Light Command-Light-Nightly Command-Nightly Command 6. Gemma Family: 📱 gemma2-27B gemma2-9B gemma-7B 7. Zehpyr Family: zephyr-7B 8. Mistral Family: 🗣 mistral-nemo-12B mixtral-8x7B mistral-7B-v2 9. Yi Family: Yi-l.5-34B ⌨️البته به همینجا ختم نمیشه و ما هر روز داریم فیچر های جدیدی برای بهبود پلتفرم اضافه میکنیم.

برای استفاده از پلتفرم ما میتونین از طریق این آدرس به صورت مستقیم و از طریق وبسایت ما (ویدجت ابی رنگ سمت راست) اقدام کنین.

در حقیقت سری ۳.۱ لاما معرفی شد و در سه نسخه 8B, 70B, 405B با تغییرات خفنی منتشر شدن. به زودی بررسی هر سه رو با جزییات فنیشون اینجا میزارم . به پلتفرممون هم اد میشه و میتونین ازشون استفاده کنین.

بالاخره نسخه 405B لاما منتشر شد. نکته مثبت این مدل هم قدرت و پرفورمنس خوبیه که داره هم context length بزرگی که داره به سایز 128K. ظاهرا توکن های آموزشیش 15 تریلیون بوده و یه سری تغییرات تو معماریش دادن. جزییات بیشتر هم میگم

بنچمارک هایی که از نسخه جدید لاما ۳ منتشر شده. این نسخه 405B پارامتر داره و چند روز دیگه منتشر میشه.