Silicon Brain | جامعه هوش مصنوعی

اگه تو حوزه‌ی AI تحقیق میکنی (یا قصد داری وارد بشی)، پیشنهاد من این حوزه هاست: ▫️Robotics ▫️Distributed AI Training ▫️AI Infrastructure Optimization ▫️Energy (خفن تر از همه) ▫️Agentic Systems اما اگه هدفت ساخت AI Product هست، پیشنهاد می‌کنم از فضای صرفاً نرم افزاری بکشی بیرون (: و به سمت محصولات بین رشته ای بری: ▫️AI in Transportation & Logistics (خفن) ▫️Robotics & Physical Entertainment ▫️Agentic Systems for Government ▫️Human-in-the-Loop & Agentic Systems for Business در مورد ساید فنی، پروداکت و ریسرچ هر کدوم بیشتر صحبت خواهیم کرد. @silicon_brain | از هوش مصنوعی عقب نمانید

با حذف محدودیت‌های نرم‌افزاری، قدرت AI با NVIDIA RTX تا ۲ برابر افزایش دادن! یه ابزار Open-source به اسم gpu-unlock معرفی شده که محدودیت‌های نرم‌افزاری مربوط به Tensor Coreهای بعضی GPUهای مصرفی NVIDIA رو حذف می‌کنه(همون هسته‌هایی که بخش زیادی از محاسبات AI رو انجام می‌دن).

نکته‌ی جالب اینه که نیازی به تغییر سخت‌افزار یا Flash کردن دائمی Firmware نیست. تغییرات نرم‌افزاری موقتی‌ان و با خاموش کردن سیستم به حالت قبل برمی‌گردن.

چند نمونه از نتایج گزارش‌شده

کارت RTX 4090: افزایش توان محاسباتی FP16 از 165.6 به 331.6 TFLOPS RTX 3090 Ti: افزایش توان BF16 از 87.5 به 157.4 TFLOPS RTX 2080 Ti: افزایش توان FP16 از 59.9 به 111 TFLOPS RTX 3090: تا ۵۸.۶٪ سرعت بیشتر در Image Generation و ۳۳٪ سرعت بیشتر در پردازش Promptهای LLM این ابزار فعلاً فقط روی Linux قابل استفاده‌ست و نصبش به اجرای چند دستور و تنظیم Kernel نیاز داره. پشتیبانی از Windows هنوز Experimental هست. گیتهاب @silicon_brain | از هوش مصنوعی عقب نمانید

مدل جدید Kimi K3.1 Pro - با پنجره Context یک میلیون توکن! این مدل از معماری MoE (Mixture of Experts) استفاده می‌کنه یعنی با وجود داشتن ۲.۸ تریلیون پارامتر در هر Request فقط ۱۰۴ میلیارد پارامتر فعال می‌شن. این روش کمک می‌کنه مدل از ظرفیت بالایی برخوردار باشه، بدون اینکه مجبور باشه تمام پارامترها رو در هر درخواست فعال کنه. یکی از قابلیت‌های مهمش 1M Token Context Window هست یعنی می‌تونه حجم زیادی از اطلاعات، حتی چند Codebase بزرگ رو هم‌زمان بررسی کنه و به سؤالاتی درباره‌ی کل پروژه جواب بده.

ارزیابی

▫️ساخت پروژه‌های کامل بازی با Unreal Engine، Unity و Godot، از Assetها تا Animation ▫️مدل‌سازی سه‌بعدی با Blender و CAD با امتیاز ۹۲.۷٪ ▫️کاهش ۶۵ درصدی Hallucination در مدل‌سازی مالی ▫️کسب امتیاز ۶۵.۷٪ در Terminal-Bench، در مقایسه با امتیاز ۵۸.۲٪ برای GPT-6 Astra یه نسخه‌ی سریع‌تر هم به اسم K3.1 Pro Highspeed ارائه شده که طبق اعلام شرکت، ۲ تا ۳ برابر سریع‌تره.

هر دو مدل از طریق Kimi API در دسترسن و نسخه‌ی Open-weight قراره امکان اجرای مدل با وزن های خودش رو فراهم کنه

لینک @silicon_brain | از هوش مصنوعی عقب نمانی

بررسی کامل متریک های ارزیابی مدل ها در Inference وقتی درباره‌ی Performance سیستم‌های مبتنی بر AI صحبت می‌کنیم، صرفاً سرعت اجرای مدل یا تعداد درخواست‌هایی که در ثانیه پاسخ می‌ده، معیار مناسبی برای ارزیابی سیستم نیست. در یک سیستم واقعی، باید هم‌زمان Latency، Throughput، هزینه‌ی محاسباتی و مصرف انرژی رو بررسی کنیم. نکته‌ی مهم اینه که متریک‌های Inference با متریک‌های Training یکسان نیستن چون هدف این دو مرحله متفاوته. در Training هدف اینه که مدل با استفاده از داده‌ها پارامترهاش رو به‌روزرسانی کنه، اما در Inference هدف اجرای مدل آموزش‌دیده برای تولید خروجی یا پیش‌بینیه.

۱. TTFT — Time To First Token

مدت‌زمان بین شروع یک درخواست تا تولید اولین Token توسط مدل. این متریک برای تجربه‌ی کاربر در سیستم‌های LLM اهمیت زیادی داره؛ چون حتی اگه مدل بعد از شروع تولید، سریع کار کنه، تأخیر زیاد در اولین Token باعث می‌شه کاربر احساس کنه سیستم کند عمل می‌کنه. TTFT می‌تونه تحت تأثیر زمان پردازش درخواست، طول Prompt، اجرای Prefill روی GPU، صف درخواست‌ها و سربار شبکه قرار بگیره. در سیستم‌های مبتنی بر Retrieval-Augmented Generation (RAG)، زمان Retrieval و آماده‌سازی Context هم ممکنه روی زمان شروع پاسخ اثر بذاره.

۲. TPOT — Time Per Output Token

میانگین زمانی که سیستم برای تولید هر Token خروجی، پس از تولید اولین Token، صرف می‌کنه. این متریک بیشتر سرعت مرحله‌ی Autoregressive Decoding رو نشان می‌ده؛ یعنی مرحله‌ای که مدل Tokenها رو به‌ترتیب تولید می‌کنه. برای مثال، اگر تولید ۱۰۰ Token بعد از اولین Token حدود ۵ ثانیه طول بکشه، TPOT تقریباً برابر با ۵۰ میلی‌ثانیه برای هر Token خواهد بود. در این مثال، نرخ تولید حدود ۲۰ Token بر ثانیه است. TPOT پایین‌تر معمولاً به معنی تولید روان‌تر و سریع‌تره. البته تعریف دقیق این متریک ممکنه بین ابزارهای Benchmark متفاوت باشه؛ بنابراین باید مشخص کنیم زمان اولین Token از محاسبه حذف شده یا نه.

۳. Throughput — نرخ پردازش

این مشخص می‌کنه سیستم در واحد زمان چه مقدار کار انجام می‌ده. در LLM Inference، معمولاً از دو نوع Throughput صحبت می‌کنیم: تعداد Requestهای پردازش‌شده در ثانیه (Requests/sec) و تعداد Tokenهای تولیدشده در ثانیه (Output Tokens/sec). برای مثال، ممکنه یک مدل برای یک کاربر سرعت مناسبی داشته باشه، اما وقتی ۱۰۰ کاربر هم‌زمان درخواست می‌فرستن، Throughput سیستم کاهش پیدا کنه یا Latency افزایش پیدا کنه.

۴. Cost per Token — هزینه به‌ازای هر Token

این متریک مشخص می‌کنه تولید یا پردازش هر Token چه هزینه‌ای برای سیستم داره. در سرویس‌های تجاری، این هزینه می‌تونه شامل هزینه‌ی GPU یا Cloud، حافظه، برق، زیرساخت، نگهداری و حتی هزینه‌ی ارائه‌دهنده‌ی مدل باشه. یک فرمول ساده برای محاسبه‌ی هزینه‌ی تولید Token خروجی: Cost per Output Token = Total Inference Cost ÷ Total Output Tokens مثلاً اگر هزینه‌ی اجرای Inference برابر با ۱۰ دلار باشه و سیستم در همان بازه ۱ میلیون Output Token تولید کنه، هزینه‌ی متوسط هر Output Token برابر با ۰٫۰۰۰۰۱ دلار خواهد بود.

۵. Energy per Token — انرژی به‌ازای هر Token

این متریک میزان انرژی مصرف‌شده برای تولید هر Token رو اندازه‌گیری می‌کنه و معمولاً با Joule/token یا Wh/Token بیان می‌شه. فرمول ساده: Energy per Output Token = Total Energy Consumed ÷ Total Output Tokens برای مثال، اگر یک سیستم در زمان مشخص ۳۶۰۰ ژول انرژی مصرف کنه و ۱۰۰۰ Token خروجی تولید کنه، مصرف متوسط انرژی برابر با ۳٫۶ ژول به‌ازای هر Token خواهد بود. نکته‌ی مهم اینه که باید مشخص کنیم انرژی فقط مربوط به GPU هست یا کل سیستم رو شامل می‌شه؛ مثلاً CPU، RAM، شبکه و سایر اجزای سرور. همچنین باید تفاوت بین انرژی مصرف‌شده در لحظه و انرژی کل اجرای یک درخواست رو در نظر گرفت. این متریک در بحث Green AI و Energy-aware Scheduling اهمیت زیادی داره

۶. P95 و P99 Latency — تأخیر در صدک‌های بالا

میانگین Latency به‌تنهایی برای ارزیابی یک سیستم Production کافی نیست. فرض کن ۹۵ درصد درخواست‌ها در کمتر از ۲ ثانیه پاسخ داده می‌شن، اما تعداد کمی از درخواست‌ها ۱۵ ثانیه طول می‌کشن. P95 Latency مقداریه که ۹۵ درصد درخواست‌ها در زمانی کمتر یا مساوی اون تکمیل می‌شن. همین تعریف برای P99 با پوشش ۹۹ درصد درخواست‌ها به‌کار می‌ره. این متریک‌ها برای بررسی Tail Latency، مدیریت SLA و شناسایی مشکلاتی مثل صف‌های طولانی، درخواست‌های سنگین، Cache Miss و رقابت روی منابع محاسباتی مهم هستن. @silicon_brain | از هوش مصنوعی عقب نمانید

متخصص‌های امروز مدل‌‌های ساخته شده رو تحلیل و تایید میکنن چون سال‌ها توی حرفه‌شون وقت گذاشتن. ولی وقتی اینا بازنشسته شن و نسل بعدی چنین فرصتی برای یاد گرفتن نداشته باشه، چی می‌شه؟ ممکنه (شایدم قطعیه) که کار به جایی برسه که هوش مصنوعی کارهای پیچیده‌تر و پیچیده‌تری رو انجام بده، ولی کسایی که بتونن درست‌وحسابی خروجی‌اش رو بررسی و تأیید کنن، هی کمتر بشن. این موضوع رو Verification Bottleneck اسم گذاشتن و مدیریت این موصوع یکی از ابهامات جهان تک در آینده‌ست. @silicon_brain | از هوش مصنوعی عقب نمانید

علاوه بر PHP، این هفته، برای گیت‌لب، Node.js و NginX هم آسیب پذیری های Critical اعلام شده چه خبرهههه 😂

داستان آسیب‌پذیری خطرناک PHP که طی چند روز اخیر سروصدا کرده، چیه؟ این آسیب‌پذیری‌ به اسم PHP2Shell می‌تونه در شرایط خاص به مهاجم اجازه بده بدون نیاز به لاگین، از راه دور روی سرور کد اجرا کنه.

مشکل از کجا شروع شده؟

ریشه‌ی این آسیب‌پذیری به نحوه‌ی مدیریت حافظه در هسته‌ی PHP برمی‌گرده نه به یک افزونه یا فریم‌ورک خاص. وقتی پردازش یک درخواست به‌دلیل خطای حافظه یا یک خطای بحرانی ناگهانی متوقف می‌شه، ممکنه ساختارهای داخلی PHP به‌درستی پاک‌سازی نشن. در نتیجه، بخشی از کد با حافظه‌ی مقداردهی‌نشده یا اشاره‌گرهایی به حافظه‌ی آزادشده کار می‌کنه؛ شرایطی که با مفاهیمی مثل Memory Corruption و Use-After-Free (UAF) شناخته می‌شن.

چطوری کشف شده؟

محققان امنیتی شرکت Calif با کمک مدل هوش مصنوعی GPT-5.6 Sol در حال بررسی کد منبع PHP بودن که تونستن مسیرهایی برای اجرای کد از راه دور پیدا کنن. تیم Wiz هم به‌صورت مستقل این مشکلات رو بررسی و گزارش کرد. این اتفاق نشون می‌ده که تحلیل کد با کمک هوش مصنوعی می‌تونه باگ‌هایی رو پیدا کنه که سال‌ها داخل کد وجود داشتن، اما اثر امنیتی‌شون به‌درستی شناسایی نشده بود.

چرا این آسیب‌پذیری جدیه؟

چون مشکل در خود PHP قرار داره و محدود به WordPress یا یک CMS خاص نیست. بسته به نسخه و تنظیمات سرور، مهاجم ممکنه بتونه بدون احراز هویت به اجرای کد روی سرور برسه.

اگه سرور PHP دارین، نسخه‌ی PHP رو بررسی کنین، اصلاحیه‌ی رسمی رو نصب کنین و لاگ‌ها رو برای نشانه‌های احتمالی سوءاستفاده بررسی کنین. صرفاً آپدیت‌کردن هم لزوماً به معنی نبود نفوذ قبلی نیست.

@silicon_brain | از هوش مصنوعی عقب نمانید

🔴 اگر با هوش مصنوعی فقط عکس و متن می‌سازی، بخش پول‌سازش را هنوز ندیده‌ای! در یک کارگاه آنلاین و رایگان یاد می‌گیری چطور با کمک هوش مصنوعی، یک سیستم واقعی برای جذب مشتری و فروش بسازی؛ از پیدا کردن ایده مناسب تا تولید محتوا و پیگیری مشتری‌ها. ✅ مناسب افراد بدون تجربه قبلی ✅ آموزش کاملاً فارسی و قدم‌به‌قدم ✅ قابل اجرا با گوشی یا لپ‌تاپ ✅ همراه با نقشه عملی شروع کار 🎁 شرکت در این نوبت کارگاه رایگان است. همین الان ثبت نام کن👇🏻 https://monetizeai.site/252 ⚠️ این کارگاه وعده پولدارشدن یک‌شبه نمی‌دهد؛ یک مسیر اجرایی قدم به قدم + همه ابزار هاییه که نیاز داری ⚠️ این کارگاه وعده پولدارشدن یک‌شبه نمی‌دهد؛ یک مسیر اجرایی قدم به قدم + همه ابزار هاییه که نیاز داری

آنتروپیک از Claude Security رونمایی کرده - اسکن خودکار و مداوم آسیب‌پذیری‌های کد از مشکلات ابزارهای قدیمی Security Scanning این بود که فقط یه تصویر لحظه‌ای از آسیب‌پذیری‌ها بهت می‌دادن اما کد مدام تغییر می‌کرد و نتایج اسکن قدیمی می‌شدن. حالا Claude Security این فرآیند رو خودکار کرده. کافیه Repositoryهاتون رو از طریق GitHub، GitLab یا سایر گیت ها متصل کنین و Claude یه اسکن عمیق اولیه انجام می‌ده و بعد با هر تغییر در کد، به‌صورت خودکار دوباره اسکن می‌کنه. یکی از قابلیت‌های جالبش Fix Tracking هست. وقتی تیم شما یه آسیب‌پذیری رو برطرف می‌کنه، Claude تغییرات رو بررسی می‌کنه و Issue رو به‌عنوان Resolved علامت می‌زنه حتی اگه اصلاح خارج از Claude Security انجام شده باشه. اگه همون باگ بعداً دوباره برگرده Finding به‌صورت خودکار باز می‌شه.

چند قابلیت دیگه:

تولید Threat Model بر اساس کد واقعی پروژه، با امکان ویرایش توسط تیم شناسایی آسیب‌پذیری‌هایی که از مرز چند Repository یا Service عبور می‌کنن @silicon_brain | از هوش مصنوعی عقب نمان

آمار‌های رسمی جهانی نشون میده تعداد بیزینس‌های ساخته شده بعد از ظهور هوش مصنوعی بیشتر از تعداد افرادی هست که از شرکت‌ها کنار گذاشته شدن... این نشون میده تعداد موقعیت های شغلی کم‌تر نشده و داره از کارمندی به سمت کارفرمایی تمایل پیدا میکنه @silicon_brain | از هوش مصنوعی عقب نمانید

تویی که اینجا میگی تو این کانال از هوش مصنوعی عقب موندی 😂 همین پست آخر یه مثال خوبیه از اینکه تو این کانال هیمشه آپدیت میمونی: ممکنه این ویدیو ربات Duck رو اخیرا جاهای مختلف دیده باشی ولی نمیدونستی که این ربات یه Workflow ای از Hermes هست که تو یک محیط شبیه سازی آموزش دیده او از اونجایی که هم Hermes اوپن سورس هست و هم مدل های Local رو با Ollama میتونی بیاری بالا و تو یک محیط تر تمیز Agent خودتو مثل این ربات بسازی و در نهایت das macht spaß :) لذا لا*ی نباش 😂

احتمالا ویدیو جدید Nvidia از ربات Duck رو دیدین (اگه ندیدی اینجا ببین) نکته‌ی جالب این ویدیو فقط حرکت کردن یه ربات نیست بلکه اینه که چطور با کمک AI Agent می‌شه تقریباً کل فرآیند ساخت محیط شبیه‌سازی تا آموزش ربات رو با یک پرامپت انجام داد توی دمو، آقای هواهنگ از Hermes Agent محصول Nous Research استفاده میکنه، Hermes خودش رو راه‌اندازی و تنظیم کرد و بعد ابزارهای مختلف رو برای اجرای یک Pipeline کامل با هم هماهنگ کرد.

فرآیند به این شکل بود

مدل Nemotron مسیر حرکت و موانع رو طراحی کرد، بعد GPT-6 Astra با استفاده از ابزارهایی مثل FreeCAD، Blender، Omniverse، Newton و Isaac Lab محیط شبیه‌سازی رو ساخت. در ادامه، هزاران نمونه از ربات Microduck به‌صورت موازی داخل محیط شبیه‌سازی آموزش دیدن تا در نهایت یک Policy مناسب به دست اومد و روی ربات فیزیگی اجرا شد. نکته‌ی مهم اینجاست که Hermes خودش همه‌چیز رو از صفر انجام نمی‌ده؛ بلکه نقش Orchestrator رو داره @silicon_brain | از هوش مصنوعی عقب نمانید

آیا تمام ترکیب‌های ممکن از اعداد و حروف در اعشار عدد π وجود دارند؟ عدد π برابر با ۳٫۱۴۱۵۹۲۶۵۳۵… است و ارقام اعشاری آن تا بی‌نهایت ادامه دارن، بدون اینکه الگویی تکرارشونده و ثابت داشته باشن. در ریاضیات، مفهومی به نام «نرمال بودن» وجود داره. اگه π در مبنای ۱۰ نرمال باشه، هر رشتهٔ متناهی از ارقام، مثل "123456789" یا "27101998"، نه‌تنها یک بار، بلکه بی‌نهایت بار در اعشار آن ظاهر می‌شن. این ویژگی رو میشه به حروف و متن‌ها هم داد. اگر هر حرف را با یک کد عددی مشخص نمایش دهیم مثلا با کد مثلاً با یه کد رمزگذاری ساده مثل این:

A=01 B=02 C=03 ... ... Z=26

در این صورت، اسم ALI به رشتهٔ 011209 تبدیل میشه. میشه اسم‌خودت، ایم معشوقت، جملاتی که دوس داری، شعرها و حتی کتاب‌ها رو به رشته‌های عددی تبدیل کرد. در صورت نرمال بودن π، رشتهٔ عددی هر متن متناهی در اعشار آن وجود خواهد داشت.

اما یک نکتهٔ اساسی وجود دارد: تا امروز نرمال بودن عدد π در مبنای ۱۰ اثبات نشده. بررسی میلیاردها یا حتی تریلیون‌ها رقم ابتدایی آن، شواهدی دربارهٔ رفتار آماری ارقام فراهم می‌کنه، اما نمیشه وجود تمام رشته‌های ممکن رو در کل دنباله اثبات بکنه

 بنابراین، این ادعا که تمام ترکیب‌های ممکن از ارقام در π وجود دارن، هنوز یک نتیجهٔ اثبات‌شده نیست اما در صورت نرمال بودن این عدد، نتیجه‌ای قطعی خواهد بود. @silicon_brain | از هوش مصنوعی عقب نمانید

مفهوم Prefill، Decode و KV Cache - پشت‌صحنه‌ی تولید پاسخ در LLMها وقتی به یک LLM درخواست می‌دیم، فرآیند تولید پاسخ معمولاً به دو مرحله‌ی اصلی تقسیم می‌شه:

Prefill Phase

در این مرحله، مدل کل Prompt ورودی رو پردازش می‌کنه. مثلاً اگه یک Context شامل ۱۰ هزار Token به مدل بدیم، مدل باید این Tokenها رو از لایه‌های مختلف Transformer عبور بده و Representation اون‌ها رو محاسبه کنه. در همین فرآیند، مقادیر Key و Value مربوط به هر Token هم محاسبه و ذخیره می‌شن. این مرحله معمولاً به Parallel Computation زیادی نیاز داره و سرعتش به عواملی مثل طول Context، قدرت محاسباتی GPU و Memory Bandwidth وابسته است.

Decode Phase

بعد از Prefill، مدل شروع به تولید پاسخ می‌کنه. در هر مرحله، Token جدیدی تولید می‌شه و مدل با استفاده از Tokenهای قبلی، Token بعدی رو پیش‌بینی می‌کنه. برخلاف Prefill که می‌تونه Tokenهای ورودی رو به‌صورت موازی پردازش کنه، در Decode تولید Tokenها ذاتاً ترتیبیه یعنی معمولاً باید Token فعلی تولید بشه تا تولید Token بعدی ادامه پیدا کنه. به همین دلیل، در بسیاری از سناریوها، سرعت Decode به Memory Bandwidth و انتقال داده‌ها وابستگی زیادی داره چون مدل باید وزن‌های خودش و اطلاعات Context قبلی رو برای تولید هر Token بخونه.

حالا KV Cache چیه و چرا مهمه؟

بدون KV Cache، مدل برای تولید هر Token جدید مجبور می‌شد Key و Value مربوط به Tokenهای قبلی رو دوباره محاسبه کنه؛ کاری که هزینه‌ی محاسباتی زیادی داشت. KV Cache مقادیر Key و Value محاسبه‌شده در مراحل قبلی رو نگه می‌داره تا مدل بتونه برای تولید Tokenهای بعدی از اون‌ها استفاده کنه. در نتیجه، محاسبات تکراری کاهش پیدا می‌کنن و فرآیند Decode کارآمدتر می‌شه. تو این پست بیشتر میتونین در این مورد بخونی

چرا این تفکیک برای زیرساخت AI مهمه؟

بخش Prefill: معمولاً به Throughput محاسباتی بالا نیاز داره. بخش Decode: معمولاً به Memory Bandwidth و مدیریت کارآمد KV Cache حساس‌تره. KV Cache: یکی از عوامل اصلی تعیین‌کننده‌ی میزان Concurrency و تعداد Requestهایی هست که می‌تونن هم‌زمان روی GPU اجرا بشن.

به همین دلیل، بعضی زیرساخت‌های LLM از معماری Disaggregated Serving استفاده می‌کنن یعنی منابع یا GPUهای مربوط به Prefill و Decode رو جدا مدیریت می‌کنن تا هر مرحله متناسب با Bottleneck خودش بهینه بشه.

@silicon_brain | از هوش مصنوعی عقب نمانید

پرتاب بعدی تو از پرتاب قبلیت خبر نداره (نتیجه‌ی هر پرتاب مستقله) پس دوباره پرتاب کن

کوانتیزیشن (Quantization) در LLM فرض کن یه مدل ۷ میلیارد پارامتری داریم که وزن‌هاش با دقت floating point 16 ذخیره شدن. این مدل برای نگهداری وزن‌هاش حدود ۱۴ گیگابایت حافظه نیاز داره. حالا اگه وزن‌ها رو به INT8 تبدیل کنیم، این مقدار تقریباً به ۷ گیگابایت می‌رسه و با کوانتیزیشن ۴ بیتی (INT4) می‌تونه به حدود ۳.۵ گیگابایت کاهش پیدا کنه! البته این اعداد فقط مربوط به وزن‌های مدل هستن و برای اجرای واقعی، حافظه‌ی بیشتری هم برای مواردی مثل KV Cache و سربارهای اجرایی نیاز داریم.

مزیت اصلی Quantization

اینه که می‌تونیم مدل‌های بزرگ‌تر رو روی سخت‌افزارهای ضعیف‌تر اجرا کنیم، مصرف حافظه رو کاهش بدیم و در بعضی شرایط سرعت inference رو هم افزایش بدیم. این موضوع مخصوصاً برای اجرای لوکال مدل‌ها روی کامپیوترهای شخصی یا کاهش هزینه‌های استفاده از GPU اهمیت زیادی داره.

البته کوانتیزیشن بدون هزینه نیست

وقتی دقت عددی وزن‌ها رو کاهش می‌دیم، ممکنه کیفیت خروجی مدل هم کمی افت کنه. میزان این افت به مدل، روش کوانتیزیشن و نوع کاربرد بستگی داره. @silicon_brain | از هوش مصنوعی عقب نمانید

🤖 از داده‌ها یاد بگیرید؛ با پایتون مدل‌های هوشمند بسازید! امروزه یادگیری ماشین (Machine Learning) یکی از مهم‌ترین مهارت‌ها در دنیای هوش مصنوعی و تحلیل داده است؛ مهارتی که به شما کمک می‌کند از داده‌های خام، الگوهای ارزشمند استخراج کنید و مدل‌هایی بسازید که بتوانند پیش‌بینی، طبقه‌بندی و تصمیم‌گیری کنند. در دوره ماشین لرنینگ با پایتون، مسیر یادگیری از مفاهیم پایه تا پیاده‌سازی الگوریتم‌های کاربردی را به‌صورت عملی دنبال می‌کنید و با ابزارها و کتابخانه‌های پرکاربرد پایتون در حوزه Machine Learning کار خواهید کرد. اگر می‌خواهید پایتون را از یک زبان برنامه‌نویسی به ابزاری برای ساخت مدل‌های هوشمند تبدیل کنید، این دوره می‌تواند شروعی جدی برای ورود شما به دنیای Machine Learning باشد. برای ثبت‌نام میتونی به سایت ما مراجعه کنی🔗 https://link.sharif.ac/QOUu3 ➖➖➖➖➖➖➖➖➖➖➖➖ ☎️ مشاوره و ثبت‌نام: 02167641999 📲 مشاوره بله: https://ble.ir/Jdsharif_626 ➖➖➖➖➖➖➖➖➖➖➖➖ 🔹 جهاد دانشگاهی صنعتی شریف؛ یک پله بالاتر از تخصص...

Next-Concept Modelingرویکردی متفاوت برای تولید متن توسط AI پژوهشگرهای استنقورد یه معماری جدید به اسم NCM معرفی کردن که روش تولید متن رو تغییر می‌ده. مدل‌های معمولی مثل LLMهای Autoregressive متن رو Token به Token تولید می‌کنن اما NCM ابتدا یک نمایش کلی از پاسخ می‌سازه و بعد مرحله‌به‌مرحله جزئیات رو اضافه می‌کنه شبیه وقتی که اول ساختار یک مقاله رو مشخص می‌کنی و بعد سراغ نوشتن پاراگراف‌ها می‌ری. این معماری از Hierarchical Discrete Codes استفاده می‌کنه یعنی اطلاعات پاسخ در چند سطح از کلی به جزئی نمایش داده می‌شن. در هر سطح، مدل می‌تونه چندین کد رو به‌صورت موازی پیش‌بینی کنه و حتی بعضی خطاهای مراحل قبلی رو اصلاح کنه.

نتایج اولیه امیدوارکننده‌ان

▫️تولید متن تا ۱۰ تا ۳۱ برابر سریع‌تر از بعضی مدل‌های Diffusion در آزمایش‌ها ▫️استفاده از ۴ تا ۵ برابر Token کمتر برای Training در برخی Benchmarkها ▫️عملکرد بهتر در بعضی Taskها، مثل حل Sudoku و Summarization

هنوز NCM جایگزین LLMهای فعلی نیست اما نشون می‌ده تولید متن الزاماً نباید فقط بر اساس پپیش‌بینی Token بعدی انجام بشه

@silicon_brain | از هوش مصنوعی عقب نمانید

دسترسی اکانت های حساس مثل Gmail، Github، Drive و چیزای حساس این شکلی رو به هیچ Agent هوش مصنوعی ندین. چون تمام دیتاهای شما بین این شرکت ها به اشتراک گذاشته میشه و با توجه به اینکه وضعیت حریم خصوصی تو آینده زیاد مشخص نیست، بهتره احتیاط کنیم. هر چقدر هم بخوای Automation کامل داشته باشی، بعضی جاها باید یه سری چیزا رو خودت انجام بدی. اینو یه اصل در نظر بگیرین @silicon_brain | از هوش مصنوعی عقب نمانید