School of AI

پژوهش زیر به بررسی Graph Machine Learning در عصر LLMها می‌پردازد. https://arxiv.org/pdf/2404.14928

نسخه‌ی سوم مدل زبانی کوچک مایکروسافت (Microsoft Phi-3) منتشر شد. بلاگ معرفی: https://news.microsoft.com/source/features/ai/the-phi-3-small-language-models-with-big-potential/ دموی مدل روی هاگینگ‌فیس: https://huggingface.co/chat/models/microsoft/Phi-3-mini-4k-instruct

ابررایانه (Supercomputer) هوش مصنوعی جدید شرکت NVIDIA به‌نام DGX H200 امروز شخصا توسط Jensen Huang (مدیرعامل و موسس NVIDIA) به OpenAI برای پیش‌برد هوش مصنوعی، محاسبات و بشریت اهدا شد. - 256 H100 GPUs, - 32 Grace Neoverse V2 72-core CPUs, - 32 OSFT single-port ConnectX-7 VPI of with 400Gb/s InfiniBand and 16 dual-port BlueField-3 VPI with 200Gb/s of Mellanox

نسخه‌ی 0.20.0 از پکیج Supervision با قابلیت پشتیبانی از Keypoint Detection و Pose Estimation منتشر شد. https://github.com/roboflow/supervision/releases/tag/0.20.0

پس از Databricks، این‌بار پژوهش‌گران هوش مصنوعی در شرکت Snowflake دست‌به‌کار شده و مدل زبانی Arctic را با شعار efficiently intelligent and truly open منتشر کرده‌اند. معماری این مدل، ترنسفورمر ترکیبی (Dense+MoE) با ۱۲۸ خبره و تعداد کل ۴۸۰ میلیارد پارامترست که به کمک یک مکانیزم top-2 gating در هر لحظه فقط ۱۷ میلیارد پارامتر فعال داشته و به‌کمک ۳/۵ تریلیون توکن آموزش دیده‌ست. این مدل، تسک‌های سازمانی هم‌چون SQL Generation و Coding و Instruction Following را با دقتی در حد Llama3 70B انجام می‌دهد با این‌که هزینه‌ی بسیار کمتری (کم‌تر از ۲ میلیون دلار - حدود یک هفدهم) از لحاظ محاسبات، صرف آموزش آن شده‌ست. آموزش این مدل ۷ برابر محاسبات کم‌تری نسبت به مدل زبانی شرکت Databriks موسوم به DBRX دارد، بااین‌حال، در ریاضیات، استدلال و فهم زبان بهتر عمل می‌کند. وزن‌ها و کدهای این مدل تحت لیسانس Apache 2.0 به‌صورت کاملا اوپن-سورس منتشر شده‌ست. همچینین، تمام داده‌ها و بینش‌های پژوهشی نیز در اختیار عموم قرار گرفته‌ست. این مدل از امروز روی HuggingFace دردسترس است. https://huggingface.co/Snowflake/snowflake-arctic-instruct

پس از Databricks، این‌بار پژوهش‌گران هوش مصنوعی در شرکت Snowflake دست‌به‌کار شده و مدل زبانی Arctic را با شعار efficiently intelligent and truly open منتشر کرده‌اند. معماری این مدل، ترنسفورمر ترکیبی (Dense+MoE) با ۱۲۸ خبره و تعداد کل ۴۸۰ میلیارد پارامترست که به کمک یک مکانیزم top-2 gating در هر لحظه فقط ۱۷ میلیارد پارامتر فعال داشته و به‌کمک ۳/۵ تریلیون توکن آموزش دیده‌ست. این مدل، تسک‌های سازمانی هم‌چون SQL Generation و Coding و Instruction Following را با دقتی در حد Llama3 70B انجام می‌دهد با این‌که هزینه‌ی بسیار کمتری (کم‌تر از ۲ میلیون دلار - حدود یک هفدهم) از لحاظ محاسبات، صرف آموزش آن شده‌ست. آموزش این مدل ۷ برابر محاسبات کم‌تری نسبت به مدل زبانی شرکت Databriks موسوم به DBRX دارد، بااین‌حال، در ریاضیات، استدلال و فهم زبان بهتر عمل می‌کند. وزن‌ها و کدهای این مدل تحت لیسانس Apache 2.0 به‌صورت کاملا اوپن-سورس منتشر شده‌ست. همچینین، تمام داده‌ها و بینش‌های پژوهشی نیز در اختیار عموم قرار گرفته‌ست. این مدل از امروز روی HuggingFace دردسترس است. https://huggingface.co/Snowflake/snowflake-arctic-instruct

پژوهش‌گران Meta یک روش جدید و جالب به‌نام RA-DIT برای فاین‌تیون‌کردن همزمان مدل زبانی (LLM) و مدل بازیابی (Retrieval Model) معرفی کرده‌اند. در روش‌های قبلی، مدل زبانی، هنگام آموزش‌دیدن، با اطلاعات بازیابی (اطلاعات RAG) مواجه نمی‌شود، بنابراین قدرت بهره‌مندی مدل از این اطلاعات برای اصلاح Hallucinations کم‌ترست. روش RA-DIT این ضعف را پوشش می‌دهد. https://hubs.la/Q02tRZ9b0

یکی از دوستان به‌نام مهدی حسینی‌ مقدم، مدل Llama 3 رو برای متون فارسی fine-tune کرده‌اند: https://github.com/mehdihosseinimoghadam/AVA-Llama-3

پژوهش جدیدی که توسط محققان دانشگاه استنفود انجام شده، تقابل میان دانش درونی مدل‌های زبانی (Prior آن‌ها) و اطلاعات بازیابی‌شده در فرآیند RAG را بررسی و تحلیل کرده و نشان می‌دهد که RAG قادرست تا ۹۴ درصد از خطاهای موجود در Prior مدل‌ها را اصلاح کند.