یادگیری ماشین

کانال مرتبط مفید: https://t.me/nlp_stuff

ویدئوی ارائه‌ی دکتر خشابی: https://conf.ipm.ir/playback/presentation/2.0/playback.html?meetingId=5f8c24df54546e6668f301bfc0f338303ce6513f-1622559008074

مجموعه داده‌های پردازش زبان فارسی: وب‌سایتی برای سامان‌دهی مجموعه‌‌های موجود: https://nlpdataset.ir مجموعه‌ی ParsiNLU شامل شش وظیفه‌ی مختلف: https://github.com/persiannlp/parsinlu

مجموعه داده‌ی فارس‌تیل (FarsTail) بعنوان اولین مجموعه داده‌ی فارسی برای مسئله‌ی استنتاج زبانی با بیش از ۱۰۰۰۰ نمونه در قالب یک پروژه ۲ ساله توسط یک تیم ۶ نفره در آزمایشگاه داده‌کاوی و یادگیری ماشین دانشگاه قم تهیه شده است. برای اطمینان از کیفیت فارس‌تیل، مراحل تهیه‌ی داده براساس مجموعه داده‌های معتبر بین‌المللی (مانند SciTail) انجام شده و چند مرحله پاک‌سازی و برچسب‌زنی مجدد صورت پذیرفته است. مقاله در آرکایو: https://arxiv.org/pdf/2009.08820.pdf لینک در paperswithcode: https://paperswithcode.com/sota/natural-language-inference-on-farstail دانلود داده برای کارهای غیرتجاری: https://github.com/dml-qom/FarsTail

اخیرا زیرمجموعه‌ای از دستورات NumPy در تنسورفلو پیاده‌سازی شده است که امکان اجرای این دستورات روی جی‌پی‌یو را فراهم می‌کند. در این شکل، تفاوت سرعت اجرای عملیات جمع بین دو آرایه‌ی ۱۰۰ میلیون عنصری با استفاده از NumPy اصلی و NumPy پیاده‌سازی شده در تنسورفلو را مشاهده می‌کنید.

خواندن و حل سودوکو توسط هوش مصنوعی

مدل GPT-3 بعنوان جدیدترین مدل زبانی ارائه شده ۱۷۵ میلیارد پارامتر دارد. برای این‌که به حجم این تعداد پارامتر پی ببرید توجه کنید که نسخه‌ی Large مدل معروف BERT دارای ۳۴۰ میلیون پارامتر است، یعنی کمتر از ۰.۲ درصد پارامترهای GPT-3. نکته‌ی جالب مقاله‌ی GPT-3 که در عنوان مقاله نیز به آن اشاره شده است (Language Models are Few-Shot Learners) این است که نشان داده‌اند بدون نیاز به اصلاح کردن وزن‌های موجود در GPT-3 می‌توان این مدل را برای بسیاری از مسائل پردازش زبان طبیعی مورد استفاده قرار داد. فقط کافی است به GPT-3 متنی بدهید که شامل تعریف مسئله و چند نمونه‌ی پاسخ‌دار از آن مسئله به همراه ورودی مورد نظر باشد، و مدل زبانی با تکمیل کردن آن متن می‌تواند خروجی‌ای برای آن ورودی ارائه دهد. بعنوان مثال، برای ترجمه‌ی یک جمله‌ی فارسی به انگلیسی کافی است به GPT-3 بعنوان ورودی متن زیر را وارد کنید (بدون نیاز به اصلاح وزن‌های آن براساس نمونه‌های آموزشی): Translation Persian to English جمله‌ی نمونه‌ی اول به فارسی => ترجمه‌ی جمله‌ی اول به انگلیسی جمله‌ی نمونه‌ی دوم به فارسی => ترجمه‌ی جمله‌ی دوم به انگلیسی جمله‌ی نمونه‌ی آخر به فارسی => ترجمه‌ی جمله‌ی آخر به انگلیسی جمله‌ای که به دنبال ترجمه‌ی آن هستیم => در این‌صورت، مدل GPT-3 با تکمیل متن فوق، ترجمه‌ی جمله‌ی آخر را تحویل می‌دهد. دقت‌های گزارش شده در مقاله برای تعدادی از مسائل پردازش زبان طبیعی نزدیک مدل‌هایی است که بطور خاص منظوره برای آن وظایف آموزش داده شده‌اند. برای یک مرور انتقادی بر مقاله، ویدئوی زیر را مشاهده کنید: https://www.youtube.com/watch?v=SY5PvZrJhLE

دو فایل پی‌دی‌اف زیر، دو اسلاید از کورس مرتبط با پردازش زبان‌های طبیعی ارائه شده در دانشگاه نیویورک در ترم جاری است. موضوع اسلایدها این است: اگر می‌خواهید یک مقاله‌ی تاثیرگذار در حوزه‌ی پردازش زبان‌های طبیعی منتشر کنید، مهندسی فقط نیمی از کار است. نیمه‌ی دیگر شامل مواردی از جمله یافتن و مرور کارهای پیشین، طراحی آزمایش‌های موثر و تحلیل نتایج، مسائل اخلاقی و نگارش و انتشار مقاله است که در این دو اسلاید به آنها پرداخته شده است.

برای محققینی که در حوزه‌ی یادگیری ماشین فعالیت می‌کنند، مقایسه‌ی توانایی ماشین در یادگیری با رقیب سرسخت ماشین‌ها یعنی انسان‌ها نه تنها جذاب بلکه الهام‌بخش است. یکی از بهترین منابعی که در سال ۲۰۲۰ منتشر شده و به این موضوع می‌پردازد کتاب زیر است. نویسنده‌ی این کتاب، آقای استانیسلاس دوآن از نظریه‌پردازان سرشناس جهان در حوزه‌ی روانشناسی و علوم اعصاب شناختی است که با آشنایی با حوزه‌ی یادگیری ماشین و تسلط بر حوزه‌ی یادگیری انسان به خوبی به مقایسه‌ی یادگیری ماشین و انسان پرداخته است.

معماری transformer که در مقاله‌ای با عنوان attention is all you need در سال ۲۰۱۷ معرفی شد، یکی از مدل‌های بسیار موفق در پردازش زبان‌های طبیعی بوده است. بعنوان مثال، BERT یکی از کاربردهای transformer بود که در تعداد زیادی از وظایف پردازش زبان دقت‌های مدل‌های پیشین را بهبود بخشید. با این وجود، آموزش transformerها برروی دنباله‌های بزرگ از لحاظ پیچیدگی محاسباتی و حافظه‌ی مورد نیاز بسیار پرهزینه است. اخیرا گوگل یک مدل جدید به نام reformer معرفی کرده است که نسبت به transformer از لحاظ سرعت و حافظه بسیار کاراتر است. مقاله‌ی reformer در لینک زیر قابل دریافت است: https://arxiv.org/pdf/2001.04451.pdf پست مربوطه را در بلاگ هوش مصنوعی گوگل می‌توانید در لینک زیر مشاهده نمایید: https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html و در لینک زیر نیز می‌توانید یک اجرا از این مدل برای وظیفه‌ی تولید متون طبیعی پس از پردازش کتاب “جنایت و مکافات” داشته باشید: https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb

بریده‌ای از مصاحبه با پروفسور بنجیو (دقیقه‌ی ۴۴:۴۳ تا ۴۷:۱۰). توجه کنید که این یک ترجمه‌ی کلمه به کلمه از مصاحبه نیست. سوال: آیا این درست است که ما هنوز ماشینی با سطح هوش یک بچه‌ی دوساله نداریم؟ پاسخ: این سوال از اینجا ناشی می‌شود که ما فکر می‌کنیم هوش در یک بُعد قابل سنجش است (مثل آی‌کیو). اگر من شما را الان در بدن یک موش قرار دهم شما به‌زودی از گرسنگی می‌میرید یا توسط اولین گربه خورده می‌شوید. آیا این به این معنی است که موش از شما باهوش‌تر است؟ خیر! او هوشی را دارد که برای حیات در دنیای خودش نیاز دارد و شما هوشی که برای حیات در دنیای خودتان نیاز دارید. بنابراین، او از ابعادی هوشمند است و شما از ابعادی دیگر. حتی انسان‌ها هم در ابعاد مختلف هوشمند هستند. در مورد ماشین هم ما الان ماشینی داریم که می‌تواند در بعضی از بازی‌های فکری (مثل گو) انسان را شکست دهد ولی در بسیاری دیگر از ابعاد از انسان به مراتب عقب‌تر است. البته محققین تلاش می‌کنند در ابعاد بیشتری سطح هوشمندی ماشین به انسان نزدیک شود و هیچ دلیل موجهی نداریم که ثابت کند ماشین نمی‌تواند در همه‌ی ابعاد به هوشمندی انسان یا بیشتر دست پیدا کند. https://www.youtube.com/watch?v=PHhFI8JexLg