یادگیری ماشین

مصاحبه با برندگان جایزه‌ی تورینگ ۲۰۱۸ (Hinton ،LeCun و Bengio). نکته‌ی جالب این مصاحبه‌ها این است که به بریده‌هایی از زندگی این افراد از زمان کودکی تا بزرگسالی آنها پرداخته شده است. https://www.youtube.com/watch?v=z9Fz96Mr4bM https://www.youtube.com/watch?v=oUa8Jk04tZQ https://www.youtube.com/watch?v=PHhFI8JexLg

پروفسور یاشوا بنجیو در سخنرانی خود در کنفرانس NeurIPS 2019 به مفهوم "سیستم یک" و "سیستم دو" اشاره می‌کند: https://www.youtube.com/watch?v=T3sxeTgT4qc این مفاهیم توسط دانیل کانمن برنده‌ی جایزه‌ی نوبل اقتصاد ۲۰۰۲ در کتاب معروف ایشان با عنوان “تفکر، سریع و آهسته” مطرح شده است و اشاره به این دارد که فرآیند تفکر انسان به دو دسته تقسیم می‌شود: “سیستم یک” که سریع و بطور ناخودآگاه عمل می‌کند و “سیستم دو” که بصورت آگاهانه و آهسته عمل می‌کند. بنجیو اشاره می‌کند که دستاوردهای فعلی یادگیری ماشین در حوزه‌ی "سیستم یک" بوده است و در آینده شاهد موفقیت‌های ماشین‌های هوشمند در حوزه‌ی "سیستم دو" خواهیم بود. مصاحبه‌ی زیر با دانیل کانمن نیز که اخیرا منتشر شده است، به علاقه‌مندان توصیه می‌شود: https://www.youtube.com/watch?v=UwwBG-MbniY

مجموعه‌ای نسبتاً جامع از مقالات مرتبط با یادگیری عمیق روی گراف: https://github.com/DeepGraphLearning/LiteratureDL4Graph

پرفروش‌ترین کتاب‌های حال حاضر آمازون در حوزه هوش مصنوعی

یکی از محدودیت‌های شبکه‌های عمیق، پیچیدگی محاسباتی بالای آنها در هنگام استفاده در دنیای واقعی است که حوزه‌ی کاربرد آنها را محدود می‌کند. برای حل این مشکل، اگر بتوانیم دانش یاد گرفته شده در این شبکه‌ها را استخراج کنیم، می‌توانیم مدل‌های ساده‌تری برای این دانش بسازیم. حال سوال این است که چگونه دانش موجود در شبکه‌های عمیق را استخراج کنیم؟ هینتون به همراه دو محقق دیگر در سال ۲۰۱۵، مقاله‌ی زیر را به این منظور ارائه دادند. راهکار آنها این است که پس از آموزش شبکه، خروجی شبکه برای نمونه‌های مختلف بعنوان دانش یاد گرفته شده در نظر گرفته شود. این خروجی‌ها در قالب برچسب نرم (soft label) هستند، یعنی در هر نمونه، الگوهای کلاس‌های مختلف وجود دارد ولی به میزان متفاوت. به عنوان مثال، تصویر یک گربه، الگوهایی از کلاس‌های دیگر مانند سگ را نیز دارد. آنها نشان دادند که می‌توان شبکه‌ای ساده‌تر معادل شبکه‌ی اولیه با استفاده از این برچسب‌های نرم آموزش داد. حتی با حذف کامل نمونه‌های برخی کلاس‌ها مدل جدید قادر بود الگوی این کلاس‌ها را از نمونه‌های دیگر یاد بگیرد. این ایده در حوزه‌های مختلف مورد استفاده قرار گرفته است و یکی از جدیدترین این موارد، روش DistilBERT است که برای ساده‌سازی مدل زبانی معروف گوگل (BERT) ارائه شده است. https://arxiv.org/pdf/1503.02531.pdf https://arxiv.org/pdf/1910.01108

سخنرانی تورینگ (Turing Lecture) که بطور سالیانه توسط یک سخنران سرشناس در حوزه‌ی علوم کامپیوتر انجام می‌شود، امسال توسط Hinton و LeCun (از برندگان جایزه‌ی تورینگ ۲۰۱۸) برگزار شد. ویدئوی سخنرانی را می‌توانید در لینک زیر مشاهده کنید (سخنرانی از دقیقه‌ی ۱۰ شروع می‌شود): https://www.youtube.com/watch?v=VsnQf7exv5I

از سال ۲۰۱۲ تا ۲۰۱۸ بیشینه‌ی حجم محاسبات برای آموزش مدل‌های عمیق بیش از ۳۰۰ هزار برابر شده است: https://openai.com/blog/ai-and-compute/ این موضوع دو نتیجه‌ی نامطلوب به همراه داشته است: تاثیرات نامطلوب زیست‌محیطی آموزش این مدل‌ها و انحصاری شدن تحقیقات مربوط به هوش مصنوعی برای شرکت‌های بزرگی که امکان انجام این حجم محاسبات را دارند. چند روز پیش مقاله‌ا‌ی توسط مرکز هوش مصنوعی آلن، موضوع هوش مصنوعی سبز را برای مقابله با این چالش پیشنهاد داده است، به این معنی که کارایی روش پیشنهادی نیز در کنار دقت روش برای ارزیابی مورد توجه قرار گیرد: https://arxiv.org/pdf/1907.10597.pdf

کنفرانس ACL بعنوان معتبرترین رویداد حوزه‌ی پردازش زبان‌های طبیعی از دو روز دیگر در فلورانس ایتالیا آغاز به کار می‌کند. در لینک زیر آمارهایی از مقالات ارسال شده به این کنفرانس ارائه شده است: http://acl2019pcblog.fileli.unipi.it/?p=161 دو مورد قابل توجه: تعداد مقالات ارسالی نسبت به سال ۲۰۱۸ تقریبا دو برابر شده است. از ایران ۳ مقاله ارسال شده است که متاسفانه هیچ کدام پذیرفته نشده‌اند.

ابزاری برای کمک به تکمیل کد در حین برنامه‌نویسی (code autocompletion) مبتنی بر مدل GPT-2 آموزش داده شده روی حدود ۲ میلیون فایل از گیت‌هاب: https://tabnine.com/blog/deep?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter

معرفی ۱۰ کتاب مربوط به یادگیری ماشین. این ده کتاب به خوبی جنبه‌های مختلف مرتبط با هوش مصنوعی (اعم از هوش طبیعی، یادگیری ماشین، روش‌های احتمالاتی، یادگیری عمیق، یادگیری تقویتی، علوم داده و پیاده‌سازی با پایتون) را پوشش می‌دهند: https://www.youtube.com/watch?v=1lxHH1UBTBU

کتابخانه‌ای از مدل‌های پیش آموزش داده شده‌ی مربوط به پردازش زبان‌های طبیعی. این کتابخانه شامل مدل‌های لبه‌ی علم است بطوریکه حتی مدل XLNet را هم که حدود یک ماه پیش معرفی شده است (و در بسیاری از وظایف از BERT پیشی گرفته است) شامل می‌شود: https://github.com/huggingface/pytorch-transformers

کورس جدید پردازش زبان‌های طبیعی از fast.ai. ویژگی‌ کورس‌های fast.ai این است که از رویکرد بالا به پایین استفاده می‌کند، یعنی تمرکز بر پیاده‌سازی و سپس وارد شدن به جزئیات و مؤلفه‌های سیستم: https://www.youtube.com/playlist?list=PLtmWHNX-gukKocXQOkQjuVxglSDYWsSh9

مدل GPT-2 برای تولید متون توسط ماشین، در ماه‌های گذشته خروجی‌های چشمگیری ارائه داد و مورد توجه قرار گرفت. اخیراً huggingface ابزار زیر را در قالب یک محیط تعاملی ارائه داده است که بعنوان یک واسط از مدل GPT-2 می‌تواند مورد استفاده قرار گیرد. کافی است یک متن را در این محیط وارد کنید و با زدن دکمه‌ی tab پیشنهادهای ماشین را برای تکمیل متن وارد شده مشاهده کرده و احتمالاً شگفت‌زده شوید. https://transformer.huggingface.co

یک جمله‌ی جالب از پروفسور هینتون در این ویدئو: If you have an idea and it seems to you it has to be right, don't let people tell you it is silly. Just ignore them.

ویدئوی کوتاه تولید شده توسط ACM برای معرفی برندگان جایزه‌ی تورینگ ۲۰۱۸: https://www.youtube.com/watch?v=Fn589zeMij4&feature=youtu.be

کورس "شبکه‌های عصبی برای پردازش زبان‌های طبیعی" دانشگاه CMU ترم جاری: صفحه‌ی کورس: http://phontron.com/class/nn4nlp2019/index.html ویدئوها: https://www.youtube.com/watch?v=pmcXgNTuHnk&list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs

پس از بررسی دقیق‌تر و مکاتبه با نویسنده‌ی مقاله مشخص شد که حجم ۱.۵ مگابایت تخمین زده شده درواقع تخمینی از حافظه‌ی مورد نیاز برای بازنمایی خروجی است و به مدل ساخته شده در مغز برای تولید خروجی توجهی نشده است. این درحالی است که از عنوان مقاله این انتظار می‌رود که به دانش زبانی ذخیره شده در مغز پرداخته شود. بنابراین، برخلاف عنوان مقاله نمی‌توان نتیجه گرفت که حجم دانش زبانی یاد گرفته شده توسط انسان حدود ۱.۵ مگابایت است.

یک خلاصه از مقاله‌ای جالب که تخمین می‌زند حجم دانش زبانی که یک بزرگسال انگلیسی زبان (در حد متوسط) یاد می‌گیرد، حدود ۱.۵ مگابایت است (این را با حجم پارامترهای شبکه‌های عصبی موجود مقایسه کنید). همچنین اشاره می‌کند که اکثر این دانش مربوط به بُعد معنایی زبان (semantic) است نه بُعد نحوی (syntax). https://news.berkeley.edu/2019/03/27/younglanguagelearners/