Singular Thinker

خب ما داریم شروع میکنیم...

امشب ساعت ۱۹:۰۰ جلسه بعدی حلقه نظریه یادگیری برگزار میشه. این جلسه حسین سومین قسمت از سری تحلیل همگرایی الگوریتم SGD رو ارائه می‌ده. در دو جلسه‌ی قبل نرخ همگرایی SGD رو با فرض لیپشیتز و محدب قوی بودن بررسی کردیم. این جلسه می‌خوایم از این نتایج برای مساله‌هایی که توی یادگیری ماشین سر و کلشون پیدا می‌شه، استفاده کنیم. دو قسمت قبلی از این سری روی یوتیوب آپلود شده و لینک‌هاش در صفحه زیر در دسترس هست: https://learning-theory-circle.github.io/ لینک گوگل‌میت برای شرکت هم داخل همین صفحه هست. Source: https://lnkd.in/p/djAXE3bp @SingularThinker

و حتی خیلی قبل ترش از مدلی که نمیتونست XOR رو حل کنه. از آقای Marvin Minsky و Turing البته :)

داستان این کانال رو من تعریف نکردم هیچ‌جایی و الان هم قصد ندارم که کامل داستان این کانال رو شروع کنم و تعریف کنم که چی شد اصلا چجوری اسمش انتخاب شد و همه اینا باشه برای یه وقت دیگه‌ای ولی این Singular اولش از تکینگی میاد که فکر کنم هیچ وقت هم اصلا نرسیدیم راجع بهش درست صحبت کنیم و توی کانال پست بذاریم. من یه مدت در دوران کارشناسی دنبال فلسفه بودم و دنبال فلسفه‌ی علم و فلسفه‌ی هوش مصنوعی و اینا و اصلا باب آشنایی من با هوش مصنوعی و AI از طریق فلسفه بود. که این خودش خیلی خنده‌داره که اصلا تو و فلسفه و هوش مصنوعی و اینا چیکار می‌کنی؟ و خب اون موقع مثلا تد تاک زیاد می‌دیدم و اصلا ماجرا از یک تحقیقی شروع شد که یکی از دوستام بهم گفت برو راجع به سینگولاریتی صحبت کن و من هم مثلا رفتم و جادی یه پادکستی داره اپیزود صفرش فکر کنم، اگه اشتباه نکنم و درست یادم بیاد و بعدا هم یه تد تاک داره خودش فکر کنم. همیشه مثلا توی صحبت‌ها می‌گفتن که نقطه‌ی تکینگی یا سینگولاریتی یک جاییه که هوش این مدل‌ها از هوش انسانی فراتر میشه و اونجا جاییه که آدم‌ها دیگه نمی‌فهمن که چی داره میشه. من نمی‌خوام بگم که هنوز به اون نقطه رسیدیم یا نرسیدیم یا چقدر دیگه می‌رسیم چیزی هستش که من راجع بهش ادعایی داشته باشم که بدونم یا هر چیزی ولی جالبیش اینجاستش که من دارم کم‌کم می‌فهمم که منظور اون یارویی که مثلا ۶-۷ سال پیش داشت می‌گفتش که ما به یک نقطه‌ای می‌رسیم که دیگه نمی‌فهمیم یعنی چی؟ چون الان می‌بینم که مثلا کانترویچ داره می‌گه که بابا این یک مسئله از ۷۰۰ تا مسئله به تنهایی انقدر سنگین و قویه که اگه کسی این رو منتشر می‌کرد، حتی ورژن‌های خیلی ضعیف‌تری از این رو جایزه فیلدز می‌برد. یعنی هنوز مثلا انگار تا اینجا داریم باز می‌فهمیم که چه خبره. حداقل به عنوان کل جامعه انسانی دیگه، و گر نه من که نه ولی انگار یه چیزهایی هست که نشون می‌ده که داریم به جایی می‌رسیم که ممکنه مثلا یه ریزالتی بیاد که حتی دیگه هیچ کسی از ریاضی‌دانا هم نفهمه و ممکنه حالا ما سالها به جای اینکه وقت بذاریم و یک مسئله رو حل کنیم وقت بذاریم و حل یک مسئله رو حل کنیم. خیلی عجیبه واقعا. واقعا جالبه. و همه اینها از یک شبکه عصبی شروع شد که تشخیص می‌داد این سگه یا گربه است Amazing. #note @SingularThinker

چشمانش مدل های منتشر نشده OpenAI بود و من یه open problem ساده :)))

OpenAI just released 722 AI-written math papers. https://github.com/openai/math

🐈‍⬛ Learning Theory Circle — Session 6 We're holding a biweekly reading group on the theory of deep learning. Every other Sunday, one person presents a paper followed by an open discussion. 🗓 Sunday, Oct 11 · 7:00 PM (Tehran, UTC+3:30) 🎤 Hosein Rahnama 📄 "Convergence Analysis of SGD in Convex Optimization Problems" 🎥 On Google Meet 🔗 Schedule, links & past talks: learning-theory-circle.github.io Want to present a future session? Get in touch or open a PR on the webpage. See you Sunday! #learning_theory @SingularThinker

درود به همگی. به دلیل اختلال سراسری توی مراکز داده، یه مشکلاتی برای اینترنت ایران پیش اومده. برای همین، جلسه‌ی دوم این ارایه با ۲ ساعت تاخیر شروع می‌شه. اگه مشکلی پیش نیاد، راس ساعت ۹ شب شروع خواهیم کرد.

بلاخره subjective یا objective؟ بحث این بود که توی احتمال، رویکرد frequentist(فرواوانی گرا) یه رویکرد objective عه برعکس رویکرد bayesian(بیزی) که subjective عه. اما خب نکته اینه که هردو رویکرد می تونن هم subjective باشن و هم objective، صرفا توی هر کدوم یکی ازینا غالب تره. قبل از اینکه این بحث رو باز کنم و ادامه بدم توی احتمال بیاین این 3 تا framework رو در نظر بگیرید: 1- Classical - equally likely outcomes 2- Frequentist - relative frequency 3- Bayesian - personal perspective خب توی framework کلاسیک، همونطور که نوشتم معمولا در موقعیت هایی تعریف می شه که نتایج ممکن شانس برابر داشته باشن، مثال معروفشم همون پرتاب تاسه، 6 نتیجه ممکن داریم که هرکدوم به یک اندازه محتمل ان. توی framework فراوانی گرا، احتمال یک رویداد، به فراوانی نسبی اون رویداد در تکرار های فرضی بی نهایت مربوط می شه. حالا این سوال رو در نظر بگیرید: "احتمال اینکه جهان تا ابد منبسط بشه چقدره؟" خب حالا اینجا اگر جهان کاملا deterministic باشه، در این صورت تحت پارادایم فراوانی گرا جواب سوال می شه احتمال 0 یا 1. یعنی یا جهان منبسط می شه یا نمی شه. حالا برای همین سوال اگر نظریه ای رو در نظر بگیریم که بی نهایت جهان موازی وجود داره و بعد بیایم مجموعه ی این جهان ها رو در نظر بگیریم، می تونیم بپرسیم که "چه کسری از این جهان ها تا ابد منبسط می شن؟" و همین می شه جواب احتمال ما برای پاسخ سوال تحت پارادایم فراوانی گرا. خب حالا بریم سراغ بیزی. توی framework بیزی، احتمال می تونه نشون دهنده ی میزان عدم قطعیت یک فرد درباره یک گزاره باشه یا اطلاعاتی که اون فرد از پیش دارع درواقع. مثلا اینجا همون سوال که "احتمال اینکه جهان تا ابد منبسط بشه چقدره؟" پاسخش برمی گرده به اطلاعاتی که ما ازین قضیه داریم. می رسیم به نکته ی بسیار مهم. چیزی که توی رویکرد بیزی خیلی مهمه، مفهوم coherence عه. یعنی این احتمالات باید حتما با قواعد احتمال سازگار باشه و دچار dutch book نشید. خب حالا دقیقا همینجاها هم هست که بحث سابجکتیو بودن و آبجکتیو بودن مطرح می شه. رویکرد بیزی پس همچین سابجکتیو هم نیست یعنی شما جدا از اون اطلاعات پیشین طبق یه evidence و همچنین رعایت تمام قواعد احتمال میاید صحبت می کنید. توی دیدگاه فراوانی گرا هم با اینکه غالبا آبجکتیوه، اما خود انتخاب مدل، سطح معناداری آزمون، طرح آزمایش و همه ی اینها خواه ناخواه سابجکتیوه. خب حالا اینا به چه درد می خوره؟ قصه گفتیم دوستان. اگر علاقه مند بودیم به این کتاب برای فلسفه احتمال رجوع کنید: 🖇Philosophical Theories of Probability - Donal Gillies

باز بگید پدر میم آکادمیک ایران من نیستم😂 #meme @SingularThinker

ب‌aiاید و بpublish‌اید ولی اصراف نکنید😂 یا اینکه چرا توییتر آکادمیک رو به لینکدین ترجیح میدم. یارو استاد تورنتو شلنگ رو گرفته روشون😂

🔗 Susan Zhang (@suchenzang) In the middle of the singularity, 3 professors (MIT, Stanford, TUM) join together to release a beautiful AI slop paper. Bros literally went to the AI slop casino to present a Las Vegas algorithm. ➖➖➖➖➖➖➖➖➖➖➖ 🔗 Sasho Nikolov (thesasho@bsky.social) (@thesasho) This is not a well written paper and IMO it’s shameful for three so well established researchers to be rushing out blatant slop like this

خب من یه چیزی رو تصحیح بکنم چون ازین حرف من یکمی سوبرداشت شد انگاری. طبعا منظورم از فهم یه چیز معقول و ابتداییه. کسی انتظار نداره که با دیدن چهارتا ویدئو شما تبدیل به یه محقق خفن بشید. لطفا خودتون هم از خودتون این انتظارو نداشته باشید. من خودمم اصلا چنین تصوری رو از خودم ندارم. اصلا علت اصلی برگزاری این جلسات برای خودم اینه که فهم و یادگیری ام رو عمیق تر بکنم. کلا من بعضی وقتا این سندروم شوهرعمه بی قرارم عود میکنه ولی آدما جدی میگیرن 🥸 خلاصه که اگه دیدید و جالب بود براتون پیام بدید خجالت نکشید. واقعا after party هم خواهیم داشت.

TMLR has faced a deluge of submissions, necessitating stricter desk rejection policies due to limited reviewer capacity Co-EiC Nihar Shah reached out to authors of 10 papers slated for desk reject. Could they answer questions about their *own* submission? https://medium.com/@TmlrOrg/asking-authors-about-their-own-papers-3d2e04e5dee0 Spoilers: all 10 ended up being desk rejected. - 1 paper withdrawn - 1 author was too busy for a call - 1 author no-showed - Authors of 3 papers couldn't answer basic qs - Authors of 3 papers could, but not technical qs - 1 author answered all qs, but paper had a major flaw Another detail that might be interesting to folks: "The fraction of desk rejected papers at TMLR used to be about 6% in 2023 but is now at about 53%." (Important caveat that our policies and stances towards desk rejection have shifted, not just submission quality.) 🔗 Transactions on Machine Learning Research (@TmlrOrg) @SingularThinker

خب من برگشتم تا دوباره قصه رو پی بگیریم. فردا به شرط حیات میخوام که ادامه جلسات پک بیز رو دوباره استارت بزنم. در این دوره جدید مباحث دوره قبلی رو تکمیل میکنیم و یکم از فاز مقدماتی فاصله میگیریم و به بحثای عمیق ترش ورود میکنیم. اینجا کلا در مورد این که دوره اول در مورد چی بوده توضیح دادم: https://t.me/SingularThinker/1060 اسلایدها و ویدئوها رو هم از سایت زیبامون ببینید: https://learning-theory-circle.github.io/ مثه دفعه های قبل ویدئوها رو در اخر دوره ریلیز میکنم و تا قبل ازون ویدئو جلسات پخش نمیشه. لطفا اصرار نفرمایید🥸 جلسه ها در روز یکشنبه برگزار میشود و ساعت برگزاری جلسات ساعت ۱۹ به وقت ایران هست. پیش نیاز شرکت در جلسات حضور/مشاهده و فهم جلسات قبلی هست مخصوصا چهار جلسه اول. اگه تمایل به شرکت در جلسات دارید و تنها در صورتی که در جلسات قبل شرکت داشتید یا ویدئوها رو مشاهده کردید به من پیام بدید. برای چک کردن پیش نیازها شاید مثه ژورنال TMLR یه سوالی بپرسم ازتون پس آماده بیاید. ماجرای TMLR رو در پیام بعدی ببینید. @SingularThinker

At the ICM 2026 there were several talks on machine learning (available on youtube). https://youtu.be/l-29P4oEXKE?si=MUWLoC2i4pERfPcs Here you can access to the full proceedings of the congress https://epubs.siam.org/doi/book/10.1137/1.ICM26. In particular, I point out the invited lectures by Peyre, Rigollet, and Tropp  https://epubs.siam.org/doi/book/10.1137/1.9781611978735 and two plenaries by Peter Bartlett and Stephen Wright https://epubs.siam.org/doi/10.1137/1.9781611978636. Enjoy!! @SingularThinker

فیلم ضبط شده ارائه رو میتونید در یوتیوب ببینید: https://youtu.be/RZYYJiZQpAI?si=15Cp1UwjF-SacI0R @SingularThinker