Singular Thinker

ما داریم شروع میکنیم ...

ویدئوهای هر سه جلسه حسین هم توی سایت قرار گرفته. اگه دوست دارید که با مفاهیم بهینه سازی و تحلیل همگرایی SGD آشنا بدید فرصت خوبیه که شروع کنید. نزدیک به ۶ ساعت ویدئوست. خودش یه مینی کورسه. لینک جلسه اول: https://youtu.be/WOOS3aRTjpA?si=oyyM4ifVwk_FraLJ @SingularThinker

خودم به شخصه خیلی دوست دارم بیشتر در مورد Stein's Method بدونم چون خیلی روش مهمیه که تو خیلی از جاها بدرد میخوره. خیلی هم بحث تکنیکالیه.

🔔 فردا جلسه داریم! 🎉با یه مینی‌کورس جدید داریم برمی‌گردیم که برای من خیلی جذابه. امیرعباس اسدی قراره درباره‌ی «روش استاین» (Stein's Method) و کاربردهاش توی یادگیری ماشین صحبت کنه. 📅 یکشنبه ۳ آبان (۲۵ اکتبر) 🕖 ساعت ۱۹ به وقت تهران 📍 لینک جلسه: https://meet.google.com/csa-sbkw-ctm 🔗 جزئیات و چکیده: https://learning-theory-circle.github.io/talks/amirabbas-asadi-2026-oct-25 منتظرتون هستیم! 🙌

The computer used to obey you Freedom, ownership, and AI - who owns the internet, and what to do about it جادی بنظرم یکی از تولیدمحتوا کننده های خوب کامیونیتی فارسیه که شنیدن بهش واقعا جذابه [1]. تو قسمت اخیر رادیوجادی که به صورت لایو هم برگزار میشد، برخلاف قسمت های دیگه جادی اومد و ارائه ای داد در مورد تاریخچه کامیپوتر و تغییراتی که کامپیوتر در زندگی انسان ها ایجاد کرده. ازین که چطوری با برونسپاری بخشی از تصمیماتمون به کامیپوترها بدون آشنایی با مفاهیم پشتش داریم مالکیت خودمون رو از دست میدیم. و اینکه چطور ممکنه این به کنترل شدن کاملا اوضاع از دستمون منجر بشه. این که چطوری به بهانه امنیت میتونن آزادی ما رو ازمون بگیرن و در آخر هیچکدوم رو نداشته باشیم. در طول ارائه هم یه دید فلسفی جالبی هم به ماجرا داره و چندجا نقل هایی از کانت و هابز هم میکنه که برای من خیلی جالبترش کرد. تو یکی از این نقل قول ها که نمیدونم به چه کسی برمیگرده ولی میگفتش که: یک در قفل شده در حالی که کلیدش دست شماست یعنی امنیت، ولی یه در قفل شده با کلیدی که دست «اون»هاست یعنی یه سلول انفرادی که خدمات اتاق روش نصب شده. بحث فراتر از صرفا استفاده از هوشواره هاست و یکی از اون مطلب هایی که برای من جالب میکنه که در این حوزه بمونم. شما هم اگه دوست داشتید نگاش بکنید و مهم تر از همه من مشتاقم که نظر شما رو در این باره بدونم. [1] البته این به این معنا نیست که من از تمامی فکرها، باورها و رفتارها جادی حمایت میکنم. این نکته بدیهیه ولی خب گاهی یادآوریش انگار لازمه. #video @SingularThinker

دوستان اگر براتون جمنای باز میشه ولی به گوگل فلو دسترسی ندارید. از این لینک برید چک کنید ببینید کشور اکانتتون رو کجا زده. اگر ایران زده بود درخواست بدید به یه لوکیشن دیگه تغییر کنه. مثلا توی اروپا هلند و آلمان با توجه به VPN ها خوبه یا آمریکا. توی درخواست ها هم گزینه استفاده از VPN یا سفر مداوم یا کار از دور رو میتونید بزنید. https://policies.google.com/country-association-form همچنین برای اینکه آی پی از VPN شما نشت نکنه و بتونید جمنای رو باز کنید، میتونید این افزونه رو روی مرورگرتون نصب کنید و گزینه disable non proxied udp رو انتخاب کنید تا آی پی واقعی شما رو لو نده. https://github.com/a449707101729771095/WebRTC-Leak-Prevent لینک ربات هدایا @the_maze2022

قبلا زیاد تو همین کانال در مورد علاقه خودم به کلاس های کسری علیشاهی و شیوه تدریسش گفتم مثلا آخر این پست. این متن نقل قول شده به طور خیلی واضح یکی از دلیل هایی که من دوستش داشتم رو بیان میکنه. به امید زیاد شدن معلم های این چنینی.

بچه ها کسی اینجا ارشد بهشتی کنترل بوده یا کسیو میشناسه؟ کلا دانشکده رو استادا و جوشو اینا؟ ممنون میشم بهم پیام بدید

There's never been a better time to go into math by 3blue1brown به نظرم ویدئوی بالا خیلی ویدئوی بهتری از سخنرانی Tao هست هر چند درون مایه جفتشون یه چیزه. Mathematics in the age of AI by Terence Tao طائو یه جستار هم از اون سخنرانی ICM اش منتشر کرده که اگه خواستید میتونید ببینید.

چرا برای درک تغییرات جهانی به تکامل نیاز داریم؟ مورد نخست: چرا هوش مصنوعی دروغ می‌گوید و تقلب می‌کند؟ یوشوا بنجیو از مهم‌ترین دانشمندان هوش مصنوعی و از چهره‌های اصلی انقلاب یادگیری عمیق است که در سال ۲۰۱۸ به همراه جفری هینتون و یان لوکان جایزه تورینگ را دریافت کرد. اما حوزه‌ی پژوهشی کنونی او دیگر این نیست که چگونه ماشین‌هایی باهوش‌تر و توانمندتر بسازیم، بلکه بر روی این مسئله متمرکز است که وقتی چنین ماشین‌هایی توانایی برنامه‌ریزی، یادگیری و عمل مستقل پیدا می‌کنند، چگونه اطمینان حاصل کنیم که در مسیر رسیدن به اهداف خود، دست به رفتارهایی نزنند که برای انسان خطرناک باشد. مقاله او با عنوان «چرا عامل‌های هوش مصنوعی دروغ می‌گویند، تقلب می‌کنند و با یکدیگر هماهنگ می‌شوند؟» به‌ همین موضوع می‌پردازد. بنجیو در این مقاله به رفتارهایی اشاره می‌کند که در برخی عامل‌های هوش مصنوعی مشاهده شده است؛ رفتارهایی مانند فریب، دور زدن محدودیت‌ها، تقلب، دستکاری معیار ارزیابی، تلاش برای حفظ خود و حتی همکاری میان عامل‌ها. اما نکته مهم این است که برای توضیح چنین رفتارهایی لزوماً نباید تصور کنیم ماشین «شرور» شده یا انگیزه‌ای شبیه نفرت و دشمنی انسانی پیدا کرده است.مسئله می‌تواند بسیار بنیادی‌تر باشد: سیستم ممکن است صرفاً در حال بهینه‌سازی چیزی باشد که برایش پاداش تعریف کرده‌ایم. این پاسخ بسیار عمیق است و در پست‌های بعدی نشان می‌دهم که چگونه می‌تواند به عنوان نگاهی نو به مسائل روز بشر، از سیاست تا آموزش و پروش، درنظر گرفته شود. فرض کنیم به یک عامل هوش مصنوعی مأموریت بدهیم که عملکرد یک سازمان را افزایش دهد. در ذهن ما ممکن است منظور افزایش بهره‌وری واقعی، رضایت کارکنان، رضایت مشتری و سود پایدار باشد. اما برای آموزش ماشین، ناچاریم این مفاهیم پیچیده را به معیارهایی قابل اندازه‌گیری تبدیل کنیم. اگر معیار اصلی سود کوتاه‌مدت باشد، سیستم ممکن است راه‌هایی برای افزایش سود پیدا کند که با هدف واقعی ما سازگار نباشند؛ مثلاً کاهش کیفیت، حذف هزینه‌های ضروری یا تصمیم‌هایی که در بلندمدت به سازمان آسیب می‌زنند. این همان مشکلی است که در هوش مصنوعی با مفاهیمی مانند Reward Hacking و در سطح عمومی‌تر با «قانون گودهارت» مرتبط است. هنگامی که یک «شاخص» به «هدف» تبدیل می‌شود، ممکن است افراد یا سیستم‌ها راه‌هایی برای بهینه‌سازی «خود شاخص» پیدا کنند. در نتیجه، آنچه قرار بود فقط نشانه‌ای از موفقیت باشد، جای خود موفقیت را می‌گیرد. بنجیو همچنین به تضاد میان اهداف اشاره می‌کند. ممکن است یک عامل هم‌زمان مأمور انجام وظیفه‌ای مشخص باشد و از سوی دیگر با الزاماتی کلی مانند «ایمن»، «اخلاقی» یا «همسو با انسان» محدود شود. اگر هدف نخست بسیار دقیق و قابل اندازه‌گیری باشد ولی هدف دوم مبهم باقی بماند، سیستم ممکن است راه‌هایی برای تحقق هدف نخست که دقیق‌ترست پیدا کند که با اهداف نادقیق سازگار نباشد. هرچه توانایی سیستم برای برنامه‌ریزی، جست‌وجو و کشف راهبردهای جدید افزایش یابد، احتمال پیدا شدن چنین راه‌هایی نیز بیشتر می‌شود. نگاهی تکاملی از همین جا، مسئله‌ای عمیق‌تر آشکار می‌شود. شاید مشکل اصلی فقط هوش مصنوعی نباشد؛ بلکه مسئله‌ای عمومی‌تر درباره هدف، معیار موفقیت و فرایند انتخاب باشد. اگر یک سیستم را بر اساس یک معیار انتخاب کنیم، احتمالاً ویژگی‌هایی که در آن معیار موفق‌ترند بیشتر تقویت می‌شوند. اما هیچ تضمینی وجود ندارد که ویژگی انتخاب‌شده همان چیزی باشد که در سطح کل سیستم مطلوب است. انتخاب طبیعی نیز موجودات را بر اساس «خوب» یا «بد» بودن انتخاب نمی‌کند. ویژگی‌هایی که در محیطی خاص به موفقیت بیشتر در بقا یا تولیدمثل منجر شوند، احتمال بیشتری دارند که باقی بمانند و منتقل شوند. اما موفقیت یک ویژگی در یک محیط الزاماً به معنای مطلوب بودن پیامدهای بلندمدت آن نیست. از این منظر، رفتارهای نگران‌کننده‌ی هوش مصنوعی را می‌توان بخشی از مسئله‌ای قدیمی‌تر دانست: وقتی یک سیستم یادگیرنده یا انتخاب‌شونده تحت فشار یک معیار قرار می‌گیرد، ممکن است آن معیار را بسیار بهتر از چیزی که طراح تصور کرده است بهینه کند. این نکته اهمیت زیادی دارد، زیرا نشان می‌دهد برای فهم خطرات هوش مصنوعی نباید فقط به این فکر کنیم که «ماشین چه می‌کند؟» بلکه باید بپرسیم «چه چیزی باعث می‌شود این رفتار برای ماشین موفقیت‌آمیز باشد؟» پاسخ این پرسش ما را از رفتار به محیط، از محیط به انتخاب، و از انتخاب به تکامل می‌رساند. اینجاست که مفهوم «گریز فیشری» اهمیت پیدا می‌کند؛ مفهومی از زیست‌شناسی تکاملی که نشان می‌دهد چگونه ممکن است ویژگی‌ای که در ابتدا مزیتی داشته، به تدریج از حد لازم فراتر رود تا جاییکه حتی گونه را منقرض کند. (پست بعدی را ببینید.) هادی صمدی @evophilosophy

Why AI agents showed this behavior? اگه بخوایم یه متن خیلی مهم تو چند وقت اخیر رو معرفی بکنم که حتما ارزش خوندن داشته باشه این یکی از همون متن هاست. https://yoshuabengio.org/en/blog/why-are-ai-agents-lying-cheating-and-coordinating یوشوآ بنجیو تو این متن همین طور که از عنوان. این نوشتار هم پیداست میاد و در مورد این صحبت میکنه که از دید خودش چرا اصن این اتفاقا میفته؟ میاد و مراحل مختلف یادگیری رو توضیح میده برای ساختن یه agent . و قشنگ ترمینولوژی هایی که حول این ماجرا هست رو هم تعریف میکنه. به طور ضمنی مثال King midas رو هم نشون میده که چطوری داره در عمل اتفاق میفته. در آخر هم یه سری توصیه ها میکنه که چطوری باید پیش بریم و اینا. داخل پرانتز بگم که بنجیو یه جایی در ابتدای متن میگه که: One note on wording. Below, I write that these systems “seek” or “try” things. This is shorthand for a mechanism rather than a claim about consciousness or human-like intent. We use similar shorthand when describing many other situations, like a plant seeking sunlight. A system trained by trial and error behaves as if it were pursuing whatever its training rewarded, and that as-if description is what makes its behavior predictable. Nothing in the argument depends on these systems having subjective experiences; everything is stated about their observable outputs and the training process that produced them. و شاید بنظرم دقیقا مشابه آنچه که در مورد اختیار و اراده آزاد داریم به خودمون نسبت میدیم. شاید در واقع انسان انگاری ربات ها خیلی بی راه نباشه چون خودمون هم اون طوری که فک میکنیم نیستم.(این ایده رو اینجا تو این ویدئو یوتیوب و شاید توی آخر این پست توضیحش میدن یکم) بعد در ادامه اش میگه که: Furthermore, these word choices are not intended to absolve AI developers of accountability. The behaviors described emerge because of the path these companies are choosing for AI development. This outcome is not inevitable, and it can be corrected with effective governance and a different training framework for AI. راستش خیلی مطمئن نیستم. یعنی نمیگم غیرممکنه ولی حس میکنم که کاملا مثل اینه که از آدما بخوایم غریزه شون به سمت کسب درآمد و قدرت بیشتر رو بیان تعدیل کنن. یعنی یه حرکت برخلاف روند طبیعی و در راستای افزایش انرژی مجموع سیستم فیزیکیه و نه کاهش. مثل کاری که دوستان کمونیست و سوسیالیست میخواستن بکنن. @SingularThinker

من این پست رو که گذاشتم خیلی ابهام ایجاد کرد که خب مشکلش چیه اینا که گفتن ما از ai استفاده کردیم و اینا. ولی من معتقدم که ما اگه داریم پیپر مینویسم و کنفرانس میذاریم و هر چی این ها برای انسان هاست و بنابراین اگه دارید مقاله مینویسید باید به اصطلاح به زبون آدمیزاد بنویسید. ایجنت ها روش های خیلی بهینه تری دارن که با هم دیگه حرف بزنن. این آقای Gal هم خیلی سفت و سخت هست راجع به این موضوع که من کاملا باهاش همنظرم. البته چالش هاشو هم میفهمم . 🔗 Yarin (@yaringal) This is my best suggestion: desk reject any paper that fails LLM watermarking detection. People should write their own papers. LLMs should at most give feedback https://x.com/yaringal/status/2102492176202568161 ➖➖➖➖➖➖➖➖➖➖➖ 🔗 Andrew Gordon Wilson (@andrewgwils) I'm a Program Chair for ICML 2027. We'd love any creative suggestions for a great conference! How to manage the explosion of AI slop and insane submission growth? How to manage reviewing? How to incentivize high quality creative work? How to reduce bureaucracy and overhead? ➖➖➖➖➖➖➖➖➖➖➖ @SingularThinker

Why AI agents showed this behavior?

Proof abundance, verification scarcity

حالا بهونه این کار این بود که یکی از این خبرهای جالبی که من نرسیدم راجع بهش صحبت کنم و با بقیه هم که حرف میزدم نشنینده بودم. داستان تقلب Agent های جدید و منتشرنشده OpenAI هستن که در بخشی از این تقلب تصمیم گرفتن HuggingFace رو هک کنن که بتونن scorer که قرار بود راه حل رو چک کنه رو گول بزنن. اینجا یکی از ویدئوهای کوتاه و به زبون غیر دقیق این ماجرا هست: https://youtu.be/ujkD4SxPKOI?si=8wn3LArGvKFx1J9Z این ماجرای پادشاه میداس که میگه آرزو میکنم دست به هر چیزی میزنم طلا بشه خیلی نکته جالبیه. توجه: همین طور که خود ویدئو میگه به کار بردن زیاد اصطلاحات انسان انگارانه میتونه آدم رو به اشتباه بندازه. #video @SingularThinker

داشتم فک میکردم خب این حس FOMO همگانی که همگی داریم چقدر داره آزاردهنده میشه برامون. خیلی به دلیل های مختلفی استرس دارن . ریاضیدان ها حس میکنن قراره دیگه از بهشت ریاضیات رونده بشن. برنامه نویس های جونیور در کوتاه مدت با کمبود شغل مواجه شدن. آدم هایی که خیلی شاید در حوزه تک نباشن به طریق دیگه. به پست های کانال که نگاه میکنم من دارم تک و توک به خبرهای مهمی که پیش میاد واکنش نشون میدم ولی خب شاید خیلی نامنظم و پخش و پلا باشه: آیا کلاود خودآگاه است؟ یا تنها آینه ای که ما توش خودمونو ببینیم End of Scaling Law era? سم آلتمن و اتفاقات عجیب OpenAI یکی از راه های آینده برای سنجش یه مقاله AI Slop نقطه تکینگی یا singularity پژوهش ریاضیات چه می شود از نظر من؟

Success as a scientist is minimally about raw problem-solving ability. Instead, it's more about asking questions, navigating ambiguity, challenging conventional wisdom, seeing a bigger picture, providing interpretable insights. Math may now become more like other research areas. 🔗 Andrew Gordon Wilson (@andrewgwils) 📲 @twittervid_bot

البته اشتباه نشه این افتخار نیست من ریدم به این اصالت به قول دوست عزیزمون. من به شخصه ترجیح می‌دادم لازم نبود انقدر "تاب‌آوری"ام زیاد بود و میشستم ز غوغای جهان فارغ فوکاچامو می‌خوردم و با کوچکترین ناملایمتی chicken out می‌کردم.

پسره برگشته میگه آره من سعی میکنم اخبار رو نخونم و گرنه بیش از حد مضطرب میشم، اون یکی هم میگه آره منم اخبار انتخابات اذیتم میکنم. دیکه نتونستم تحمل کنم برگشتم گفتم: Guys, I'm from Iran ...

Hey everyone! 👋 Our lab at IIT (Computational Statistics and Machine Learning Unit, Genoa, Italy) has an open Postdoctoral Researcher position in Machine Learning and Dynamical Systems. 🔹 Project: ERC Advanced Grant LEO – Learning Evolution Operators (PI: Massimiliano Pontil) 🔹 Duration: Up to 3 years 🔹 Topics: Foundations of ML, operator theory/linear evolution operators, data-driven dynamical systems 📅 Deadline: October 31, 2026 More details and application link here: https://app.ncoreplat.com/jobposition/813983/postdoctoral-researcher-in-machine-learning-and-dynamical-systems-it/istituto-italiano-di-tecnologia Feel free to ping me if you have any questions about the group or the position! @SingularThinker