Deep Mind

چند ماه پیش، تیم ما موفق شد سایت رسمی ما رو به طور رسمی با هدف قابل دسترس تر کردن ابزار های هوش مصنوعی به طور خاص تر LLM های مختلف راه اندازی کنه. ما با هدف اینکه بتونیم به کاربرای ایرانی کمک کنیم که بدون سختی به LLM ها دسترسی پیدا کنن سرویس اوپن سورسی رو راه اندازی کردیم که مدل های مختلفی رو به طور رایگان توش ارائه میدیم. به طور کلی ما در حال حاضر 13 مدل رو ارائه میدیم. ما در حال حاضر دوتا مدل اصلیمون یکیشون GPT-4 فاین تیون شده با دیتای مخصوص مربوط به سایت هست و یکیشون هم یکی از مدل های معروف هاگینگ فیس هست. و همچنین در کنار این دو مدل ما مدل های دیگه ای هم ارائه میدیم. مدل های openai: 1. GPT 4 O mini 2. GPT 4 3. GPT 3.5 turbo , نسخه 1106 4. TEXT TO SPEACH(TTS) از openai __ مدل های open source: 1. Llama 3 70B 2. Llama 3 8B 3. Aya 13B 4. Gemma 7B 5. Zephyr 7B 6. Mistral 7B برای استفاده از سرویس ما میتونین از طریق سایتمون اقدام کنین ، وقتی وارد سایت بشین با یه ویدجت ابی رنگ مواجه میشین که میتونین از طریقش از مدل ها استفاده کنین. همچنین از طریق این آدرس میتونین به طور مستقیم به مدل ها دسترسی پیدا کنین. همونطور که گفتم این پروژه اوپن هست و هنوز درحال توسعه ست، ما در تلاشیم که مدلای بیشتری رو به سرویسمون اضافه کنیم و صرفا به مدل های متنی اکتفا نکنیم. پیشنهادات و فیدبدک های شما خیلی میتونه به ما تو بهتر کردن سرویسمون کمک کنه.

ظاهرا متا میخواد بزرگترین و جدیدترین نسخه لاما ۳ رو ۲۳ جولای منتشر کنه. بی صبرانه منتظرم.

درمورد سوال اول فعلا به چیزی اشاره نمیکنم اما در رابطه با سوال دوم به شخصه فکر میکنم که هرچی جلو تر میریم میتونیم امنیت بیشتری هم فراهم کنیم، اگر بر پایه امنیت توسعه بدیم از کنترلمون خارج نمیشه. هرچی پیشرفت بیشتری کنیم میتونیم بیشتر هم گارد ریل سر راه مدل ها قرار بدیم و امینتشون رو تضمین کنیم.

AGI چیزی که این روزا خیلی درموردش از فعالای این حوزه میشنویم. چیزی که مردم ازش تصوری شبیه به یک خدای دیجیتال که سطحی مشابه با انسان داره و میتونه هرکاری بکنه دارن. که هایپ اینترنت باعث شده ا‌دما ازش بترسن و فکر کنن ساخته شدن همچین چیزی قراره شغلشونو بگیره و ... واضحه که هر تکنولوژی جدیدی ضرر هایی داره اما ما همیشه بیشتر از اینکه از فایده هاش صحبت کنیم از ضرر هاش و خطراتش صحبت میکنیم. بدیهی هست هوش مصنوعی شغل های زیادی رو از بین میبره اما شغل های خیلی زیادی هم به وجود میاره! اما مشخصا AGI یک معجزه نیست. یک اتفاق نیست ، چیزی نیست که یک شب خبر ساخته شدنش بیاد . چیزی که ما داریم اینجا درموردش صحبت میکنیم یک سطح از هوشه. یا بهتره بگیم سطحی از توانایی هوش مصنوعی هست. چیزی هست تو طول زمان طی پیشرفت ها و دستاورد هایی که به خاطر این پیشرفت ها بدشت میاریم میتونیم بهش برسیم. سطحی از هوش مصنوعی که توانایی های شبیه به انسان داره، درک داره، حافظه داره،ًقابلیت تصمیم گیری داره، و قابلیت برنامه ریزی داره. چیزی که میتونین شبیه یه انسان نگاهش کنین، چیزی که فقط متخصص یه چیز نباشه و بتونه شبیه یک انسان باهاتون ارتباط بگیره. مثلا میتونین اینطوری درنظر بگیرین که یه روزی سرکارتون کارمندای هوش مصنوعی داشته باشین. اما آیا ساختن همچین موجودی با این سطح از توانایی کار درستیه؟ آیا فکر میکنین قراره از کنترلمون خارج شه؟

چند روز پیش، تولد و سالگرد اقای Frank Rosenblatt، خالق percptron معروف خودمون بود. اقای فرانک روزنبلت، ۱۱ جولای‌ سال ۱۹۲۸ به دنیا اومد و ۱۱ جولای سال ۱۹۷۱ درست در روز تولدش از دنیا رفت. همیشه از ایشون به عنوان یکی از پایه گذاران این علم یاد میشه. ایشون از سال ۱۹۵۷ تحقیقاتش رو اغاز کرده بود و درنهایت ۲۳ ژوئن سال ۱۹۶۰ این تحقیق رو عمومی کرد. این دستاورد به عنوان اولین شبیه سازی از عملکرد مغز انسان در یک ماشین شناخته میشه.

به نظرم این مصاحبه Lex Fridman رو با اقای Andrej karpathy ببینید، درمورد مسائل خیلی متعددی داخل این مصاحبه صحبت شده و دیدگاه جالبی بهتون درمورد خیلی موضوعات میده. https://youtu.be/cdiD-9MMpb0?si=TX_oBYiNtzx6ENEj

سلام دوستان. احتمال زیاد برای انجام دادن پروژه هاتون یا موارد دیگه ای نیاز به سخت افزار قوی داشتین و نیاز داشتین که به صورت مجازی بتونین یه سیستم اجاره کنین. توی سرویس های ایرانی محدودیت های متعددی هست مثل اینترنت ضعیف، فیلترینگ و ... که کار رو سخت میکنه. اگر خواستید از سرویس های خارجی استفاده کنین، به نظرم یک سرویس خوب میتونه runpod باشه که همچین امکاناتی رو بهتون میده از جمله نکات خوبش، استفاده کردنش به صورت لوکال هست که که مزیت خیلی خوبیه چون میتونین توی یه کد ادیتور مثل vs code بهش متصل بشین و ازش استفاده کنین بدون نیاز به سرور نوت بوکی(البته با سرور جوپیتر هم میتونین ازش استفاده کنین) از طرفی تنوع GPU بیشتری نسبت به سرویسی مثل lightning ai داره و حتی H100 هم میتونین اجاره ساعتی کنین. و موجودی کیف پولتون هم به صورت لحظه ای میتونین مشاهده کنین. یه نکته جذابشم اینه که سرعت اینترنت خیلی بالایی داره. به طور میانگین من سرعتش رو توی طول استفاده خودم بین ۳۰۰ تا ۴۰۰ مگابایت برثانیه دیدم. و یه نکته دیگه هم اینه که میتونین موقع اجاره یه ماشین مجازی، یه سری کتابخونه رو به صورت پیشفرض روشون نصب کنین، یعنی به این شکل که مثلا نسخه های متفاوتی از پایتورچ رو اماده نصب دارن که میتونین انتخاب کنین کدومش روی ماشینی که دارین اجاره میکنین نصب باشه. منتها برای نگه داشتن فایل ها باید یه storage داخل سایتشون بسازین که فایلاتون اونجا ذخیره بشن که خب اونا هم هزینه خیلی خیلی کمی دارن به صورت ساعتی و همچنین میتونین تو حساب مثلا google cloud ای که دارین دیتا رو اکسپورت کنین. برای هاست کردن مدل ها هم عالیه و خودش مثل space های هاگینگ فیس یه تعداد template داره که بهتون کمک میکنه راحت تر مدل ها رو هاست کنین، مثلا توی template هاشون اکثر نسخه های stable diffusion رو دارن که میتونین استفاده کنین. امیدوارم این اطلاعات کمک کننده باشه.

1:02:36

سلام به همگی شبتون بخیر به مناسبت قبولی GPT-4 توی ازمون تورینگ، یه نوشته بلند بالا درمورد ازمایش تورینگ توی ویرگول منتشر کردم که توش به بررسی ازمون تورینگ و مقاله معروفش پرداختم. ازمون تورینگ ازمونی برای سنجیدن هوشمندی یک کامپیوتره. اگر دوست داشتین بخونیدش و نظراتتونو بهم بگید https://vrgl.ir/DZouW

امروز زادروز‌ پدر علم کامپیوتر و هوش مصنوعی و دانشمند برجسته علوم کامپیوتر یعنی الن تورینگ هست. الن تورینگ ریاضی دان، زیست شناس، فیلسوف، منطق دان، دانشمند رایانه و رمزنگار انگلیسی بود. او در ۲۳ ژوئن سال ۱۹۱۲ در لندن به دنیا اومد و در ۷ ژوئن سال ۱۹۵۴ در ۴۱ سالگی در اثر‌ مسمومیت با سیانور درگذشت. نبوغ او درهمان کودکی اشکار بود و او در ۱۴ سالگی به کالج شربرون در دورست در جنوب غربی انگلیس رفت. کسی که ماشین تورینگ‌ش، پایه‌ی رایانه‌های امروزی و آزمایش تورینگ اش به یکی از بهترین روش ها برای ارزیابی هوشمندی یه کامپیوتر تبدیل شد. الن تورینگ به کمک ماشین تورینگ، نقش موثری در الگوریتم ها و محاسبات ایفا کرد.

آیا می‌توان روزی گفت: «ماشین هوشیار است و می‌تواند فکر کند؟»

او سپس در آزمایشگاه ملی فیزیک در انگلستان شروع به کار کرد و یکی از نخستین برنامه‌های ذخیره‌شونده در کامپیوتر را ساخت، اما طرح او اجرا نشد. او در سال ۱۹۴۸ به دانشگاه منچستر رفت تا روی

منچستر مارک ۱

کار کند که به طور رسمی به عنوان اولین کامپیوتر واقعی جهان شناخته میشود. در ۱۹۵۰، در مقاله‌ای، معیاری برای هوشمندی یک رایانه پیش نهاد که به آزمایش تورینگ معروف شد:

بهترین معیار برای هوشمند شمردن یک ماشین این‌ است که بتواند انسانی را از راه یک پایانه «تله تایپ» طوری فریب دهد که او باور کند که با یک انسان روبروست.

به پاس خدمت های زیاد تورینگ به علوم کامپیوتر، جایزه ای به نام جایزه تورینگ ساخته شد که به عنوان نوبل علوم کامپیوتر شناخته میشه، از اونجایی که جایزه نوبلی برای علوم کامپیوتر وجود نداره از جایزه تورینگ به عنوان نوبل علوم کامپیوتر یاد میشه این جایزه به ادم هایی اهدا میشه که خدمات زیادی به علوم کامپیوتر کرده باشن، مبلغ این جایزه ۱ میلیون دلار هست. همچنین او در جنگ جهانی دوم با شکوندن رمز ماشین انیگما که وسیله ارتباطی رمزنگاری شده بین نیروهای نازی بود کمک زیادی به پایان جنگ کرد. دستگاه سلطنتی بریتانیا احترام بسیار زیادی برای تورینگ قائل بود و تورینگ دارای نشان ویژه سلطنتی بود. همچنین از سال ۲۰۱۹ تا اخر ۲۰۲۱ عکس الن تورینگ روی اسکناس های پنجاه پوندی چاپ میشد. درمورد جایزه تورینگ حرفایی هست که باید بزنم و قراره تو یه پست جدا بهش بپردازم

سلام به همگی نمیدونم در جریان هستین یا نه ولی عده زیادی از دانشمندا و co-founder های OpenAI دارن استعفا میدن. نمونه اش Andrej karpathy که البته خیلی وقته که از این کمپانی رفته، یا دانشمند ارشد و برگ برندشون که Ilya sutskever بود که همچین چند هفته پیش استعفا داد. قضیه این همه استعفا هم از زبان تعدادی از این دانشمندا ، نگرانی درمورد امنیت این مدل هاست(این نگرانی به OpenAI خلاصه نمیشه و جفری هینتون که تو گوگل کار میکرد هم با ابراز نگرانی از امنیت مدل های گوگل استعفا داد) ، که خلاصه با سیاست های فعلی OpenAI جور در نمیاد و به همین دلیل خیلی از کسایی که ابزار نگرانی کردن نسبت به امنیت این مدل ها یا اخراج شدن یا استعفا دادن. حالا! اقای سوتسکور، بعد خروجش از این کمپانی ، یه استارت اپ جدید رو با دو نفر دیگه به اسم های Daniel Gross, Daniel Levy تاسیس کرده به اسم SSI یا Safe super intelligence که طبق گفته خودشون اصلی ترین هدفشون حل کردن بزرگترین مشکل توسعه این مدل ها هست یعنی "امنیت". لینک توییتش خلاصه که حدودا ۱۱ سال پیش، همین OpenAI ای که میبینین با هدف اینکه یه کمپانی non-profit باشه و هوش مصنوعی امن توسعه بده تاسیس شد. و الان سیاست های non profit بودنشو کلا کنار گذاشته و با اینکه قدرت زیادی به مدلاش میده، امنیتشون رو به همون میزان مورد اهمیت قرار نمیده. امیدوارم SSI اینطوری نشه.

کدا هم تو گیت هاب اپلود شد

پیاده سازی تموم شد

میخوام مقاله Attention is all you need یا همون مقاله ترنسفورمر معروف خودمون رو پیاده سازی کنم. پیاده سازیش قراره به صورت ماژولار باشه، کدش اپتیمایز شده با یه تسک ترنسلیشن انگلیسی به فارسی قراره باشه. کد ها رو تو گیت هابم میزارم، سعی میکنم خود مدل هم بزارم. اطلاعات بیشتر یا هر سوالی که از کد داشتین رو ازم تو پیوی بپرسین.