School of AI

اپلیکیشن دسکتاپ ChatGPT برای سیستم عامل macOS معرفی شد. کاربران Plus از امروز و کاربران نسخه‌ی رایگان از چند هفته‌ی دیگر می‌توانند این اپلیکیشن رو دانلود کنند. برای استفاده از چت‌جی‌پی‌تی روی مک خود، کافی‌ست کلیدهای Option + Space را زده و در باکس باز شده، شبیه به Spotlight خود مک، با چت‌جی‌پی‌تی ارتباط برقرار کنید.

توسعه‌دهندگان از همین امروز می‌توانند در فریم‌ورک LangChain از مدل GPT-4o از طریق API استفاده کنند. در این کد نمونه، آدرس یک تصویر به مدل داده شده و از مدل خواسته شده محتوای تصویر را شرح دهد. https://python.langchain.com/v0.1/docs/integrations/chat/openai/

یک دموی جذاب از مدل GPT-4o

شرکت OpenAI مدل هوش مصنوعی جدید خود به‌نام GPT-4o را معرفی کرد. این مدل، یک شبکه‌ی عصبی multimodal یا omni است. به‌عبارتی می‌تواند پذیرای داده‌ی ورودی از نوع متن، صوت، تصویر و یا ویدئو باشد. خروجی مدل نیز می‌تواند از هر نوعی باشد. این هوش مصنوعی، جای‌گزینی برای دستیارهای صوتی سنتی مثل Apple Siri یا Amazon Alexa یا Google Assistant است که به مدل‌های بنیادین مانند LLM ها مجهز شده‌ست و می‌تواند تعامل واقعا هوش‌مندانه‌ای شبیه به سامانه‌ی سامانثا در فیلم Her ارائه دهد. پیش از این، ChatGPT قابلیتی به‌نام Voice Mode داشت که به کاربران اجازه‌ی تعامل از طریق صوت به‌جای نوشتار را می‌داد. اما در این حالت، ابتدا صدای کاربر به مدل OpenAI Whisper که یک مدل ASR است داده می‌شد و متن معادل آن صدا به‌دست می‌آمد. سپس این متن به مدل GPT-4 که یک LLM است داده شده و پاسخ مورد نظر در قالب متنی دیگر به‌دست می‌آمد. در نهایت، این پاسخ متنی به کمک یک مدل ساده‌ی TTS به صوت تبدیل و به کاربر ارائه می‌شد. این پایپلاین، اگرچه در نوع خود بی‌نظیر بود اما طبیعتا latency قابل توجهی (حدود ۵/۴ ثانیه) داشت که هرگز نمی‌توانست حس یک گپ‌و‌گفت طبیعی را به کاربر منتقل کند. از طرفی کاربر باید منتظر پردازش کامل صحبت قبلی می‌ماند و برخلاف یک گپ‌و‌گفت طبیعی، نمی‌توانست صحبت دستیار را قطع کند. به علاوه اطلاعات مهمی از صحبت کاربر (مانند تون صدا، احساس، نویز محیط و …) به مدل زبانی منتقل نمی‌شد و صدای خروجی نیز عاری از هرگونه ابراز احساسات، خنده، آواز و … بود. اما مدل GPT-4o یک مدل end-to-end است یعنی از سه مدل مجزا تشکیل نشده و همه‌ی انواع ورودی‌ها از طریق یک شبکه‌ی عصبی یکتا، پردازش می‌شوند. کیفیت عمل‌کرد این مدل برروی benchmark های متداول برای نوشتار انگلیسی، کدزنی و استدلال، مشابه با مدل GPT-4 Turbo است اما برای تسک‌های چندزبانی، پردازش صوت و همچنین بینایی، عملکرد به‌تری دارد. قابلیت پردازش متن و تصویر به کمک مدل GPT-4o از امروز به نسخه‌ی رایگان ChatGPT اضافه شده‌ اما قابلیت پردازش صوت از چندهفته دیگر برای کابران نسخه‌ی Plus در دسترس خواهد بود. توسعه‌دهنده‌گان نیز از امروز می‌توانند به قابلیت‌های پردازش متن و تصویر از طریق API با نصف هزینه‌ی GPT-4 Turbo دسترسی داشته باشند. نکته‌ی انگیزشی برای اعضای کانال اینکه در بین سازندگان اصلی این مدل نام تعداد زیادی از هم‌میهنان عزیزمون به چشم می‌خوره. آقایان علی کمالی، امین توتون‌چیان، بهروز قربانی، فرزاد خراسانی، هادی سلمان، رضا زمانی و … https://openai.com/index/hello-gpt-4o/

فردا OpenAI خبرهای هیجان‌انگیزی دارد… منتظر باشید 😍

فردا OpenAI خبرهای هیجان‌انگیزی دارد…

فریم‌ورک FeatUp به‌طور مشترک توسط پژوهش‌گران MIT و Microsoft و Berkeley و Google در سمینار ICLR 2024 معرفی شده. این فریم‌ورک فارق از تسک یا مدل، ویژگی‌های ازدست‌رفته‌ی داده‌ی بینایی (تصویر) در ژرفای مدل را بدون تاثیر در semantic مدل، با دقت قابل‌توجهی بازسازی می‌کند. سایت: https://mhamilton.net/featup.html مقاله: https://arxiv.org/pdf/2403.10516 کد: https://github.com/mhamilton723/FeatUp

تجربه‌های ارزش‌مند سم آلتمن، مدیرعامل OpenAI https://blog.samaltman.com/what-i-wish-someone-had-told-me

پژوهش‌گران دانشگاه هاروارد و تیم کانکتومیکس در گوگل (از زیرشاخه‌های علوم اعصاب که به مطالعه‌ی پیوندهای بین یاخته‌های عصبی می‌پردازد)، به کمک یادگیری ماشین، موفق شدند نقشه‌ی سه‌بعدی بخش کوچکی از مغز یک انسان را در مقیاس نانو به‌طور کامل و دقیق بازسازی کنند. این بخش کوچک از مغز (به‌اندازه‌ی نصف یک دانه‌ی برنج)، هنگام جراحی از ناحیه‌ی Cerebral Cortex یک بیمار مبتلا به صرع برداشته شده‌ست. Cerebral Cortex لایه‌ی نازکی (۲ تا ۴ میلی‌متر) از ماده‌ی خاکستری است که سطح مغز را می پوشاند و مرکز بسیاری از رفتارهای ارادی بدن و همین‌طور مرکز پردازش اطلاعات حسی در مغز است. این بخش کوچک از مغز ابتدا به ۵۰۰۰ برش با ضخامت‌های تقریبی ۳۰ نانومتر تقسیم شده و سپس به‌کمک یک میکروسکوپ الکترونی چندپرتویی، طی ۳۲۶ روز، از این ۵۰۰۰ برش، تصویربرداری با رزولوشن بالا انجام شده‌ست. سپس با به‌کارگیری ابزارهای یادگیری ماشین روی این تصاویر، نوع یاخته‌ها و ساختار سه‌بعدی آن‌ها شامل همه‌ی آکسون‌ها، دندریت‌ها و پیوندهای سیناپسی، بازسازی شده‌اند. نقشه‌ی بازسازی‌شده در قالب یک مجموعه‌داده با بزرگی ۱/۴ پتابایت شامل اطلاعات حدود ۱۵۰ میلیون سیناپس و ۵۷ هزار یاخته (۱۶ هزار یاخته‌ی عصبی، ۳۲ هزار یاخته‌ی گلیال و ۸۰۰۰ یاخته‌ی رگ‌)، منتشر شده‌ست. https://h01-release.storage.googleapis.com/gallery.html فضای لازم برای نگه‌داری نقشه‌ی سه‌بعدی بخشی از مغز به‌بزرگی نصف یک دانه‌ی برنج، ۱/۴ میلیون گیگابایت!!! پژوهش‌گران هنگام نقشه‌برداری به یافته‌های جدیدی نیز دست پیدا کردند. مثلا نورون‌هایی وجود دارند که بیش از ۵۰ اتصال سیناپسی با یک‌دیگر دارند و طبق تحلیل‌های داده‌ای انجام‌شده، این اتصال‌های قوی، تصادفی یا بی‌دلیل نیستند و شاید خاطرات مهم را نگه می‌دارند. کشف بعدی، آکسون‌هایی‌اند که به‌شکل کلاف برروی سطح یاخته‌های دیگر قرار می‌گیرند و عمل‌کرد آن‌ها ناشناخته‌ست و حتی ممکن‌ست از عوارض بیماری صرع یا داروهای درمانی آن باشد. پژوهش‌‌های آتی متخصصان علوم اعصاب براساس این نقشه درک بهتری از عمل‌کرد مغز و اختلالات عصبی و همچنین چگونگی شکل گیری حافظه را نشان خواهند داد. بلاگ‌پست معرفی https://research.google/blog/ten-years-of-neuroscience-at-google-yields-maps-of-human-brain/ مقاله‌ی چاپ‌شده در مجله‌ی Science https://www.science.org/doi/10.1126/science.adk4858