Machine Learning Lab.

#loyiha Greenhouse imizga camera buyurma qilgan edik. Bugun yetib keldi. Endi uni Greenhouse ga o’rnatib tajriba o’tkazishni boshlaymiz! Bir necha kundan beri ushbu loyihamizni bir qismi bo’lgan website ustida ishlayapman bu haqda keyinroq batafsil ☺️. @machine_learning_lab

Aziz dindoshlar! Barchangizga Hayit bayrami muborak bo’lsin! @machine_learning_lab

​​Assalomu alaykum hurmatli ML engineerlar! Yana bir yaxshi yangilikni sizlar bilan ulashmoqchiman. Bizni navbatdagi ilmiy maqolamiz yana bir xalqaro nufuzli jurnallardan (IEEE Access) birida chop etildi. Agar maqolaga qiziqsangiz ushbu link orqali o'qishingiz mumkin. 👉 @machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 7-qism. GPT-1 va Graph Neural Network (2018) Transformer arxitekturasini ilgari surgan olim Vaswani va uning hamkasblari bir necha oy o'tib, 2018 yilda OpenAI tomonidan taqdim etilgan Generative Pretrained Transformer yoki GPT-1 ni asosi bo'lgan ilmiy maqolasini nashr etishdi. U matndagi keng kontekstdagi matnlar so'zlarini o'zaro bog'liqliklarni samarali o'rganish uchun transformer arxitekturasidan foydalangan. GPT-1 NLP vazifalarida eng samarodorli natija ko'rsatadigan birinchi modellardan biri edi. 2018 yil oxirlariga kelib Google kompaniyasi GPT-1 yutuqlaridan ilhomlangan holda yangi transformer arxitexturasini (Bidirectional Encoder Representations from Transformers yoki BERT) ilgari surdi. O'sha yili GPT-1 va BERTdan tashqari, Grafik Neural Networks yoki GNNlar ham "to'palang" qildi. Ular grafik ma'lumotlar bilan ishlash uchun maxsus ishlab chiqilgan neyron tarmoqlar toifasiga kiradi. GNNlar ma'lumotni grafikning tugunlari va qirralari bo'ylab tarqatish uchun xabarlarni uzatish algoritmidan foydalanadilar. Bu tarmoqqa ma'lumotlarning tuzilishi va munosabatlarini ancha intuitiv tarzda o'rganish imkonini beradi. (GNN arxitekturasi quyidagi rasmda tasvirlangan 👇) Bu yo'l ma'lumotlardan ancha chuqurroq tushunchalarni olish imkonini berdi va natijada DLni qo'llash mumkin bo'lgan muammolar doirasini kengaytirdi. GNN yordamida ijtimoiy tarmoqlarni tahlil qilish, tavsiyalar berish tizimlari va giyohvand moddalarni topish kabi sohalarda katta yutuqlarga erishildi. GNN haqida batafsil bu yerda o'qishingiz mumkin. (in English language) @machine_learning_lab

#tavsiya AI yoki boshqa har qanday sohada nazariy bilimga ega bo'lishni o'zi kifoya qilmaydi albatda. Shu bilan birga amaliy bilimga ega bo'lish juda muhimdir va bu kelajakda kasb egallashda asosiy kalit bo'lib ro'l o'ynashi ham mumkin. AI/DL/ML/DS sohada o'qiyotgan yoki qiziquvchilarning aksariyati "Qanday loyihalarni qilish mumkin?" degan umumiy savolga duch kelishadi. Shunday qilib, ushbu repo sizga kod bilan birga ML, DL, NLP, AI bo'yicha 500 dan ortiq loyihalarni o'z ichiga olgan eng muhim ro'yxatlardan birini taqdim etadi. Bu amaliy bilimga ega bo'lishni xohlaydigan yoki o'z rezyumelari uchun loyihalar yaratmoqchi bo'lganlar uchun juda foydali. 👉 @machine_learning_lab

Ushbu maqolada Issiqxonaning havo parametrlarini yani temperaturasi, hamligi va karbonat angedrid gazlarini darajasini keyingi turli vaqt oraliqlarida bashorat qilishda optimal AI modellari tahlili muhokama qilingan. Yuqoridagi video o'sha issiqxonamiz haqidagi loyiha haqida qisqacha edi. P.s. Agar qiziq bo'lsa reaksiya qoldiringlar ( 👍 ) ushbu mini issiqxona haqida batafsil video qilaman. 👉 @machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 6-qism. Transformer va Til (Language) Modellari (2017) Aytish mumkinki, 2017 yil biz guvohi bo'layotgan generativ AI sohasidagi yutuqlar uchun poydevor qo'ygan eng muhim yil bo'ldi. 2017-yil dekabr oyida Vaswani va uning hamkasblari “Attention is all you need” nomli asosiy ilmiy maqolani nashr etishdi, unda encoder va decoder qismlarini o'z ichiga oluvchi transformer arxitekturasi taqdim etildi (Quyidagi rasm 👇). Bu ilgari an'anaviy RNN arxitekturalari uchun qiyin bo'lgan ayrim muammolarni yanada samarali qayta ishlash imkonini berdi. Bu ilgari surilgan model avvalgi modellardan RNN, LSTM lardan ko'ra jumladagi so'zlarni o'zaro bog'liqligini o'rganishda sezilarli darajada samarali ekani ushbu maqolada isbotlandi. O'shandan beri transformer arxitekturasi LLMni rivojlantirishning asosiy komponentiga aylandi va NLP sohasida tarjimonlik, tilni modellashtirish va savollarga javob berish kabi yo'nalishlarida sezilarli o'sishlarga olib keldi. 👉 @machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 5-qism. AlphaGo (2016) 1997-yilda Garri Kasparov IBMning Deep Blue kompaniyasi tomonidan mag‘lubiyatga uchraganidan so‘ng, 2016-yilda yana bir inson va mashina jangi o‘yin dunyosini hayratda qoldirdi: Google’ning AlphaGo kompaniyasi Go bo‘yicha jahon chempioni Li Sedolni mag‘lub etdi. Go o'yinining taxtasi va toshlarini quyidagi rasmda tasvirlangan 👇. Sedolning mag'lubiyati sun'iy intellekt taraqqiyoti traektoriyasidagi yana bir muhim bosqich bo'ldi: bu mashinalar bir paytlar kompyuterlar uchun juda murakkab hisoblangan o'yinda hatto eng malakali inson o'yinchilarni ham ortda qoldirishi mumkinligini ko'rsatdi. Deep Reinforcement Learning va Monte-Karlo (tree search) metodi kombinatsiyasidan foydalangan holda, AlphaGo oldingi o'yinlardagi millionlab pozitsiyalarni tahlil qiladi va mumkin bo'lgan eng yaxshi harakatlarni baholaydi - bu strategiya bu kontekstda inson qarorlarini qabul qilishdan ancha ustundir. 👉 @machine_learning_lab

​​#researchpaper #ilmiy_maqola Hurmatli ML engineerlar! Sizlarga shuni mamnuniyat bilan ma'lum qilamanki bizni navbatdagi ilmiy maqolamiz xalqaro nufuzli ilmiy jurnallardan birida chop etildi. Alhamdulillah. Bunda meni qo'llab quvvatlagan barchaga o'z minnatdorchiligimni bildiraman jumladan google, google scholar, youtube, ChatCPT va hakozolar (ALbatda hazil 😉😂) Maqola nomi: "Performance Analysis of Time Series Deep Learning Models for Climate Prediction in Indoor Hydroponic Greenhouses at Different Time Intervals" Ilmiy Journal: Plants (SCIE, IF:4.66) 👉 @machine_learning_lab

Sun’iy intelekt odamlarga juda ko’p jabhalarda yordamchi bo’lib xizmat qilayapti lekin din masalasida yoki taqvo masalasida sun’iy intelektni integratsiya qilib unga ishonishni to’g’ri deb bilmayman. Chunki bu juda jiddiy masala oddiy kichik bir xato katta narsalarga sabab bo’lib qolishi mumkin. @machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 4-qism. ResNet va NLP yutuqlari (2015) 2015 yilda sun'iy intellekt sohasi ham Computer Vision (CV), ham NLP sohasida sezilarli yutuqlarga erishdi. Kaiming He va uning hamkasblari “Deep Residual Learning for Image Recognition” nomli maqolani nashr etishdi, unda ular residual neyron tarmoqlari yoki ResNets arxitekturasi – yorliqlar qo‘shish orqali ma’lumotlarning tarmoq orqali osonroq oqishini ta’minlaydigan arxitektura tushunchasini taqdim etdilar. Har bir qatlam oldingi qatlamning chiqishini kirish sifatida qabul qiladigan oddiy neyron tarmoqdan farqli o'laroq, ResNet-da bir yoki bir nechta qatlamlarni o'tkazib yuboradigan va tarmoqdagi chuqurroq qatlamlarga to'g'ridan-to'g'ri ulanadigan qo'shimcha qoldiq ulanishlar qo'shiladi. Natijada, ResNets yo'qolib borayotgan gradientlar muammosini hal qila oldi, bu esa o'sha paytda mumkin bo'lganidan ancha chuqurroq neyron tarmoqlarni o'rgatish imkonini berdi. Bu, o'z navbatida, tasvirni tasniflash va ob'ektni aniqlash vazifalarida sezilarli yaxshilanishlarga olib keldi. Taxminan bir vaqtning o'zida tadqiqotchilar Recurrent Neural Network (RNN) va Long Short-Term Memory (LSTM) modellarini ishlab chiqishda sezilarli yutuqlarga erishdilar. Bu modellar 1990-yillardan beri mavjud bo'lishiga qaramay, bu modellar faqat 2015 yil atrofida shov-shuvlarni keltirib chiqara boshladi. Bunga (1) o'qitish uchun kattaroq va xilma-xil ma'lumotlar to'plamining mavjudligi hamda (2) hisoblash quvvati va apparat ta'minotining yaxshilanishi (zamonaviy CPU va GPU) kabi omillar sabab bo'ldi va bu omillar chuqurroq va murakkabroq modellarni o'qitish imkonini berdi. Natijada, ushbu arxitekturalar til modellariga matnning konteksi va ma'nosini yaxshiroq tushunish imkonini berdi, bu esa tilni tarjima qilish, matn yaratish va hissiyotlarni tahlil qilish kabi vazifalarni sezilarli darajada yaxshilashga olib keldi. O'sha paytdagi RNN va LSTM-larning muvaffaqiyati bugungi kunda biz ko'rib turgan katta til modellarining (LLM) rivojlanishiga yo'l ochdi. @machine_learning_lab

AI muhandislari o'qishi shart bo'lgan 7 ta top kitoblar. 📚 @machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 3-qism. Generative Adversarial Networks (2014) Keyingi yili, 2014 yil iyun oyida DL sohasi Ian Goodfellow va uning hamkasblari tomonidan Generative Adversarial Networks yoki GAN-larni joriy etish bilan yana bir ulkan muvaffaqiyatga guvoh bo'ldi. GAN - bu mavjud ma'lumotlarga o'xshash yangi ma'lumotlar namunalarini yaratishga qodir bo'lgan neyron tarmoq turi. Asosan, ikkita tarmoq bir vaqtning o'zida o'qitiladi: (1) generator tarmog'i soxta yoki sintetik namunalarni yaratadi va (2) discriminator tarmog'i ularning haqiqiyligini baholaydi. Ushbu o'qitish jarayoni quyidagicha amalga oshiriladi, generator discriminator-ni aldaydigan namunalarni yaratishga harakat qiladi va discriminator soxta namunalarni klassifikatsiya qiladi. Bu jarayon discriminator soxta namunalarni real namunalar deb klassifikatsiyalagunicha davom etadi. (Rasm quyida 👇) O'sha paytda GAN-lar nafaqat tasvir va videolarni, balki musiqa va san'at namunalarini yaratish uchun ham foydalanilgan ma'lumotlarni yaratish uchun kuchli va yangi vosita edi. Ular, shuningdek, aniq yorliqlarga (labels) tayanmasdan yuqori sifatli ma'lumotlar namunalarini yaratish imkoniyatini namoyish qilish orqali, asosan, kam rivojlangan va qiyin deb hisoblangan domen bo'lgan nazoratsiz ta'limning (unsupervised learning) rivojlanishiga hissa qo'shdilar. @machine_learning_lab

Numpy darslari (Python) 2-dars. | Datatype, Copy vs View, Reshape, Iterating | https://youtu.be/JhvVEAKDN7Q

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 2-qism. AlexNet va Variational Autoencoders (2013) (davomi) AlexNet neuron tarmog'ida, mualliflar (Alex Krizhevsky va boshqalar) beshta konvolyutsion qatlam va uchta to'liq bog'langan chiziqli qatlamdan iborat chuqur CNNni qo'lladilar(Tarmoq dizyni quyidagi rasmda 👇). O'sha paytdagi birinchi yangi neyron tarmoq dizayni edi. Bundan tashqari, tarmoq tomonidan ishlab chiqarilgan ko'p sonli parametrlar tufayli o'qitish ikkita grafik ishlov berish blokida (GPU) parallel ravishda amalga oshirildi, bu katta ma'lumotlar to'plamlarida o'qitishni sezilarli darajada tezlashtirish qobiliyatini namoyish etdi. Mualliflar, o'sha paytda an'anada bo'lgan Sigmoid va tanh kabi activation funktsiyalarini ulardan samaraliroq bo'lgan rektifikatsiya qilingan chiziqli birlikka (ReLU) almashtirish orqali o'qitish vaqti (training time) yanada qisqartirildi. AlexNet muvaffaqiyatiga olib kelgan ushbu yutuqlar sun'iy intellekt tarixida burilish nuqtasi bo'ldi va akademiklar va texnologiya hamjamiyatida Deep Learning-ga qiziqish uyg'otdi. Natijada, 2013 yil ko'pchilik tomonidan Deep Learning haqiqatan ham rivojlana boshlagan burilish nuqtasi sifatida qabul qilinadi. 2013-yilda AlexNet soyasida qolib ketgandek tuyulgan bo'lsada, tasvir va tovushlar kabi ma’lumotlarni taqdim etish va yaratishni o‘rgana oladigan variatsion avtoencoder-lar yoki VAE’lar ishlab chiqildi (Quyidagi ikkinchi rasm 👇). Ular yashirin makon (latent space) deb nomlanuvchi past o'lchamli fazoda kirish ma'lumotlarining siqilgan tasvirini o'rganish orqali ishlaydi. Bu ularga ushbu o'rganilgan yashirin makondan namuna olish orqali yangi ma'lumotlarni yaratishga imkon beradi. Keyinchalik VAE san'at, dizayn va o'yin kabi sohalardagi ilovalar bilan generativ modellashtirish va ma'lumotlarni ishlab chiqarish uchun yangi yo'llarni ochdi. @machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 2-qism. AlexNet va Variational Autoencoders 2013 yil Computer Vision sohasidagi katta yutuqlar tufayli Deep Learning-ning 'portlash davri' sifatida keng e'tirof etiladi. Jeffri Xintonning yaqinda bergan intervyusiga ko'ra, 2013 yilga kelib "Computer Vision bo'yicha deyarli barcha tadqiqotlar neyron tarmoqlarga o'tdi". Bu bum, birinchi navbatda, bir yil avval tasvirni aniqlashda (image recognition) juda hayratlanarli yutuqqa erishilgan edi. 2012-yil sentabr oyida chuqur konvolyutsion neyron tarmog‘i (Deep Convolutional Neural Network - CNN) AlexNet ImageNet Large Scale Visual Recognition Challenge (ILSVRC) da tasvirni aniqlash vazifalarida DL imkoniyatlarini namoyish qilib, rekord darajadagi natijaga erishdi. U eng yaqin raqobatchisidan 10,9% past bo'lgan 15,3% ni tashkil etgan eng yaxshi beshlik xatosiga erishdi (Quyidagi rasmda tasvirlangan). Ushbu muvaffaqiyat ortidagi texnik yaxshilanishlar AI-ning kelajakdagi traektoriyasi uchun muhim rol o'ynadi va DL-ni amaliyotga tadbiqini tubdan o'zgartirdi. 👉@machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili 1-qism. Kirish So'nggi o'n yillik sun'iy intellekt (AI) uchun hayajonli va voqealarga boy bo'ldi. Deep Learning sohasidagi kamtarona izlanishlar elektron tijoratdagi tavsiya tizimlaridan tortib avtonom transport vositalari uchun ob'ektlarni aniqlash va real tasvirlardan tortib izchil matngacha hamma narsani yarata oladigan generativ modellarni yaratilishiga olib keldi va bugungi kunda ularsiz kundalik hayotimizni tasavvur qilishimiz qiyin. Navbatdagi bir nechta postlarda biz Deep Learning tarixi bo'ylab sayr qilamiz va bizni bugungi kunga olib kelgan ba'zi muhim yutuqlarni qayta ko'rib chiqamiz. Siz AI bo'yicha tajribali mutaxassis bo'lasizmi yoki bu sohadagi so'nggi ishlanmalarga qiziqasizmi, ushbu postlar yordamida sizga sun'iy intellektning mashhur bo'lishiga olib kelgan ajoyib yutuqlar haqida ma'lumot berishga harakat qilamiz. Quyidagi rasmda siz AI ning so'ngi 10 yillikdagi asosiy yutuqlarini ko'rishingiz mumkin. Davomi bor... 👇 @machine_learning_lab

​​Hammaga ma'lum Apple har yili o'zining yangiliklari va yangi mahsulotlari bilan tanishtirib boradi. Kuni kecha yarm tunda navbatdagi Apple event (WWDC 2023) bo'lib o'tdi. Ushbu ko'rgazmada bir necha yangilangan mahsulotlarini taqdimot qildi jumladan: IOS-17 Macbook Air-16 (M2 chip), Airpods va bir necha updated app-lari. Eng asosiy yangiligi bu VisionPro mahsuloti bo'libdi. Ushbu mahsulotda Digital va Physical dunyoni mohirona uyg'unlashtirishibdi. Mana ML ning yana bir kuchi bizni hayotimizga kirib kelganiga isbot. Bundan tashqari Apple juda ko'p applarida Machine Learning-dan foydalanmoqda. Quyidagi rasmda ushbu mahsulot ko'rinishi. Ushbu mahsulot haqida ba'tafsil malumotlarni ushbu event-ni ko'rish orqali olishingiz mumkin. Aytgancha ushbu mahsulot hozirda sotuvga chiqarilmagan. Malum qilinishicha, kelasi yilning boshlaridan sotuvga chiqarilar ekan. To'ydan oldin nog'ora chalib qo'yishibdi 😂. P.s. Apple mahsulotlari narxi arzon bo'lmaganidek VisionPro-ning narxi $3499 😊 👉@machine_learning_lab

​​7️⃣PyTorch Nima u: PyTorch - bu Facebook AI tadqiqot laboratoriyasining TensorFlow-ga javobi. Bu ML va Data Science fanlari, xususan, DL uchun ochiq manbali, umumiy maqsadli kutubxona. Tarixi: Facebook PyTorch-ni 2016 yilda – TensorFlowdan bir yil o‘tib – chiqardi va u tez prototip yaratishga qiziqqan akademiklar va boshqa tadqiqotchilar orasida tezda mashhur bo‘ldi. Bu uning soddalashtirilgan Front-end tomoni va standart rejimi operatsiyalarni darhol bajarishi (TensorFlow singari ularni keyinchalik qayta ishlash uchun grafikaga qo'shishdan farqli o'laroq) bilan bog'liq edi. Xususiyatlari: ✔️PyTorch TensorFlow-ga o'xshash ko'plab xususiyatlarga ega. Haqiqatan ham, ular ishga tushirilgandan so'ng, har bir kutubxona foydalanuvchilarga boshqasidan ko'proq yoqadigan xususiyatlarni o'z ichiga olgan holda yangilandi. ✔️PyTorch oldindan tayyorlangan modellar (pre-trained) uchun o'z kutubxonalariga ega. PyTorch Hub model dizayni bilan tajriba o'tkazmoqchi bo'lgan akademik foydalanuvchilarga mo'ljallangan va Ekotizim vositalarida oldindan o'qitilgan modellar mavjud. ✔️PyTorch xotirada tejamkor va bir nechta modellarni parallel ravishda o'rgatish imkonini beradi. ✔️U turli xil apparat turlarini qo'llab-quvvatlaydi. Afzalliklari: DL modellarini tezkor prototiplash. Pytorch kodi tez va samarali ishlaydi. Kamchiliklari: Ba'zi foydalanuvchilar PyTorch kattaroq loyihalar, katta ma'lumotlar to'plami va murakkab ish oqimlari bilan ishlashda kamchiliklar sezishgani haqida fikrlar bildirishadi. 👉@machine_learning_lab