Otabek’s I/O

#startup Dropbox'da ML team kichik model train qilishgandi. Biz uni olib Reinforcement Learning muhitga tashlab uni qilayotgan ishlarini kuzatgandik. Bu joyiga to'liq to'xtala olmayman, ammo qiziq bir narsani aytmoqchiman. Agent muhitga tushganda turli xil yo'llarni sinab ko'radi. Agentga policy beriladi va u shunday chiqib ketmaslikga harakat qiladi. U har xil oldin ko'rmagan (pre-training jarayonida) ishlarni qilib ko'rishga va yangi neuronlar xosil qilishga harakat qiladi. Bu yerda odam emas, muhitni o'zi baho qo'yadi, reward (mukofot) yoki penalty (jazo). Reward funksiyasi yozib chiqiladi (MDP - Markov Decision Process), u orqali agent harakatini baholash uchun formula yozasiz. Bu avtomatlashgan protsess. Qiziq tomoni unga berilgan topshiriq bo'yicha u xato qildi. Yomon baxo olib qayta urinib ko'rib yana xato qildi, umumiy 2ta xato. Yana urinish jarayonida endi bitta xatosini tuzatdi, ammo birinchi qilgan xatosi hali ham turibdi lekin yaxshi baho oldi. Eng qiziq tomoni u qilayotgan ishini unutib qo'ydi. Bu jarayonni qayta-qayta takrorlaganimizda u ba'zan bir nechta xato qilib ko'pini tuzatganda yaxshi baxo olishi bilan eski xatolarni tuzatmadi yoki eski xatosini borligini aytaveradi ammo hech tuzatmasdan boshqa ishlar qiladi. Bu jarayonni AI agent'lar uchun tuzatish mumkin deb o'ylayman. Ba'zi qilib ko'rgan eksperimentlarim natijasi shuni aytayabdi. Ammo LLM modellar uchun bu jarayonga ko'proq RLHF (Reinforcement Learning from Human Feedback) kerak deb o'ylayman. Ammo u yerdagi odamlar ham professional bo'lishlari kerak. Bitta kamchilik bu jarayonda professional odamlarni rozi bo'lib o'tirishi qiyin, va bu ko'p vaqt oladi. Ammo shunday qilinsa hozirgi LLM (GPT) modellar ancha aqilliroq bo'lgan bo'larmidi deb o'ylaman.

#startup Juda kuchli founder va oddiy founder lar o'rtasidagi eng katta farq matematikada ekan. Google TPU, Nvidia GPU, Intel CPU yaratayotgan jamolar bilan suhbat qildim. Xulosa bitta, ular matematikada kuchli. Misol uchun Dario Amodei (Anthropic), Ilya Sutskever (OpenAI), Sergey Brin (Google), Elon Musk (SpaceX, Tesla), Pavel Durov (Telegram), Jeff Bezos (Amazon), Mark Zuckerber (Meta), Vitalik Buterin (Ethereum), Nikolai Durov (Telegram), Piotr Dąbkowski (ElevenLabs) va h.k.z Matematika tezkor va aniq fikrlashni o'stiradi. Istalgan eng zo'r ishlar ortida matematika bor. Bizda hali ham "matematika o'rganaymi?" degan savollar bo'lib turadi. G'ayrioddiy ishlarni qilish uchun sizga matematika kerak. Hozirgi startup'im ham juda ko'p matematika talab qiladi. Deyarli nima o'rgansam ham hammasi borib matematikaga taqaladi. Chip levelda ish qilish, OS bilan chip gaplasha olishi uchun compiler qilish, compiler chipga yuborilgan instruksiyani qay tartibda bajarishiyu, bajarish algoritmlari. Bularni barchasiga matematika kerak va juda low-level bilmlar. Hech nima bilmayman, ammo juda ko'p o'rganayabman. Matematika o'rganing!!!

Germany, Munich 🇩🇪 da yashasangiz bir muddat shu yerda bo’laman. Ko’rishish uchun bu yerga hay deb yuboring @otabek_askbot

Startup qilish, investitsiya olishga qiziqadiganlar bormi? Bu yerga topshirib ko'ring.

Savollar, takliflar yoki qandaydir fikrlar bo'lsa shaxsiy xabar qoldiring, 48 soat ichida chat yopiladi.

Bunday research talab qiladigan g'oyaga pul tikadigan investorlar juda kam, deyarli yo'q ayniqsa O'zbekistonda. Shuning uchun to'liq vaqtim va fokusimni bu yerga qarata olmayabman. Ammo umid qilamanki kelajakda biror loyiham kattalashib ketsa shunday murakkab jarayon uchun o'zini baxshida qilgan yoshlarga o'zim birinchilardan bo'lib investitsiya qilaman. Hozircha jarayondan bahraman bo'layabmiz.

#startup "Hozir startupda nimalar qilayabman?" eng ko'p so'ralgan savollardan. Dropbox'da ishlab yurgan paytlarim kichik experiment qilgandik. Mendagi savol quyidagicha:

Nimaga biz kichik, efficient va biror tor yo'nalishdagi modellarni ko'paytirib, ularni CPU da yuritishni o'rniga, general modellarni bilimini (weight) kengaytirib ularni ko'p train qilib, hozirda qimmat bo'layotgan GPU larda yuritishimiz kerak?

GPU va CPU o'rtasida ba'zi katta farqlar bor, ammo bu degani modellarni CPU da yaxshi va effektiv yurita olmaymiz degani emas. CPU dagi eng katta ustunlik bu xotirada. Ya'ni siz 256GB RAM istasangiz undan kattaroq qilib ishlatsangiz bo'ladi ammo bu GPUda bu limit 80GB (H100). CPU va RAM o'rtasida gaplashish tezligi ~60-100 GB/s, GPU esa ~1000-2200 GB/s ga teng. Modellar ma'lumotlar va juda ko'p compute (xisob-kitob) dan iborat. Shuning uchun ham hozircha buni yaxshiroq algoritmlari topilmagan. Ammo bu degan bunday algoritmlar topilmaydi degani emas. Qiyin muammo ustida ishlayabman, ammo har kuni nimadir o'rgatadigan muammo ustida ishlayabman.

Sizga sovg'am bor. Bugun yakshanba, dam olish kuni. Algoritmlar bo'yicha bir paytlar o'tgan jonli darslarimni sizga o'rganishga bermoqchiman. Yana bunday darslarni o'tish uchun vaqt va sharoit topilishi bilan bularni yanada yaxshiroq qilishga harakat qilamiz. 1. Algoritmlarga kirish 2. Diskret Matematika 3. Array & Strings 4. Recursion 5. Stack & Queue 6. Graph 7. Tree 8. Deque 9. Linked List 10. Sorting 11. Hash Table 12. Searching 12. Sorting 2-qism 13. Dynamic Programming 14. Greedy Algorithms Darslar yoqgan bo'lsa va fikringiz bo'lsa bemalol donat qilishingiz va fikringizni qoldirishingiz mumkin. Sizdan kelgan 5000 so'm va fikr ham men uchun juda ko'p support. Ziyo tarqating.

Next token prediction is not intelligence. Prove me I am wrong.

Qani yozingizlarchi, nima qilamiz bu "Otabek" degan bolani?

Nima qilay, ko'ngil boshqa narsa istasayu, hayot boshqa narsa berib tursa

#WeAreHiring iOS va Android dasturchimisiz? Tajriba olishni istaysiz, ammo ish yo'qmi? Menga aloqaga chiqing, men sizni o'z jamoamga olishdan xursand bo'laman 🔗 Havola: https://forms.gle/WsABpVzyFJoxP9FK8

Dropbye! Bugun mana salgina kam bo'lib qolgan sarguzashtga yakun yasayadik. Corporate job bilan hayrlashib, startup olamiga to'liq qadam qo'yayabman. Oldinda nima kutib turibdi aniq bilmayman, lekin limitlarimni sinab ko'rmoqchiman. Ha aytgancha, Big Tech offer'lar 9-oy valid, B plan ham bor, lekin bunga muhtoj bo'lmaymiz deb umid qilamiz. Let's build something great together!!! Goodbye Dropbox. It's been a pleasure to journey with you.

Kimdir nakrutka qildi. Cheating xisoblaymiz. Bot hammasini o’chirib chiqadi.

2550 kishi bo’lishimiz bilan stream qilamiz. Mavzular quyidagilar: 1. Matematika (Algoritmga kirish) 2. Algoritmlar 3. Murakkab algoritmlar

#thisWillBeDeletedIn24Hours Ey ko‘ngul, ilm ichra bir olamdur bu dastur yo‘li, Aql sham’i birla ravshan bo‘lg‘usi har sirli yo‘li. Harf ila raqam aro pinhon necha ma’ni yotar, Fikr eli anglar ani, nodon uchun qorong‘u yo‘li. Kod bitar har kimki sabr birla kecha-kunduz aro, Mehnat ila ochilg‘usi berk eshikning qulfu yo‘li. Bir satr yozsang agar andin tug‘ar minglab amal, Go‘yo qalamdin gul ochar, bog‘ aro rayhon yo‘li. Mantiq erur bu fan ichinda podshohi benazir, Kim anga bo‘ysunsa topar mushkul ishning hal yo‘li. Xatolar gar chiqsa maydon ichra dev yanglig‘ turub, Sabr qil, izla, topilgay ul baloning zavol yo‘li. Algoritm birla tartib topsa har bir niyatu ish, Daryo kabi ravon bo‘lur tafakkurning kamol yo‘li. Kompyuter gar temir tan, jon bag‘ishlar unga ilm, Dasturchi andin yaratur ming hunarning faol yo‘li. Tarmoq aro bog‘lanur olam, yaqin bo‘lgay yiroq, Bir ishora birla oshkor bo‘lgay ma’rifat yo‘li. Sun’iy zakovat nechuk davron surar bu asr aro, Aql ila boshqarg‘usi inson uning visol yo‘li. Har tilning o‘z nazmi bor: Python, Java yoxud C, Har birida o‘zgacha bir hikmat erur jamol yo‘li. Kimki kodni sevsa chin dildin, topar ul izzatni, Ilm elida yuksalg‘usi uning sha’nu jalol yo‘li. Yoshlar, o‘rganing bu fanni, chun zamon andin yorur, Jahd ila bunyod etilgay ertaning iqbol yo‘li. Navoiyvor aytsam, ilm bir xazina, dilga nur, Dasturlash ham ul xazinaning porloqdur misol yo‘li. Bas, qalam tut, kod bitib, olamga naf’ yetkur mudom, Ezgu niyat birla bo‘lsun har ishing kamol yo‘li.

Yoshligimda PR ochib, review qilmasdan main branch ga kod push qilardim. U to’g’ri production ga ketadi. Tahminan shunaqa tasavvur qilaman