Muhammadsaid - Blog

Vikipediyadan ma'lumot olib ko'ray desam, butun maqolalar matn bo'lganida 300 MB gina chiqdi xolos. Bu 35 millionta so'z. Har bir o'zbekistonlikka bittadan so'z to'g'ri kelarkan :D #dataset_beringlar

Yaxshi ketayotgandi, portlab ketdi-da. Yaxshi paytdagi holat:

Xayrli tong. Kechagi trenirovka uxladi 😂, boshqatdan qilamiz endi. Sababi: gradient exploding yoki ketma-ket sifatsiz gaplar kirib ketgan.

Til, skan qilingan lug‘atlar, va haligacha Tahrirchini o‘zimiz qilamiz deb davlat budjetidan pul olib, o‘xshatolmagan loyihalarni chetga qo‘yib turaylik. Menda bir nechta muhim savollar bor: 1. Nega o‘zbekcha korpus haligacha qilinmagan? 2. Nega milliy kutubxonadagi kitoblar raqamlashtirilib, .epub yoki .txt formatida yo‘q? 3. Va nega hukumat institutlarga bergan pulini tekshirmaydi? Aytmoqchi bo‘lganim, nega QA/audit jarayoni yo‘q? Mana masalan, siz Tahrirchining klonini qilmoqchi bo‘ldingiz. Alisher Navoiy institutidan chiqib, budjetdan 2 mlrd pul oldingiz, 2 yilga. Loyiha bitdi ham deylik, u yaxshi chiqdimi? Uni odamlar ishlatyaptimi? Biz 50k$ olish uchun bir yil ishlaganmiz, lekin siz institut bo‘lib turib loyiha mavzusini tayyorlab go'yo startap uchun pre-seed investment oldingiz! Hattoki Amerikada ham bunday sarmoya bo‘lmaydi. Qiziq-da... @muhammadsaid_dev

Bu modellar bir marta o‘rgatilib olinadi, keyin esa boshqa masalalar uchun (masalan, grammatika tekshiruvi) islatiladi. Ya’ni oldin o‘rgatilgan modelni siz yana qaytadan boshqa narsaga o‘rgatasiz. Shu sabab bunday modellar juda ommabop va o‘rgatilishi qimmatdir. Shu modelni o‘rgatishga biz to‘rtta Nvidia A100 80 GB videokartani ishlatdik, soatiga 6$ dan tushyapti. Taxminan 15-20 soatlarda 16 GB datasetni o‘rganib chiqadi. Lekin bundan oldin korpus yig‘ish uchun qilingan ishlar, yangiliklar, kitoblarni yig‘ish, skan qilib chiqish, yana alohida 1000$ ga tushgan. Shu bilan birga biz ishlatayotgan dataset atigi 16 GB tashkil etadi. Ingliz yoki boshqa tillar uchun bu datasetlar terabaytlab yotibdi... Bilmadim bu muammoni qanday yechib bo‘larkan... @muhammadsaid_dev

BERT transformerini o'zbekcha dataset ustida o'rgatyapmiz. Datasetimiz yangiliklar (4 GB), bloglar (0.5 GB) va kitoblar (12 GB) dan tashkil topgan. Hozirgi mavjud bo'lgan o'zbekcha transformerlardan ancha dataseti katta model bo'lishi kutilmoqda.

Tahrirchi: как студенческая работа превратилась в стартап, который интегрирован с Microsoft Уже больше двух лет команда Tahrirchi объединяет в своем проекте любовь к IT и узбекскому языку. Сегодня стартап представляет из себя экосистему с несколькими продуктами — проверка орфографии, транслитерация из кириллицы в латиницу и наоборот. В планах среди прочего создание языковой модели, которая сможет генерировать текст на узбекском языке. Основатель проекта Мухаммадсаид Мамасаидов рассказал Spot о победе в конкурсе mGovAward, про опыт работы с Microsoft, способах монетизации, планах по созданию языковой модели, способной генерировать текст на узбекском языке: https://www.spot.uz/ru/2023/06/27/tahrirchi/ ➖ @spotuz ➖

Raqamli texnologiyalar vazirligi vaziri Sherzod Shermatovning yoshlar bilan uchrashuviga taklif qilishdi. Uchrashuvda startaplarni sonini qanday ko’paytirish, ushbu sohani qanday rivojlantirish haqida munozaralar bo’ldi.

Grammatika tekshiruvi Tahrirgoh platformasi ishga tushdi. Fikrimcha, bu o‘zbek tilida birinchi gold-annotated [1] datasetlardan biri bo‘ladi. Imkon qadar g‘aliz, mashinali tarjimadan o‘tgan, o‘zbek tilidan yiroqlashgan gaplarni tahrirga beryapmiz. Tahrirchilar guruhi ham shakllandi — ishning eng qiyin jihatlaridan biri. Platforma yaratish bu bir narsa, annotatorlarga buni ishlatishga o‘rgatish, ko‘rsatmalar berish undan ham mushkulroq. Maqsadimiz taxminan 40,000 ta tahrirlar yig‘ish. Bu uchun nechta gap kerak, uni hali hisoblab ko‘rmadim. Hatto bu miqdor sun’iy intellekt uchun kamdir. Ya’ni biz modelni o‘zimiz buzib chiqqan gaplarni ustida o‘rgatamiz, minimum 2-3 millionta sun’iy gaplar ustida. Keyin esa tahrirchilar qilgan gaplar ustida o‘rgatamiz. Shundagina u nimadirni o‘rganib, tahrirchidek bo‘ladi. Shunaqa gaplar :D [1] gold-annotated — oltindek qimmatli berilma, ma'lumot. Qo'lda terilgan berilmalar shunday ataladi. @muhammadsaid_dev

#JARAYON Grammatik xatoliklar tekshiruvi uchun tahrirlar yig‘uvchi platforma. Bu yerda annotatorlar, ya’ni haqiqiy tahrirchilar berilgan gaplarni tahrir qiladi. Bu tahrirlarning asosida biz neyron tarmoqlari orqali model yaratamiz. Berilmalarni (data) to‘plash “Machine Learning”da 80% vaqtni oladigan ish. Shuning uchun dataset yig’adigan platformalarni va datasetlarni ommaga chiqarish fanga juda katta hissa qo‘shadi. Ushbu platformani open-source qilamiz productionga moslab. @muhammadsaid_dev

AWS menga 1000$ kredit berdi. Startap uchun. Baraka topishsin 😊

Tahrirchi V2.0 Endi Tahrirchi veb-sayt va Microsoft Word uchun kengaytma ko‘rinishida! Bu degani siz veb-saytimizda hujjatlarni yaratish, saqlash va ularni tahrir qilishingiz mumkin. Microsoft Word uchun kengaytmamizni esa o‘rnatib, o‘zingizga qulay ilovada hujjatlarni tahrir qilishingiz mumkin. Tahrirchidan foydalanish — bepul. Batafsil: https://tahrirchi.uz Microsoft Word: https://tahrirchi.uz/word

Uch haftalik mojaro Oldinlari Microsoft bilan to‘qnashuvlar nisbatan ijobiy edi (Typescript, GitHub, VS Code, C#). Lekin MS Office uchun kengaytma qilishda ularning dasturchilarga munosabati naqadar achinarli ekanligini ko‘rib, o‘zim boshimdan o‘tkazganim kompaniya haqidagi taassurotlarimni 180 gradusga burvordi. Qisqacha tarix: kengaytmalar oldinlari Visual Basic, keyinchalik C# (COM obyektlar orqali) va yaqindan beri JS tilida qilinishi boshlangan. Ya’ni MS Office ilovalariga siz manifest faylini yuklaysiz, u yerda kengaytma qaysi saytda (ha, kengaytma saytda host bo‘lgan bo‘lishi kerak) ekanligi yoziladi. U ishga tushganda Word uni yon panelda mini-brauzer shaklida foydalanuvchiga ko‘rsatadi. G‘oyaga gap bo‘lishi mumkin emas. Amalda esa... Masalan, insertOoxml() funksiyasi katta fayllar uchun ishlamaydi (fikrimcha, 4 MB ko‘p bo‘lgan fayllarda). API da bu aytilmagan. Wordning online versiyasida esa umuman kichkina hujjatlarga ham ishlamaydi. Bu haqida bu yerda tanishishingiz mumkin. Boshqa yerida "Find and Replace" degan funksiya o‘zini platformaga qarab har xil tutadi: Windowsda ishlaydi, Online Wordda esa yo‘q. Yoki masalan, kengaytmadan turib fayl yuklamoqchimisiz (transliteratsiya natijasi alohida fayl bo‘ladi), xo‘p, Windows va Online da ishlata oling, lekin Mac OS da kechirasiz, Safari WebKit degan narsasi bunga yo‘l qo‘ymaydi. Microsoftga yozsangiz javob 3-4 ish kunida keladi. Bunday byurokratik ish tartibi startap tezligida ishlayotgan odam uchun aqlbovar nosamaradorlikning timsoli. To‘g‘ri-da, Microsoft bir oyda javob bersin, baribir bozorni monopoliya qilgan, balo urarmidi :D @muhammadsaid_dev

Bollar, biz yutdik! Tahrirchi endi Microsoft Word uchun bor!

Digraflar O’, G’, Sh, Ch o’zlarining bir belgili muqobillariga o’zgarishi kerak. Boshqa turkiy tillarga monand ravishda belgilarni tanlash kerak. Ya’ni: O’ -> Ö G’ -> Ğ Sh -> Ş Ch -> Ç Albatta, bu keskin o’zgarish. Raqamli ta’minot tarafidan qaraydigan bo’lsak, bu boshida juda ko’p qiyinchiliklarga olib kelishi tabiiy. Masalan, odamlar alohida o’zbek tili uchun klaviatura tartibini o’rnatishi kerak. Keling o’ylab ko’ramiz, agar foydalanuvchi bunday klaviaturani mobil qurilmasida o’rnatmasa, qanday imloviy xatoliklar yuzaga kelishi mumkin? Uyda juda ko’p ish bor. Ushbu xabarni endi yangi alifboda yozib ko’ramiz: Uyda juda köp iş bor. Endi esa chala harflar bilan: Uyda juda kop is bor. Chala harflar deb men ingliz ASCII harflarni nazarda tutyapman. Ingliz alifbosi birinchi raqamlashtirilgan alifbo bo’lgani tufayli uning o’rni balanddir. Ko’p elektron qurilmalarda bu alifbo birinchi bo’lib keladi. Bilmaydigan foydalanuvchi klaviaturani almashtirmasdan yozishni boshlashi mumkin. Yuzaga kelgan ASCII-xatoliklar odamlarni adashtirishi, muammolar orttirishi ehtimoli ham bor. Shosha-pisha ishga keldim. Şoşa-pişa işga keldim. Sosa-pisa isga keldim. Demak, bu alifboni joriy qilishdan oldin birinchi o’rinda raqamlashtirishga e’tibor berish kerak. Masalan, mamlakatga kirib kelayotgan qurilmalarga asosiy til qilib o’zbek tili va klaviaturasi kiritishni talab qilish kerak. To’g’ri raqamli targ’ibot yo’li bilan bu alifbo islohotini muammosiz amalga oshirsa bo’ladi. @muhammadsaid_dev

Hm, ajoyib! Fundamental o’zgarishlar kutib qolamiz! @muhammadsaid_dev

Microsoftni jiddiy qabul qilmabman Akkuntimni zo'rg'a tasdiqlaganimdan keyin, kengaytmani yukladim. Ko'rib chiqamiz deb aytishdi. Endi qarasam to'laqonli QA qilib yuborishibdi. Kengaytmani ipidan ignasigachaga sinab, xato va kamchiliklarini batafsil yozib, video qilib ham berishibdi. Tekin QA 😂 Qoyil, gap bo'lishi mumkin emas. @muhammadsaid_dev

Microsoft Word kengaytmasi yoxud nega men Microsoftni yoqtirmayman Word kengaytmasini dasturlashdan oldin obdan u yerdagi dokumentatsiyani o‘qishni boshladim. Boshida tushunarli edi, lekin bora-bora dokumentatsiya tushunarsiz bo‘lishni boshladi. Bitta narsani qidirasiz, natijada sizga unga aloqador 5-6 ta narsa chiqadi. Qay biri sizga to‘g‘ri keladi? O‘qib chiqing-chi. Buni ustiga JS API oldingi COM C# API dan ancha sodda, ko‘p imkoniyatlar yo‘q. So‘zni qidirishdan boshlab matn o‘zgarganligini aniqlash — bu imkoniyatlar boshqacha aytganda "костыль", "hacking" orqali amalga oshiriladi. Albatta bu kengaytmaning tezligiga keskin ta’sir qiladi. Deploymentga kelganda, Word kengaytmasini yuklash uchun alohida Microsoft Partner Center servisidan ro‘yxatdan o‘tib, u yerda biznes akkaunt ochish kerak ekan. Unga ham tutorial yoki dokumentatsiya pala-partish, ignani uchini rosa qidirasiz. Ro‘yxatdan o‘tganimdan keyin Microsoft jiddiy okani yoqdi: har xil rasmiy, firmaga oid hujjatlarni talab qildi. Ya’ni ular Partner Centerga har kimni qo‘shmas ekan, faqat yuridik shaxslarni. Ularga bir-ikkita patent va xatlar jo‘natdim, manzildagi indeks noto‘g‘ri ketgani yoqmadi. Boshqasini jo‘natdim, endi keyingi hafta 3-5 ish kuni ichida javob berisharkan. Kutib qolamiz endi... @muhammadsaid_dev

Oxirgi bir oyda nima yuz berdi: Tahrirchi: Tahrirchining veb-versiyasi ishga tushdi. Angularda yozilgan, jonli matn tahriri, lotin/kirill, har xil turdagi xatoliklar tekshiruvi. Qo‘ldan kelgan darajada zamonaviy va qulay qilishga harakat qildik. Manzil: tahrirchi.uz Korpus: Kitoblarni tanib olish skripti haligacha ishlab turibdi. Hozirgacha 20,000 ta kitob tanib chiqdik. Ularni saralab, tozalab, bitta katta korpus yig‘yapmiz. MS Word: Tahrirchini endi Word va Excelga o‘tkazyapmiz. U ham Angularda yozilgan bo‘lib, Microsoftning Office.js API dan foydalanadi.