Kompyuter lingvistikasi, dasturlash va tilshunoslik

Yangi alifboning harflarini o'zida mujassam qilgan klaviaturalarni mana bu havoladan yuklab olib ishlatish mumkin ekan: https://kiritish.uz/

Bugundan rasman yangi alifoga o'tyapmiz, chunki qonun imzolandi. Milleniallar kirill alifbosidan uzilib ulgurmagan, zumerlar lotinchani o'rganib bo'lgan bir mahalda alfalar yangi alifbo bilan hayot boshlar ekan. Men til siyosatiga qarshi chiqib yomonlash istagida emasman! Oldindan katta va'dalar berish fikridan ham saqlanaman. Shunchaki kuzatish kerak. Har qanday o'zgarishning ta'siri vaqt o'tgach bilinadi. Nima bo'lganda ham, o'zbek tilimiz o'lmasligining tarafdoriman. Tilimiz rasman qabul qilingan kun muborak bo'lsin! @komp_ling_uz

Tech love:

O’tgan tadbir haqida hozircha Linkedinda post chiqdi. Ertaga bu yerda ham batafsil yozaman. Keyin esa Nutqni avtomatik tanib olish ma’ruzalar seriyasini davom etamiz. Hozircha LinkedInda qo’llab turinglar 🙂: https://lnkd.in/p/dEm9iupH

Jonli uzatma: https://www.youtube.com/live/G4A43TwPQjA?si=vmCq150Gnjvl1Tec

Ertaga ko’rishamiz ❤️ Kimlar kelyapti?

AI Qadam Meetup #3: что стоит вокруг модели Когда мы говорим про ИИ, мы почти всегда говорим про модель. Но стоит запустить настоящий продукт, и выясняется, что модель — лишь его вершина: под ней лежат данные, которые надо понять, контекст, без которого ответы бессмысленны, люди, которым этим пользоваться, и железо, которое всё это тянет. 17 октября в Ташкенте на третьем митапе AI Qadam, сообщества практиков ИИ Центральной Азии, четыре спикера покажут эти слои изнутри, на живых проектах. Мохияҳон Узокова, лингвист-аналитик, U-BSS «Voice AI — это не только модель» Почему «точность 90%» в распознавании речи ничего не гарантирует. На примере узбекского («kerak edi» или «kerakdi») разберём, как устроены речевые данные и почему именно они решают, заговорит ли голосовой ИИ по-человечески. Анна Шибанова, партнёр A+ Solutions, Data Community Uz «Готовы ли ваши данные для ИИ?» Данные недостаточно просто собрать: ИИ нужен контекст. Анна покажет путь от AI-Ready Data к Contextual Intelligence на примерах корпоративных данных и финансового сектора. Бахтиёр Бекмуродов «Архитектура × AI: новый подход к проектированию» Сначала инструмент: путь от AS IS к TO BE и дальше, к футуристичным сценариям. Затем главное: как ИИ меняет общение архитектора и заказчика, и это новый формат для нашей страны. Евгений Вишневский, CEO Pro-Data «Как сэкономить на инфраструктуре для ИИ» Как выбрать видеокарту для локальных моделей и не переплатить за всё, что должно быть вокруг неё: инфраструктуру, без которой железо не работает. 📅 Суббота, 17 октября, 13:00 📍 Ташкент, Beeline Uzbekistan, Муминова 4/4 (рядом IT Park) 👉 Регистрация в боте

tayyorgarlik avjida. bir oydan beri tayyorlanyapmiz. kelinglar-a

#kun_hazili — Milord, Claude sizning so'rovingizni rad qildi: buni xavfsizlik tahdid deb hisoblayapti — Xitoylik qila qolsin unda — Bosh ustiga, milord, Germes DeepSeekni darhol chaqirib keladi 😂😂😂 @komp_ling_uz

#case #hadya Oramizdan kimdir Samsung A52 rusumli telefon ishlatsa, iltimos, aloqaga chiqinglar Mana shu g’iloflarimni tashlab yuborishga qo’lim bormayapti. Orasidan ba’zilari bir marta tutilgan. Menda hozir bu telefon yo’q. Sizga foydasi tegsa, ishlating. 🥺

Bu haqida jonli gaplashsak, nima deysiz?

Ovoz modellari aslida nimani o‘rganadi? (2-qism) #ASR #Speech_technologies O‘tgan postda ASR modeli audio va uning matnli transkripsiyasi o‘rtasidagi bog‘liqlikni o‘rganishini ko‘rib chiqdik. Bugun esa muhim bir savolga javob topishga urunib ko’ramiz: transkribsiyadagi xato modelga qanday ta’sir qiladi? Tasavvur qiling, bizda quyidagi audio bor: 🎧: “Bu oy tugasin, shu yangiga o‘taman” Uni ikki xil yozish mumkin: 1-variant: bu oy tugasin shu YANGIGA O'TAMAN 2-variant: bu oy tugasin YANGI OYGA O'TAMAN Endi tasavvur qiling, modelga birinchi variant to‘g‘ri transkribsiya sifatida berilgan, lekin boshqa joyda ikkinchi variant ham to‘g‘ri deb belgilangan. Model uchun bu shunchaki yozuvdagi farq emas. U audio va matn o‘rtasidagi bog‘liqlikni o‘rganishga harakat qiladi. Transkribsiyalar bir-biriga mos kelmasa, model uchun qaysi matn aynan aytilganini o‘rganish qiyinlashishi mumkin. Albatta, har qanday farq xato degani emas. Og‘zaki nutqda qisqartmalar, shevaga xos shakllar, talaffuz variantlari va grammatik xususiyatlar uchraydi. Muhimi, ularni qanday yozish bo‘yicha izchil qoidalarga ega bo‘lish va ularga rioya qilish. Shu sababli transkribsiya jarayonida bir nechta savolga oldindan javob berish kerak: ➡️So‘zlar adabiy shaklda yoziladimi yoki talaffuzga yaqin shakldami? ➡️Og‘zaki nutqdagi qisqartmalar qanday belgilanadi? ➡️Tushunarsiz yoki bo‘linib aytilgan so‘zlar qanday yoziladi? ➡️Turli transkribatorlar bir xil holatni bir xil usulda belgilayaptimi? Bular mayda detaldek ko‘rinishi mumkin. Ammo minglab audiofragmentlardan iborat datasetda bunday qarorlar yig‘ilib, modelni o‘qitish uchun ishlatiladigan ma’lumotlarning izchilligiga ta’sir qiladi. Yaxshi ASR modeli faqat ko‘p audio bilan emas, balki sifatli va izchil tayyorlangan ma’lumotlar bilan ham quriladi. Keyingi postda model natijasini qanday o‘lchashimiz va WER metrikasi nimani ko‘rsatishini ko‘rib chiqamiz. @komp_ling_uz

Kim shunaqa desa, borib sochini yulamiz endi :)

Ovoz modellari aslida nimani o'rganadi? (1-qism) #ASR #Speech_techlogies Keling, va'da qilinganidek, bugun ovozli texnologiyalar haqida biroz gaplashamiz. Bugun telefon orqali gaplashsak, bir necha soniyadan keyin aytgan gapimiz ekranda matn ko‘rinishida paydo bo‘lishi oddiydek tuyuladi. Lekin bu jarayon ortida ancha murakkab tizim ishlaydi: Biz gapiramiz → audio yozib olinadi → model audio signalni qayta ishlaydi → nutq birliklarini aniqlaydi → va oxirida biz ko‘radigan matn hosil bo‘ladi. Bu texnologiya Automatic Speech Recognition (ASR) — avtomatik nutqni tanib olish deb ataladi. Lekin bu yerda qiziq savol tug'iladi:

Model aynan nimani “o‘rganadi”?

Ko‘pincha “modelga minglab soat audio beriladi, u o‘rganadi” deb tasavvur qilamiz. Aslida esa model uchun audio materialning o‘zi yetarli emas. Unga audio bilan birga to‘g‘ri transcription, ya’ni shu audioda nima aytilganining matnli varianti ham kerak. Masalan: 🎧 Audio: “bu oy tugasin, shu yangiga o‘taman” 📝 Transcription: bu oy tugasin shu YANGIGA O‘TAMAN Model shu audio va uning transcriptioni o‘rtasidagi bog‘liqlikni o‘rganadi. Shuning uchun modelning sifati faqat uning arxitekturasi yoki parametrlar soniga bog‘liq emas. ➡️ Data qanday yig‘ilgan? ➡️ Qanday yozilgan? ➡️ Qanday transkripsiya qilingan? ➡️ Qanday tekshirilgan? Bularning barchasi modelga ta’sir qiladi. Lekin transkribatsiya qilish ham shunchaki “eshitganimizni yozib qo‘yish” emas. Balki oldinan puxta ishlab chiqilgan bir dunyo lingvistik qoidalarga tayanish, tilning nyuanslarini inosbatga olishni ham qamrab oladi. Keyingi postda yaxshi va yomon transkribsiyaga miso ko'ramiz. @komp_ling_uz

Sizlarsiz biz na bu darajamizda, na bu holimizda bo’lardik. Yaxshiyam borsizlar, ustozlar! Bayramingiz muborak bo’lsin! @komp_ling_uz

Anchadan beri bu kanalda post qilmagandim Aslida shu vaqt ichida kompyuter lingvistikasi bilan shug‘ullanishdan to‘xtaganim yo‘q, aksincha, bu yo‘nalishdagi ishlarim ancha ko‘paydi. Dastlab kompyuter lingvistikasi men uchun ko‘proq til + texnologiya kesishmasidagi akademik yo‘nalish edi. Hozir esa uning turli tomonlari bilan amaliy ishlayapman: — nutq texnologiyalari va ASR; — NLP va machine learning; — LLM va RAG; — o‘zbek tilidagi modellar; — model evaluation; — va, albatta, data ortida turgan lingvistik ishlar. Shu jarayonda bir narsani yanada yaxshi tushunyapman: yaxshi AI model faqat yaxshi algoritmdan iborat emas. Uning ortida tilni tushunish, to‘g‘ri data tayyorlash, annotation, evaluation va eng muhimi, model nima uchun xato qilayotganini tushunish turadi. Shuning uchun kanalni ham shu yo‘nalishda davom ettirmoqchiman. Endi bu yerda faqat nazariy tushunchalar emas, real NLP loyihalarida uchraydigan muammolar, o‘zbek tili bilan ishlashdagi qiyinchiliklar, modellarni baholash, nutq texnologiyalaru, LLM va RAG haqida ham yozib boraman. Qisqasi, kompyuter lingvistikasini model ortidagi til nuqtayi nazaridan ko‘rishga harakat qilamiz. Urra :) @komp_ling_uz

Boshlayapmiz, do'stlar: https://meet.jit.si/DAADLinguisticsMasterclass

Bugun DAAD G‘oliblari Masterklasslar Seriyamizning so‘nggi suhbati! Yakuniy masterklassimizda Kompyuter lingvistikasi va Tilshunoslik yo‘nalishida faoliyat yuritayotgan, DAAD (2022) yarim finalisti va NSP (2022) g‘olibasi Mohiyaxon Uzoqova bilan suhbatlashamiz. Suhbat davomida: — Kompyuter lingvistikasi aslida nima va bu yo‘nalishda nimalar o‘rganiladi — Filologiya va Lingvistika yo'nalishlari o‘rtasidagi asosiy farqlar — Tilshunoslikka qiziqqanlar uchun Kompyuter lingvistikasi qanday imkoniyatlar berishi — Mohiyaxonning shu yo‘nalishdagi o‘qish va rivojlanish tajribasi — Xalqaro ta’lim va grantlar uning akademik yo‘lida qanday o‘rin tutgani 🗓 28-sentabr, dushanba | 20:00 📍 Eksklyuziv Telegram kanalida 💰 Bepul ishtirok 🔔 Masterklassga qo'shiling va so'nggi darsni o'tkazib yubormang 👉 Masterklassga qo‘shilish #magistratura #daad #kompyuterlingvistikasi #tilshunoslik #grant MentorGO | GrantGO | EventGO

Do’stlar, kichik audiotoriyamiz o’sib, katta oilaga aylanib boryapmiz. Buyog’iga ham qo’llab quvvatlasangiz, yaxshi va manfaatli postlar chiqarardik: https://t.me/komp_ling_uz?boost