Kompyuter lingvistikasi, dasturlaş va tilşunoslik
Open in Telegram
17.08.2020 Umumiy tilşunoslik va kompyuter lingvistikasiga doir materiallar, ilmiy va şaxsiy kuzatuv xulosalari berib boriladi. https://github.com/mokhiya Fikrlar: https://t.me/mokhiya_thoughts
Show more1 079
Subscribers
-224 hours
-107 days
-5130 days
Posts Archive
O’tgan yildan beri har bir hududda o’tkazib kelinayotgan “National AI Hackhathon” tanlovining va nihoyat 17-19-noyabr kunlari Toshkent shahri bosqichi bo’lib o’tdi.
Jami 3 ta yo’nalish: ta’lim, tibbiyot va tadbirkorlik yo’nalishida 48 soat ichida jamoalardan berilgan muammoalr asosida loyiha ishlab chiqish talab qilindi.
Dastlab 123 ta jamoadan 60 tasi test asosida saralandi. Keyin 60 tadan 15 ta jamoa 3 yo’nalish (sohaviy, texnik va biznes) bo’yicha baholandi. Va nihoyat 3-kuni faqat finalga chiqqan jamoalar o’rtasida loyiha taqdimoti o’tkazildi.
Bizning jamoamiz — Durov’s Protocol jamoasi qurgan mahsulot tibbiyot bo’yicha eng yaxshi loyiha deb topilib, 1-o’rinni oldiiiii 🥳
Endi Grant Final — barcha hududlar g’oliblari o’rtasida o’tkaziladigan oxirgi musobaqa qoldi. Duo qilinglar, undan ham yutaylik.
To’g’risi, bor yiqqan-tergan tajribamizni to’plab, uxlamay, qancha asab va vaqtimizni sarflab… natija qilganimizga o’zimiz ham ishonolmadik. Ha, hamma qatori g’alabani kutdik! Lekin eng yomoniga ham tayyor turgadik.
Ko’p gapirmayman, shunchaki videoda bizning reaksiyamizdan hammasini tushunib olishingizni xohlayman…
Jamoamizga ko’z tegmasin. Biz yutdiiiiik!!!
Ilova: orqa fonda Konstaning “Qarang, bu yulduzlar…” degan qo’shig’i qo’yilgan deb tasavvur qilinglar
@komp_ling_uz
19 Nov, 10:18
Biz “National AI hackathon: Tashkent” da yutdiiiik 😍
Grand finalda ko’rishamiz!
19 Nov, 06:21
Repost from Raqamli lingvist ||
Hugging Face’da o‘zbek tilining 6 milliard so‘zli korpusi e’lon qilindi.
O‘zbekiston Respublikasi Raqamli texnologiyalar vazirligi Uzbek Language Corpus nomli matnlar to‘plamining birinchi versiyasini Hugging Face’ga joyladi. Korpus o‘zbek tilidagi til modellarini o‘qitish, matnga ishlov beruvchi dasturlar yaratish va lingvistik tadqiqotlar uchun mo‘ljallangan.
Korpus raqamlarda:
• 5,64 mln hujjat
• 6,07 mlrd so‘z
• 52% lotin, 46% kirill, 2% aralash yozuvdagi hujjatlar
• 16,3 GB hajmdagi 136 ta Parquet fayli.
Matnlar qayerdan olingan?
Korpus 10 ta manbani birlashtiradi. Ular orasida Milliy kutubxona, Tahrirchi, O‘zarxiv, ZiyoNET/Ziyouz, Lex.uz, o‘zbekcha Vikipediya, veb-sahifalar va ochiq Telegram kanallari bor. Telegram’dan 1,12 mln post olingan, lekin ular jami so‘zlarning 1,6% ini tashkil qiladi. So‘zlar soni bo‘yicha eng katta ulush Milliy kutubxona materiallariga to‘g‘ri keladi (30,1%).
Tilshunoslar va NLP mutaxassislari uchun
Matn bilan birga uning manbasi, mavzusi, uslubi, yozuvi va so‘zlar soni ham berilgan. Bu, masalan, adabiy va rasmiy matnlardagi so‘z qo‘llanishini qiyoslash yoki o‘zbekcha til modelini o‘qitish uchun kerakli matnlarni saralash imkonini beradi. Mavzu va uslub teglari avtomatik qo‘yilgan, skanerlardan olingan ayrim matnlarda esa OCR xatolari uchrashi mumkin.
🔗 Korpus sahifasi · Matn namunalarini ko‘rish
#RaqamliLingvistika #OzbekTili #Korpus #NLP
19 Nov, 01:09
https://eventflow.uz/en/events/lexhackathon-2026
mana shu xakatonda qatnashish uchun jamoaga ayni da,da Toshkentga yashayotgan yoki o'qiyotgan yurist/shu yo'nalishda o'qiyotgan bir kishi kerak
Agar qiziq bo'lsa, izohda + qoldiring, o'zim aloqaga chiqaman.
e'lonni tarqatishingiz ham yordam
10 Nov, 10:58
11 Nov, ~09:16
https://eventflow.uz/en/events/lexhackathon-2026
mana shu xakatonda qatnashish uchun jamoaga Yurist yoki shu yo'nalishda o'qiyotgan bir kishi kerak
Agar qiziq bo'lsa, izohda + qoldiring, o;zim aloqaga chiqaman.
e'lonni tarqatishingiz ham yordam
10 Nov, 10:56
10 Nov, ~10:58
Innoweek.uz tadviriga kelishni qattiq tavsiya qilaman. Bir dunyo ilmiy-amaliy ishlar, loyihalar, yuzpab yosh iste’dodlarni ko’rib hech bo’lmasa ilhomlanib ketasiz.
O’zbekistonda hech nima qilinmayapti, deb salbiy kayfiyatda yuradiganlarga manzilni to’g’ri beraveringlar.
Tadbir 27-29 oktyabr kunlari CAEx ko’rgazmalar zalida bo’lib o’tmoqda.
27 Oct, 03:26
Bu post amaldagi alifbo asosida yozilmoqda
Yangi o‘zbek alifbosi: nimaga roziman-u, nimaga savollarim bor?
Ha, 21-oktaybr — o'zbek tiliga rasmiy til maqomi berilgan kuni yangi alifboga o'tishimiz tog'risidagi qaror imzolandi. Qonun 2027-yil 22-apreldan kuchga kirishi belgilangan. Hozircha o'zimiz bilgan alifbo amalda ishlab turadi.
Oxirgi kunlarda yangi alifbo atrofida ancha bahs ketmoqda. Kimdir islohotni to‘liq qo‘llab-quvvatlayapti, kimdir esa hamma narsani boshidan o‘zgartirishga qarshi.
Menimcha, masalaga biroz boshqacharoq qarash kerak: har bir o‘zgarishni alohida ilmiy-amaliy baholash lozim. Shuning uchun mutaxassis sifatida vaziyatimiz bo'yicha xolis tahlilni taqdim etmoqchiman.
1. O‘ va G‘ → Ö va ĞBu o‘zgarish aslida mantiqli, uni tushunaman va qo‘llab-quvvatlayman. Hozirgi yozuvimizda
o‘ va g‘ uchun ishlatiladigan belgi turli klaviaturalarda turlicha yoziladi: ', ‘, ’, ba’zan esa `. Buning ustiga, tutuq belgisi bilan bu harflarning belgisini farqlashda ham muammolar bor. Natijada bitta so‘z turli ko‘rinishlarda yozilishi mumkin (O'zbekiston va O‘zbekiston bitta so'z emas, masalan). Bu esa matnlarni qidirish, solishtirish, qayta ishlash va NLP tizimlarida normalizatsiya qilishni murakkablashtiradi. Yangi belgilar bu muammoni kamaytirishi mumkin. Tokenizatsiya nuqtayi nazaridan ham ayrim yozuv shakllarini soddalashtirish foydali ekanligini Qilichbek aka amaliy tahlil bilan isbotlab beribdilar, garchi aniq natija model va tokenizerga bog‘liq bo‘lsa ham.
2. Sh va Ch → Ş va ÇBu qismida esa menda savollar ko‘proq. Albatta,
sh va ch o‘rniga bittadan harf ishlatishning mantiqi bor: harf birikmalari o‘rniga alohida grafemalar paydo bo‘ladi.
Kompyuter lingvistikasi bilan shug‘ullangan odam sifatida sh va ch bilan bog‘liq ayrim tokenizatsiya muammolariga shaxsan duch kelganman. Ba’zan so‘zlarni qismlarga ajratishda kutilmagan, ma’nosiz ko‘rinadigan segmentlar paydo bo‘ladi. Lekin bugungi kunda LLMlar ancha rivojlandi. Shuning uchun bu muammoni hal qilish uchun butun yozuv tizimini o‘zgartirish qanchalik zarur edi? Buning foydasi amaliy tadqiqotlar bilan ko‘rsatilishi kerak, deb o‘ylayman. Bu islohotga qarshi chiqish emas, balki savolga javob topish tadqiqotchi sifatida kaminaga qiziqligidan o'rtaga tashlandi.
3. Xorijiy so‘zlar va transliteratsiya masalasiMeni eng ko‘p o‘ylantirayotgan masalalardan biri shu. Masalan, yangi harflarni joriy qilganimizdan keyin xorijiy nomlarni qanday yozamiz? ChatGPT Chevrolet Chanel Chrome Chatbot Charles Dickens Sherlock Holmes Shakira Shell Shopify Shazam Bularning barchasi boshqa tillarda shakllangan nomlar yoki atamalar. Ularning asl yozilishi xalqaro miqyosda tanilgan. Agar
ch va sh ni har qanday matnda avtomatik ravishda ç va ş ga almashtirsak, ChatGPT → ÇatGPT, Shakespeare → Şakespeare kabi shakllar paydo bo‘lishi mumkin.
Bu shakllar o‘zbek tilining yangi imlosida qanday maqomga ega bo‘lishi kerak? Xorijiy nomlar original yozilishida qoladimi yoki o‘zbek imlosiga moslashtiriladimi?
Menimcha, bu savollarning javobi yangi alifboga rasman o'tganimizda aniq bo'ladi. Yuqoridagi misollar rasmiy istisnolar ro‘yxati emas, balki qoidalar aniqlashtirilishi zarurligini ko‘rsatadigan misollardir.
4. O‘tish davriAlifbo faqat kitob va hujjatlardagi harflardan iborat emas. U qidiruv tizimlari, elektron lug‘atlar, korpuslar, ASR, OCR, NLP modellari, ta’lim platformalari va boshqa ko‘plab tizimlarga bog‘langan. Eski yozuvdagi millionlab matnlar, yangi yozuvdagi matnlar va aralash shakllar bir muddat yonma-yon yashaydi. Bunda transliteratsiya, qidiruv, matnlarni taqqoslash va ma’lumotlarni birlashtirish masalalari paydo bo‘ladi. Bu muammolarni hal qilish mumkin. Lekin ular uchun aniq standartlar, sifatli konvertorlar va o‘tish rejasi kerak. Alifbo — millionlab odamlar har kuni foydalanadigan tizim. Shuning uchun har bir o‘zgarishning ilmiy asosi, amaliy foydasi va o‘tish mexanizmi aniq bo‘lishi kerak. Tez orada barcha savollarga javob topamiz, degan umiidaman. Nima bo'lmasin, ona tilimiz - o'zbek tili o'lmasligi kerak. @komp_ling_uz
26 Oct, 04:40
Döstlarim ta'limga doir yangi startap boşlaşibdi.
Loyiha — EXBMBA (exbmba.uz) — onlayn ta'lim platformasi.
Ular hozir platforma uçun öz fani va yönalişini yaxşi biladigan, video dars yozişga qiziqişi/mahorati bor talabalar va öqituvçilarni izlaşmoqda. Tayyor video kurslaringiz bölsa yana-da yaxşi. Qonuniy şartnoma asosida hamkorlikda işlaşga taklif qilişmoqda:
1. Agar tayyor videokursingiz bölsa, uni kelişilgan narxda töliq sotib olişlari mumkin.
2. Tayyor kursingizni sotişga yordam berişlari mumkin. Kurs narxini özingiz belgilaysiz, ular esa platforma orqali sotiş va reklama qilişda yordam berişadi.
3. Agar sifatli video kursingiz bölsa, sizga oldindan tölov qilib, kurs sotuvlaridan ham uluş (royalty) berişadi.
Hozirça videokursingiz bölmasa ham, muammo emas. Muhimi, öz faningizni yaxşi bilişingiz va uni boşqalarga tuşunarli qilib örgata olişingiz. Kurs yoziş uçun professional studiya kerak bölsa, u tarafdan ham yordam berişga tayyor. Video kursdan taşqari onlayn imtihonlar uçun test yarata oladigan, kuratorlik qila oladigan kadrlar ham kerak.
Agar taklif qiziq bölsa, loyiha rahbariha xabar yozişingiz mumkin.
Tengdoşlarimizni qöllab-quuvatlaş uçun heç bölmasa, postni köproq ulaşaylik.
@komp_ling_uz
26 Oct, 04:02
Kanalimiz mazmuniga tegişli emas-u, lekin ulaşsak, boșqalarga ham manfaatli bölar, dedik
24 Oct, 05:34
#ilmiy_faoliyat
qidirib yurgan bo'lsangiz, mana bu jurnalda barcha OAK nashrlari ro'yxati bor.
@komp_ling_uz
23 Oct, 05:11
Yangi alifboning harflarini o'zida mujassam qilgan klaviaturalarni mana bu havoladan yuklab olib ishlatish mumkin ekan:
https://kiritish.uz/
23 Oct, 04:59
Bugundan rasman yangi alifoga o'tyapmiz, chunki qonun imzolandi.
Milleniallar kirill alifbosidan uzilib ulgurmagan, zumerlar lotinchani o'rganib bo'lgan bir mahalda alfalar yangi alifbo bilan hayot boshlar ekan.
Men til siyosatiga qarshi chiqib yomonlash istagida emasman! Oldindan katta va'dalar berish fikridan ham saqlanaman. Shunchaki kuzatish kerak. Har qanday o'zgarishning ta'siri vaqt o'tgach bilinadi.
Nima bo'lganda ham, o'zbek tilimiz o'lmasligining tarafdoriman. Tilimiz rasman qabul qilingan kun muborak bo'lsin!
@komp_ling_uz
21 Oct, 05:13
O’tgan tadbir haqida hozircha Linkedinda post chiqdi. Ertaga bu yerda ham batafsil yozaman.
Keyin esa Nutqni avtomatik tanib olish ma’ruzalar seriyasini davom etamiz.
Hozircha LinkedInda qo’llab turinglar 🙂:
https://lnkd.in/p/dEm9iupH
19 Oct, 14:21
17 Oct, 06:36
Ertaga ko’rishamiz ❤️
Kimlar kelyapti?
16 Oct, 09:58
Repost from N/a
AI Qadam Meetup #3: что стоит вокруг модели
Когда мы говорим про ИИ, мы почти всегда говорим про модель. Но стоит запустить настоящий продукт, и выясняется, что модель — лишь его вершина: под ней лежат данные, которые надо понять, контекст, без которого ответы бессмысленны, люди, которым этим пользоваться, и железо, которое всё это тянет. 17 октября в Ташкенте на третьем митапе AI Qadam, сообщества практиков ИИ Центральной Азии, четыре спикера покажут эти слои изнутри, на живых проектах.
Мохияҳон Узокова, лингвист-аналитик, U-BSS
«Voice AI — это не только модель»
Почему «точность 90%» в распознавании речи ничего не гарантирует. На примере узбекского («kerak edi» или «kerakdi») разберём, как устроены речевые данные и почему именно они решают, заговорит ли голосовой ИИ по-человечески.
Анна Шибанова, партнёр A+ Solutions, Data Community Uz
«Готовы ли ваши данные для ИИ?»
Данные недостаточно просто собрать: ИИ нужен контекст. Анна покажет путь от AI-Ready Data к Contextual Intelligence на примерах корпоративных данных и финансового сектора.
Бахтиёр Бекмуродов
«Архитектура × AI: новый подход к проектированию»
Сначала инструмент: путь от AS IS к TO BE и дальше, к футуристичным сценариям. Затем главное: как ИИ меняет общение архитектора и заказчика, и это новый формат для нашей страны.
Евгений Вишневский, CEO Pro-Data
«Как сэкономить на инфраструктуре для ИИ»
Как выбрать видеокарту для локальных моделей и не переплатить за всё, что должно быть вокруг неё: инфраструктуру, без которой железо не работает.
📅 Суббота, 17 октября, 13:00
📍 Ташкент, Beeline Uzbekistan, Муминова 4/4 (рядом IT Park)
👉 Регистрация в боте
16 Oct, 09:57
tayyorgarlik avjida. bir oydan beri tayyorlanyapmiz.
kelinglar-a
12 Oct, 02:58
#kun_hazili
— Milord, Claude sizning so'rovingizni rad qildi: buni xavfsizlik tahdid deb hisoblayapti
— Xitoylik qila qolsin unda
— Bosh ustiga, milord, Germes DeepSeekni darhol chaqirib keladi
😂😂😂
@komp_ling_uz
12 Oct, 01:50
