Tensorflow User Group - Azerbaijan

❗️Dəyərli qrup üzvləri, Bu yaxınlarda Google-un lokal icmalar üçün hazırladığı yeni layihələr həyata keçiriləcək. Məlumat üçün qeyd edim ki, “TensorFlow User Group Azerbaijan” Google şirkətinin ölkə üzrə rəsmi icmasıdır və hazırda heç bir kurs və ya tədris mərkəzi ilə əməkdaşlıq etmir, eyni zamanda tədris fəaliyyəti göstərmir.

Mən bu proqrama qoşulmaqla nələr əldə edəcəm? İlk olaraq qeyd edim ki, elan etdiyimiz “Machine Learning with Python” proqramına müraciət gözlədiyimizdən daha artıq oldu və bir neçə yer əlavə etməli olduq. Biz sillabusu hazırlayarkən, təcrübəmizə əsaslanaraq maksimum dərəcədə tələbənin iş həyatına hazır olması üçün gərəkli mövzuları və soft bacarıqları əhatə etmişik. Nə artıq, nə əskik :) Məsələn: Machine Learning modellərinin qurulması və datasetin pre-processingi zamanı diqqətdən kənarda qalan bir çox önəmli nüans var ki, modeli productiona buraxdıqda ciddi problemlərə gətirib çıxrarır. Proqram bu məsələləri ciddi şəkildə əhatə edir. Bəzən isə, tələbələrin backgroundu, sahəsi və maraq dairəsi fərqlidir deyə işlənilən şablon layihələr ona maraqsız gəlir. Machine Learningi isə istənilən sahəyə tətbiq etmək olar! Uzun sözün qısası, final layihəsi olaraq fərdi layihə işləyəcəksən. Bu postda siz proqrama qoşulmamaqla nələri qaçıracaqsınız sualına cavab verməyə çalışmışam. Ödəniş, proqramın strukturu, sillabusu və digər nüanslarla bağlı mənə şəxsi mesaj yazmağınız kifayətdir. Yerlərin məhdud olduğunu unutmayın.

Bu ayın sonundan etibarən “Machine Learning with Python” proqramına başlayırıq. Proqram proqramlaşdırmanın əsaslarından başlayaraq, Web scraping, riyaziyyat, SQL, Machine Learning alqoritmləri kimi gərəkli mövzular üzrə davam edir və sıfırdan başlayanlar üçün nəzərdə tutulmuşdur. Müşahidələrimə əsasən, bu gün ən diqqət ayrılmayan lakin iş şəraitində hava-su kimi önəmli olan mövzulardan biri də Feature Engineeringdir ki, sillabusda bu dərslərə xüsusi önəm vermişik. Dərslər isə praktikidir, geniş ev tapşırığı bazası, code review, həftəlik quizlər, fərdi və qrup layihələri sayəsində siz Machine Learning mövzularını dərindən mənimsəyəcəyinizə əmin ola bilərsiniz. Proqrama qoşulmaq üçün yerlərimiz təəssüf ki, çox məhduddur. Ətraflı məlumat üçün şərhə + və ya mənə şəxsidə yazmağınız kifayət edir. Machine Learningin tüğyan etdiyi bu günlərdə başlamaq üçün bundan daha yaxşı fürsət yoxdur! :)

Bu layihədə GPT ailəsinin bir zamanlar ən çox danışılan üzvü - GPT-2 modelini Azərbaycan dili üçün fine-tune etmişəm. Azərbaycan dili üçün fine-tune edilmiş bu model, öz dilimizdə 130k-a yaxın wikipedia məqaləsi üzərində Microsoft Azure / GPU - 1 x NVIDIA Tesla K80 ilə cəmi 3 epoch üçün 28 saat ərzində öyrədilib. Bu əlbəttə ki, kifayət deyil. Layihənin məqsədini və maddi resursları nəzərə alıb, 3 epochda dayandırmağı məqbul gördüm. Linkdəki məqalədə modeli necə yaratdığımı / modelin yazdığı mətnlərin keyfiyyətini artırmaq üçün gələcəkdə edəcəyim addımları / GPT2 nədir, necə işləyir kimi sualların cavabını yazmışam. Göz atmağı unutmayın. https://www.nijatzeynalov.com/blog/gpt2-azerbaycan-dili

Hörmətli qrup üzvləri, sizə Azərbaycan dilində Süni İntellektlə bağlı bir yenilikdən bəhs etmək istəyirəm. Qısa giriş versəm, Text Summarization bu gün Süni İntellektdə ən populyar sahələrdən olub, uzun mətnlərin əsas məqamlarından ibarət qısa xülasənin yaradılması prosesidir. Text summarization ilə edə bilərik: short news updates, book/news summarization, report generation, most important content within email və s. Mən Azərbaycan dili üçün open-source yaratdığım, xəbər mətnlərini mövcud modellərdən daha yaxşı keyfiyyətlə summarize edə bilən mT5 əsaslı Süni İntellekt modeli və train dataset olaraq hazırladığım 143k yerli xəbər dataseti haqqında danışacam. Bu öz dilimizdə open-source olan ən böyük text summarization korpuslarındandır, model isə mövcud alternativlərindən daha yuxarı göstəricilərə malikdir. Modeldən bəhs etsək, Google-un mT5_small modeli 300 milyon parameterə sahibdir və 101 dil üçün pre-train edilib, azərbaycan dilində düzgün mətn qurmaq qabiliyyətinə malikdir, lakin konkret tapşırıqları, məsələn, summarization, maşın tərcüməsi və s. üçün heç bir bacarığı yoxdur. Buna görə də həmin modeli Azərbaycan dilində mətnləri summarize edə bilməsi üçün yeni dataset üzərində fine-tune etmişəm. Öyrənmə prossesi Microsoft Azure serveri üzərində 3 epoch üçün 12 saat təşkil edib. Modelin qiymətləndirilməsinə gəldikdə isə, Azərbaycan dilində text summarization üçün olan digər mT5_multilingual_XLSum adlı modeldən rouge skorları bütün hallar üçün daha yuxarıdır. Əlbəttə, buna səbəblərdən biri daha keyfiyyətli və böyük korpusumun olmağıdır, texniki dəstəklə nəticələri daha da yaxşılaşdırmaq olar. Həm dataseti, həmdə modeli ənənəyə sadiq qalaraq open-source paylaşmışam, korpus böyük olduğundan digər tasklar üçün də (məs: başlığa əsasən xəbər generate etmək) istifadə edə bilərsiniz. Həmçinin, linkdə yuxarı sağ bölmədə mətnləri test də edə bilərsiniz. Uğurlar https://huggingface.co/nijatzeynalov/mT5-based-azerbaijani-summarize

Hörmətli qrup üzvləri, ötən həftə Sabah.Lab Akselerasiya Mərkəzində Süni intellekt, ChatGPT və OpenAI mövzuları ətrafında danışmışam. Əgər gəlmək şansınız olmayıbsa, görüşün podcastını aşağıdakı linkdən dinləyə bilərsiniz. https://lnkd.in/eFx4xYuY Slaydlar: https://lnkd.in/ePY4pWvf

Hörmətli qrup üzvləri, Bu yaxınlarda bitirdiyim və huggingface-ə yüklədiyim open-source modeli sizinlə bölüşmək istəyirəm. Düşünürəm ki, Azərbaycan dilində səhiyyə sahəsinə Machine Learningin tətbiqi ilə bağlı çox yaxşı başlanğıc olacaq. Bu layihədə BERT modeli tətbiq etmişəm. Hazırda Azərbaycan dilində səhiyyə ilə bağlı açıq dataset yoxdur. Bu problemi həll etmək üçün istifadəçilər tərəfindən 19 kateqoriya üzrə 27k sualın verildiyi və tibbi ekspertlər tərəfindən cavablandırıldığı m.tibb.az saytından istifadə etmişəm. Modeldən istifadə çox asan və rahatdır, aşağıdakı linkdə də göstərdiyim kimi cəmi 3-4 sətr kodla modeli yükləyib istifadə edə bilərsiniz. Həmçinin saytın özündə, sağ tərəfdə qeyd olunan hissəyə yazaraq test edə bilərsiniz. Daha ətraflı linkə daxil olun. https://huggingface.co/nijatzeynalov/azerbaijani-medical-question-classification

Yanvarın 21-də sabah.lab-da OpenAI-nin digər neyron şəbəkələrdən nə ilə fərqləndiyini, onun yerli mütəxəssislər üçün hansı imkanlar açdığını və Süni intellekdə bizi hansı gələcək gözlədiyini müzakirə edəcəyik. Qeydiyyatdan keçməyi unutmayın. https://www.startupgrind.com/e/m6apyd/

ümumi workflow belədir :) readme-də bütün addımlar detallı şəkildə yazılıb

People who want to buy a house face some difficulties. In particular, a house that offered at a reasonable price on the real estate websites is quickly seen by other customers or brokers, and we are late for a house offered at a reasonable price. So, how about if newly added houses matching our desired price are sent to us via whatsapp? In this project, I perform web scrapping of "kub.az" real estate website. To put it briefly, I use Amazon CloudWatch triggered AWS Lambda function which scrapes website in every 30 minutes. If a new house added with my desired price range, it creates a new csv file (url, certificate [kupça], price, added_date, details, description, addresses of new added houses) and sends this file with a message to my whatsapp number during each run. Check out the codes and star the repo :) https://lnkd.in/dj64AMbe

Modellər hazır olandan sonra onların işə yararlı olduğundan necə əmin oluruq? Baş verə biləcək potensial xətaları necə müəyyən edirik? Risklərdən necə qorunuruq? Modellərin qurulması ilə bağlı hansısa standartlar varmı və onlar nə qədər dəqiqdir? Müəssisə daxilində yaranan bu sualları Model Validatorlar cavablandırır. Validatorlar müəssisə daxilində qurulan bütün modellərin bərabərində gətirə biləcəyi risklərə cavabdeh olan şəxslərdir. Bu seminarda siz: - Risk və Data Science arasındakı əlaqəni; - Bir modelin Validatorun gözündən necə təhlil edildiyini; - Modellə bağlı Risk komandasını maraqlandıran sualları; - Real praktikada qarşımıza çıxa biləcək kod və biznes məntiqi ilə bağlı yol verilə bilən yanlışları; - Clean code və faylların strukturlaşdırılmasının önəmini; - Data Science və Modelləşdirmə üzərindəki təsirini və necə nəzərə alınmalı olduğunu öyrənəcəksiniz. Qeydiyyat linki: https://docs.google.com/forms/d/e/1FAIpQLSeY-qre98xLdfffmg2RZMfK2r1Gzf3ab8KMV2v2lfHM37ftNQ/viewform

Imagine that you have a multi-branch store and you are offered a new product to sell. It is a product that you have never sold, and you have no past performance on which to base your estimates. So, how to answer following questions: * I have never sold this product before, how will the demand be? * If I order this product, how many units should I send to which branch? In this project, I have proposed a approach which helps to decision-makers to answer above questions. Classic demand forecasting methods assume the availability of sales data for a certain historical period, which is obviously not the case when concerning a new product. It is also important to deliver products to branches that locates multiple locations, as much as necessary. The proposed work is based on Ali and Nino multi-branch book store's data, but can be applied any retail use case. You can learn more about the project through the link below, but as a brief overview: The work is divided into two main parts: (Content-based filtering and Sales forecasting with Temporal Fusion Transformer). At the next steps, I have built a FAST API application, dockerized it, and deployed to AWS EC2. I have shared all codes with nicely-written README, so dont forget to star it :) https://github.com/NijatZeynalov/New-product-demand-forecasting-via-Content-based-learning-for-multi-branch-stores

TensorFlow UG Azerbaijan və LotfiZadeh Technology Center birgə təşkilatçılığı ilə “Introduction to Machine Learning with AWS” mövzusunda infoday keçiriləcək. Görüşdə AWS-də mövcud olan Machine Learning ekosistemi və sertifikat imtahanına (MLS-C01) hazırlıq ilə bağlı çıxış edəcəm. Maraqlananlar iştirak edə bilərlər. Tarix: 19 noyabr / saat 13:00 Məkan: LotfiZadeh Technology Center 18 ci mərtəbə Görüşdə iştirak sayı limitlidir. Qatılmaq üçün qeydiyyatdan keçməyiniz vacibdir. https://bit.ly/awsmlevent 📞Əlaqə nömrəsi: 0555335356 📧info@tfugaz.org #aws #tensorflow #aiapplied #suniintellekt #infoday

All of us is facing class imbalance when developing models for real-world applications. In this talk, I will speak about handling with imbalance dataset which is a common challenge when training ML/ DL models. You will learn to apply common techniques (generating class weights and resampling) for avoiding imbalance problem and to evaluate the TensorFlow model using various metrics. Do not miss the chance to participate in #DevFest2022, you will have a unique experience: https://lnkd.in/db77jeFj #tensorflow #ml

TensorFlow User Group Azerbaijan olaraq "Aİ Engineering" quruplarının qeydiyyatına start verdik . 12 aylıq Tədris müddətinə daxildir: ✅ *Data sicience ✅ *Machine learning ✅ *Deep learning ✅ *Artificial İntelligence Tədrisi bitirdikdən sonra: 📃 TensorFlow( "Google"şirkətinin rəsmi və beynalxalq sertifikatı olan) 📃 AWS Machine Learning( "Amazon" şirkətinin rəsmi və beynalxalq sertifikatı) 📃 AWS Cloud( "Amazon" şirkətinin rəsmi və beynalxalq sertifikatı) 🪙 *remote* və ya 🪙 *on-site* işlə təmin olunma! ✅ (müqavilədə zəmanət verilir) 📥instagram.com/tfug_aze 📧 info@tfugaz.com

Salam . *Zero to Mastery 12* qurupuna qeydiyyat başladı . 6 aylıq tədris müddəti ərzində ✅ *Data Science* ✅ *Machine Learning* ✅ *Deep Learning* 🔹Dərsləri bu sahə üzrə xarici və yerli şirkətlərdə işləyən mütəxəssis müəllimlərimiz tərəfindən tədris olunacaq . 🔹Dərslərdə real proyektlər üzərində işləniləcək və tədrisi bitirdikdən sonra iş şansları ( *remote və yaxud on-site* ) yaradılacaq. 🔹Tədrisin sonunda Google şirkətinin rəsmi və beynalxalq sertifikatı *TensorFlow* əldə olunma zəmanəti 💼Partnyor şirkətlər ( *Google* , *Amazon* , *Keep Face* , *Metafluence Network*) 📤https://instagram.com/tfug_aze