Engineering Notes

If you know what I mean

Asosiy servislarimizdan biri bilan bitta third-party service o'rtasida ma'lumot almashish uchun pollingdan foydalanamiz (nega webhook emas deb so'ramang). O'tgan juma kuni productionga bugi bor featureni release qilish sabab serverdagi ba'zi configurationlar o'zgarib ketibdi. Natijada dam olish kunlari bizning serverimiz ularning serveriga yaxshigina RPS bilan to'xtovsiz request yuboribdi. 2+ kun davomida, to'xtovsiz. Ularning ham DDoSga qarshi himoyasi yo'q shekilli, blok qilishmabdi. Yaxshi-ki, dam olish kunlari sabab ularning serverida boshqa load kam bo'lgan. Bo'lmasa serveri o'chib qolib boshimiz baloga qolishi mumkin edi 😅. Behavioural interviewda "Qovun tushirgan vaqtingni gapirib ber" deb so'rab qolishsa aytib beradigan story bo'ldi. O'rgangan darslarim: 1. Third-party toollar ixtiyoriy vaqtda kutilmagan natija berishi mumkin. Hatto eng ishonchlilari ham. 2. Serverni monitoring qilish uchun ketgan resurslar o'zini oqlaydi. 3. Testlar hech qachon yetarli emas.

How to create a good mobile application with Python: Step 1. Don't do that. Step 2. Jump to the step 1.

Yaxshi savol ekan: https://leetcode.com/problems/bulb-switcher/

One LeetCode a day Keeps unemployment away. Credit: @JR_TwitGram

Code review, hamma testlar va staging serverda QAdan ham eson-omon o'tkazib production serverda bug chiqarish ham aslida bir san'at, sizga aytsam.

Isolation – izolyatsiya Hali tugallanmagan trakzaksiyadagi ma'lumotlar tashqaridan (boshqa tranzaksiyalardan va tranzaksiya tashqarisidagi boshqa operatsiyalardan) izolyatsiyalanishi kerak. Ya'ni tranzaksiya tugamagunicha ichkaridagi ma'lumot tashqariga ko'rinmasligi kerak. Masalan, tepadagi misolda hisobingizdan pul yechildi, lekin hali do'stingizga tushmadi. Shu vaziyatda, hali tranzaksiya tugamasidan balansingiz tekshirilganida kamaygan qiymat emas, tranzaksiyadan tashqaridagi, oldingi qiymat ko'rinishi kerak. To'liq izolyatsiya ko'p resurs va vaqt talab qilgani uchun va doim ham to'liq izolyatsiya zarur bo'lmagani uchun tranzaksiya izolyatsiyasining 4 ta standart darajalari bor. Ular tezlik, resurslar sarfi va xavfsizligi jihatidan bir-biridan farq qiladi. Endi bu boshqa kun uchun boshqa mavzu. Durability – ishonchlilik Tranzaksiya muvaffaqiyatli yakunlangani haqida xabar berilganida tranzaksiyadagi o'zgarishlar to'liq diskda saqlangan bo'lishi va ma'lumot yo'qotilmasligi kerak. Masalan, do'stingizga muvaffaqiyatli pul o'tkazganingiz haqidagi xabar olganingiz va shu vaqtda serverda xatolik chiqib, o'chib qoldi. Qayta yoqilgandan keyin balansingizni tekshirganingizda esa pul o'tkazishdan oldingi, eski qiymatni ko'rdingiz. Demak, tranzaksiya muvaffaqiyatli deb belgilangan bo'lsa ham natijalar o'chib ketgan. Xuddi shu holat esa durability qoidasini buzadi. Qisqasi, mana shu 4 ta qoida ma'lumotlar buzilishi bilan bog'liq ko'p bosh og'rig'idan saqlaydi. Maqola foydali bo'lgan bo'lsa tanishlarga yuborib qo'ying. @boboshersnotes

ACID haqida gaplashamiz Ko'p hollarda foydalanuvchi uchun bir butun sifatida qaraladigan o'zgarish ma'lumotlar ba'zasida bir nechta ketma-ket o'zgarishlarni talab qiladi. Masalan, do'stingizning kartasiga $100 yubormoqchisiz. Bu siz uchun bir butun ish. Lekin ma'lumotlar ba'zasida bu eng kamida mana bu ketma-ket qadamlardan iborat: 1) Sizning balansingizni $100 ga kamaytirish; 2) Do'stingizning hisobini $100 ga oshirish; Xatoliklarning oldini olish uchun bunday operatsiyalarni ma'lumotlar ba'zasida ham bir butun deb qarashga imkon beruvchi yangi birlikka ehtiyoj tug'iladi. Bu birlik tranzaksiya deb ataladi. Demak, tranzaksiya ma'lumotlar bazasida mantiqiy jihatdan bir butun ish bo'lgan bir nechta query(so'rov)larni birlashtirish imkonini beradigan "quticha". ACID esa trakzaksiyalar o'zini qanday tutishini belgilaydigan umumiy qoidalar to'plami. Bu qoidalar orqali kutilmagan vaziyatlarda (xatolik chiqqanida, server o'chib qolganida va h.k.) trakzaksiyadagi ma'lumot haqiqiyligini (data validity) saqlab qolish ta'minlanadi. ACID so'zi 4 ta qoida: Atomicity, Consistency, Isolation va Durability so'zlarining bosh harflaridan olingan. Xo'sh, bu qoidalar nima? Atomicity – bo'linmaslik Bu qoidaga ko'ra tranzaksiyalar bo'linmas, bir butun bo'lishi kerak. Yo tranzaksiyadagi hamma operatsiya muvaffaqiyatli bajariladi yoki hech qaysi operatsiya bajarilmaydi. Bir qismi bajarilib, qolgan qismi bajarilmay qolishi mumkin emas. Agar qaysidir operatsiyani bajarish vaqtida xatolik chiqsa butun tranzaksiya muvaffaqiyatsiz bo'ladi va bu tranzaksiyadagi muvaffaqiyatli bajarilgan operatsiyalar ham avvalgi holiga qaytariladi (rollback). Bir kishi hamma uchun, hamma bir kishi uchun deganlaridek... Tepadagi misolda, deylik, sizning hisobingizdan pul yechildi, lekin do'stingizning hisobini oshirish vaqtida xatolik chiqdi. Natijada siz $100 yo'qotdingiz, lekin do'stingiz qabul qilmadi. $100 "havoga uchdi". Buning oldini olish uchun xatolik chiqqanida butun tranzaksiya bo'ylab barcha operatsiyalar avvalgi holatiga qaytariladi, ya'ni $100 sizning hisobingizga qaytariladi. Consistency – moslik Tranzaksiya natijasi ma'lumotlar bazasida avvaldan belgilab qo'yilgan qoidalar bilan mos bo'lishi kerak. Aks holda tranzaksiya muvaffaqiyatsiz deb belgilanadi va rollback qilinadi. Deylik, qoidaga ko'ra foydalanuvchi balansi manfiy bo'lmasligi kerak. Agar hisobingizda $60 bo'lsa, do'stingizga $100 o'tkazgandan keyin hisobingiz -$40 bo'ladi. Bu esa tepadagi qoidaga to'g'ri kelmaydi. Operatsiyalar muvaffaqiyatli bo'lsa-da natija qoidalar bilan mos bo'lmagani uchun bekor qilinadi.

JavaScriptning chiroyidan bahra oling.

Bir boshidan analiz qilaylik. Polygon tomonlardan tashkil topgan. Tomonlar esa kesmalar, ya'ni to'g'ri chiziqning bir bo'lagidan iborat. To'g'ri chiziq esa cheksiz nuqtalar to'plami. Aylana ham cheksiz nuqtalar to'plami. Demak, aylanadagi barcha ketma-ket ikki nuqtani kesma (ya'ni to'g'ri chiziqning bir qismi) sifatida qarasak, aylanani ham kesmalardan iborat yopiq shakl – ko'pburchak deb qarash mumkin. Lekin matematik jihatdan aylana ko'pburchak deb qaralmaydi. Unda biz qayerda xato qildik? Aynan nima bu sofizmni keltirib chiqarayapti? Javob: Cheksizlik (infinity). Tepadagi sofizmda biz cheksizlikka son sifatida qaradik. Bu esa noto'g'ri. Cheksizlik son emas, chegarasi yo'q bo'lgan kattalikni matematik jihatdan ifodalash uchun kiritilgan tushuncha. To'plamlar jihatidan olib qaralganda cheksizlik bu oxiri yo'q to'plamdagi elementlar soni, lekin elementlardan biri emas. Masalan, natural sonlar to'plamidagi har bir element chekli, lekin bu to'plamning kattaligi cheksiz. Sonlar ustida bajariladigan amallar cheksizlik bilan ishlamaydi. Biz aynan xato qilgan joy esa aylanadagi ikkita ketma-ket nuqtani kesma sifatida qarash edi. Aslida aylanada ham, chiziqda ham ikkita ketma-ket nuqtaning o'zi yo'q. Istalgan ikki nuqta orasida cheksiz sondagi nuqtalar bor. Biz aylanani ko'pburchak deb hisoblashimiz uchun undagi har bir nuqta ko'pburchakdagi qaysidir kesmaga tegishli bo'lishi kerak. Buning uchun esa eng kamida ketma-ket ikki nuqtani kesma sifatida qaray olishimiz kerak (kesma boshi va oxiri). Lekin tepada aytganimiz bo'yicha ketma-ket nuqtalarning orasida ham cheksiz sondagi boshqa nuqtalar bor. Biz esa ularni kesmaning bir qismi sifatida qaray olmaymiz. Sababi, aylanadagi hech qaysi 3 ta nuqta bir chiziqda yota olmaydi. Qo'ldan kelganicha tushuntirishga harakat qildim. Cheksizlik fandagi eng sirli va tushunarsiz tushunchalardan biri. @boboshersnotes

Xo'sh, demak tomonlar soni 2 dan katta ixtiyoriy natural son bo'lishi mumkin ekan. Demak tomonlar sonining yuqori chegarasi yo'q ekan. Xo'sh, endi ikkinchi savol. Tepadagi xulosadan foydalansak, aylana(circle) ham ko'pburchak (polygon)mi?

Matematiklarga savol. Ko'pburchak(polygon)da maksimal nechta tomon bo'lishi mumkin?

Offset haqida SQL databaselar bilan ishlaganda pagination uchun iloji boricha offset ishlatmaslikka harakat qiling. Sababi, limit va offset query processingda eng oxirgi bajariladigan operatsiyalar. Demak siz offset qilsangiz ham, qilmasangiz ham database baribir og'ir operatsiyalarni bajaradi. Ya'ni birinchi 100 mingta natijani olish bilan 99 minginchi natijadan boshlab mingta natijani olish tezlik jihatdan bir-biridan unchalik farq qilmaydi. Xo'sh, unda qanday pagination qilish kerak? Iloji boricha index qilsa bo'ladigan biror narsa orqali. Nega? Sababi ularni index orqali filter qilish mumkin. Masalan, har bir pageda 1 kunlik postlar. Shunda offset qilmasdan date bo'yicha filter qilib kunlik postlarni olish mumkin. Lekin buning bir yomon tomoni pagedagi resultlar soni aniq bo'lmaydi. Masalan, bugun 2 ta, kecha 100 ta post chiqqan bo'lsa bu usul UIda juda xunuk ko'rinadi. Agar har bir pageda aynan ma'lum sondagi result kerak bo'lsa unda filter + limit ishlatish mumkin. Keyingi pagening boshlanish joyini olish uchun esa oldingi pagening oxirgi elementidan foydalaniladi. Masalan, page size 50 va hozirgi pagedagi oxirgi postning IDsi 150. Keyingi page uchun IDsi 150 dan katta bo'lgan birinchi 50 ta postni olish yetarli bo'ladi. Muhimi, bu usul offset talab qilmaydi. Offsetdan qochishning bulardan tashqari ham bir nechta usullari bor. Qisqasi, offsetni doim oxirgi variant sifatida qoldiring.

Clean Architecture – A Craftsman's Guide to Software Structure by Robert "Uncle Bob" Martin @ Devternity #2 ⭐️ Details: - Whenever there's arch boundary you want all dependencies point from lower level to higher level. - Database is a detail. I/O device. No ORMs above architecture boundary. Below is OK. - Do not create an interface unless there are multiple users. Tests are user as well. - First make it work, then make it right, then make it fast. - Never optimize w/o measuring first. Whatever slows system down isn't what you think. ❔Small QA between me and Robert Martin: Q: Isn't deferring too much result in: 1) Too many abstractions. 2) Too long development time. A: No. It will result in right number of abstractions cause that's what abstractions are for. And it will help you go faster. There's old rule about software. You do software fast by doing it right and well. Don't rush, take your time and do things well. It's multiplied by a factor of 10 in software. No benefit in rushing.

Universitetda semestr davomida "Introduction to Computer Science" kursida logic gatesdan foydalanib butun boshli sodda komputer qurish va shu komputer uchun sodda high-level dasturlash tili ishlab chiqishni ko'rib chiqdik (High-level language code -> VM code -> Assembly code -> Machine code, CPU instructions). 1 yilcha oldin "Inside the Python virtual machine" kitobini o'qib ko'rish hech narsani tushunmagandim. Bugun bir qismini yana qayta o'qib chiqdim. Hammasi men o'ylaganchalik murakkab emas ekan. Oldik ☕

Hozir ham dasturchi sifatida algoritmlarni o'rganish muhimmi? Mening fikrimcha juda muhim. Albatta, algoritmlarni yaxshi o'rganmasdan turib ham dasturchi bo'lish mumkin. Hozirgi kundagi dasturga va dasturlashga bo'lgan zamonaviy yondoshuvlar (ayniqsa OOP) ko'pchilikda algoritmlar keraksiz narsa degan tushunchani uyg'otishgacha bordi. Keling, sizga bir haqiqatni aytaman: siz va biz OOP bilan erkin ishlay olishimiz uchun ham ancha-muncha algoritmlar o'ylab topilib, implement qilingan. OOP esa biz – dasturchilar uchun ishlab chiqilgan juda chiroyli abstraksiya. Shunchalik chiroyli-ki, ko'pchilik OOPning o'zini dasturlashdagi elementar, atomic tushuncha deb o'ylashni boshladi. Komputerlar esa haliyam objectlar bilan emas, instruksiyalar ketma-ketligi bilan ishlaydi. Siz bilan biz kundalik dasturlashda duch keladigan business-related (ya'ni to'g'ridan-to'g'ri loyihaning biznes tomoni bilan bog'liq) muammolar texnologik tomondan allaqachon hal qilib qo'yilgani uchungina algoritmlar bizga kundalik ishimizda kerak bo'lmayapti. O'zingiz o'ylab ko'ring, siz ishingizda foydalanadigan til, tarmoq, protokollar, tayyor software toollar (OS, database, proxy, MQ, ...) va hokazolar hammasi texnologik muammolarni hal qilish uchun ishlab chiqilgan va biz uchun abstraktlashib ulgurdi. Biz esa deyarli hech qanday murakkab texnologik muammoni hal qilmayapmiz. Muammo shundaki, atrofimizdaki ko'pchilik dasturchilar asosan biznes muammolarni hal qiladi (oxirgi marta ishingizda qachon yangi protokol ishlab chiqishga ehtiyoj tug'ilgan?). Lekin hozir ham minglab dasturchilar sohadagi muhim texnologik muammolarni hal qilish ustida ishlayapti va bir-ikki yildan keyin biz ularning natijasidan shunchaki tekinga foydalanamiz. Dasturlashdagi texnologik, ya'ni dasturlash sohasining o'zi bilan bog'liq muammolar doim algoritmlarga muhtoj bo'lgan va shunday bo'ladi. Siz saytingizni yaratish uchun qo'lda algoritm yozmayotgan bo'lsangiz bu algoritmlar kerak emas degani emas. Xo'sh, algoritmlar qanchalik kerak? Bu ko'proq sizga bog'liq deb o'ylayman. Siz dasturchi sifatida nima ish qilasiz? Texnologik muammolarni yechasizmi yoki biznesdagi muammolarnimi? @boboshersnotes