Test Engineering Notes

Про причинно-наслідкові помилки #testing #curious #fallacies Причинно-наслідкові помилки (causal fallacy) виникають, коли хтось бере дві окремі незв'язані між собою події та визначає, що одна подія викликає іншу. Наприклад, ви помітили, що ваші UI автотести дуже повільні. Ви почали думати, у чому ж може бути причини цього. Після читання розумних людей в чатах та на форумах, місцеві "експерти" одразу визначили причину: Ваші автотести повільні, бо ви користуєтесь повільним Python, замість інших, більш швидких мов програмування. Ви приймаєте цей висновок та йдете переписувати усі двадцять тисяч тестів знову - втретє за останні роки. Але щоб такої помилки уникнути - треба лишень глибше досліджувати проблеми та докопуватись до суті проблеми (а причини може бути в недостатньо оптимізованому коді із купою sleep() або копіпасти) Дуже легко прийняти "очевидну" відповідь та побудувати хибні причинно-наслідкові зв'язки. Особливо, коли дві події дійсно можна пов'язати між собою. Якщо ви хочете побачити більше подібних помилок у кореляції двох подій - зацініть ресурс Spurious Correlations.

⚡️Епізод 5: як тестують в Амазон. Цей епізод незвичний. Бо до ведучих подкасту, Артема та Олександра, доєднався гість - Анатолій Ганзюк. Він поділився купою досвіду та інсайтів про те, як тестують в Amazon. 🔸 YouTube 🔹 Spotify Podcast 🔸 Apple Podcast 🔹 Google Podcast А ще ви можете підтримати наш подкаст будь яким донатом на Buy Me a Coffee ☕️ Пропонуйте ваші теми в коментарях ;) #testingminutes #podcast

What Makes Israel So Good at Hacking? #security Із самого початку повномасштабного вторгнення РФ в Україну, у суспільстві почали говорити про те, що Україні потрібно брати приклад з Ізраїлю у військовій справі. Один з напрямків - це кібербезпека. Але чому та як Ізраїль став чи не найкращим в світі у цій сфері? Чому ми можемо навчитись вже зараз? Чи легко щось подібне буде збудувати в нашій країні? А ви як думаєте?

Про економію, аутсорсинг та надмірну довіру - кейс Boeing 737 MAX #testing #bugsinthewild Всім доброго ранку понеділка. Сьогодні я хотів би поговорити про найвідоміші баги та чому вони виникають. У дописі ми розберемо кейс з літаком Boeing 737 MAX, що стався не так давно - у 2018 році. Чи то тестувальники пропустили баги, чи то інженери неправильно задизайнили та створили систему, чи то процес був зламаний. А ви як думаєте? Де тут root cause?

⚡️Епізод 4: Де тестувальник спростовує міфи про тестування У цьому епізоді, я з Олександром у ролі руйнівників міфів - та спростовували найвідоміші міфи зі світу тестування та автоматизації. 🔸 YouTube 🔹 Spotify Podcast 🔸 Apple Podcast 🔹 Google Podcast А ще ви можете підтримати наш подкаст будь яким донатом на Buy Me a Coffee ☕️ Також, ми будемо вдячні за фідбек, бо ми постійно розвиваємось і покращуємо якість (як на мене :D) Пропонуйте ваші теми в коментарях ;) #testingminutes #podcast

Test Engineering Notes: Vol. 3 #testing #engineering #digest Зізнавайтеся, ви вже прочитали усі статті з минулих підбірок? Якщо так, я приніс вам нову порцію цікавинок зі світу тестування та розробки. У цьому випуску: - AI у тестуванні - від теоретичних роздумів до практичного тестування - "шифтуємо" вліво перевірки безпеки та знайомимось з accessibility - розширюємо набір інструментів для мобілок та розбираємось з web перфомансом з Lighthouse - вивчаємо дизайн паттерни для автотестів та дивимось на приклади контрактних тестів - розкриваємо тему культури тестування на прикладі Google та Apple - повторюємо базові (та не дуже) концепції з системного дизайну, мереж та баз даних - дивимось доповіді про performance benchmarking та поглиблені підходи в тестуванні розподілених систем - багато багато іншого ... А які найцікавіші статті ви прочитали за червень?

Коли навчання варте зусиль? #learning #skills У бізнесі має місце дилема: чи розробляти якийсь інструмент всередині компанії чи купити вже готовий на ринку? В пересічного інженера можуть виникнути подібні дилеми: - Ви працюєте деякий час тест інженером або інженеркою та хочете навчитись автоматизації тестування. - Ви пишете автотести деякий час та замислюєтесь - чи вчити отой модний новий фреймворк чи мову програмування. - Ви - лід чи менеджер та розмірковуєте - чи варто самому навчитись роботі з новим інструментом чи найняти нову людину, яка вже буде мати необхідні навички. Тобто, з навчанням новому у Вас є варіанти: - Можна опанувати навичку самому - Можна найняти когось іншого (делегувати) - Можна НЕ навчатись взагалі Які ж питання можна собі задати, коли Ви вагаєтесь чи вчити щось нове чи ні? 1. Як швидко я очікую, що практика навички буде легшою із часом? Є навички, де прийнятний результат можна отримати доволі швидко. А є такі, де треба витратити місяці та роки на опанування. 2. Як часто я буду користуватися цією навичкою? Все залежить від контексту. Якщо ця навичка допоможе зрости у кар’єрі - вона варта. Якщо ж ви не будете практикувати цю навичку - то вона швидко забудеться. 3. Чи буду я отримувати задоволення від практики навички (чи захоплює ця навичка мене)? Не треба вчитись чомусь, якщо ви не отримуєте хоча б найменшого задоволення від практики цієї навички. Навчання через “не можу” рідко буває ефективним. Більше про те, чи варто навчатись можна почитати в оригінальній статті - When is Learning Worth the Effort?

Про ще один вид ручної праці та засоби його покращення #ai #curious Всім доброго ранку понеділка. За вікном в мене дощ, але це ніяк не привід зменшувати допитливість до світу технологій та тестування. AI зараз усюди. Але щоб цей інтелект працював, йому треба навчатися на даних. В ідеалі - підготовлених. Деякі компанії користуються послугами аутсорсерів щоб проаналізувати та розмітити дані вручну. Потім ці оброблені дані вже використовують для тренування AI моделей. Але деякі аутсорсери пішли далі та застосували "автоматизацію" ...

⚡️Епізод 3: Де тестувальник визначає актуальні навички Вийшов новий епізод подкасту Testing Minutes. У цьому епізоді, я з Олександром розмірковую, які навички потрібно прокачувати сучасному тестувальнику, щоб не пасти задніх на сучасному ринку праці 🎧 Слухати подкаст тут 📺 Дивитися подкаст тут PS. Ми дуже вдячні за ваш фідбек, і його активно використовуємо для того, щоб підвищити якість подкасту. Тому так само будемо вдячні вам за зворотній зв'язок в майбутньому. Не зупиняйтесь ;) #testingminutes #podcast

EARLY COMPUTER ART IN THE 50’S & 60’S #curious #engineering Сьогодні пропоную трохи відпочити та подивитись на еволюцію комп'ютерного арту - починаючи з дев'ятнадцятого століття та дотепер. А ще, можна заповнити зарплатну анкету від DOU. Це допоможе трохи краще зрозуміти, чи актуальна у вас ЗП чи ні.

Cheatsheet команд Linux #linux #tools Доброго ранку. Знайшов для вас підбірку основних команд Linux. Можна проглянути та знайти ті, про які ви ще не чули. А можна залишити в якості швидкого довідника. Всім вдалого та продуктивного дня!

Benchmarking: You're Doing It Wrong #testing #performance #video Сьогодні ранок вівторка, навкруги літо та спека, але цікавих матеріалів менше на стає. Тому пропоную поглянути доповідь про дуже базовим речам про тестування навантаження. Більше про підходи та про те, чому такий вид тестування складний. На дату не дивіться - бо такі відео довго залишаються актуальними.

⚡️Епізод 2: Де тестувальник йде на співбесіду Продовжуємо випуск наших подкастів. На цей раз пройшлись по воронці найму та різних видів співбесід. Послухати епізод тут: 🎧 Подкаст платформи 📺 YouTube ✍️ Підписатися на подкаст #podcast #testingminutes

Інтерв'ю для Web3 Test Series #testing #blockchain Нещодавно я дав коротеньке інтерв'ю для Web3Tests ком'юніті про те, що таке тестування у світі блокчейну та Web3, а також - що там по інструментам в наявності.

"Testing Minutes: Епізод, де тестувальник пише резюме" - де слухати? Ми тут з Артемом запустили yet another подкаст. На прохання слухачів, викладаємо перший епізод подкаст на Youtube. Усі лінки на платформи також зібрані в одному посиланні. Усі побажання та коменти залишайте під відео, або під цим постом) Дякую, що слухаєте.

Ines Sombra, Fastly Testing in a Distributed World Короткі нотатки з доповіді про тестування розподілених систем Чому розподілені системи важко тестувати? - недетермінованість - багато станів - багатопоточність - відсутність централізованого погляду на систему - таймінги Які помилки можуть бути? - Deadlock - система не може виконувати функцій взагалі - Livelock / starvation - система працює над чимось, але не над тим, що потрібно - Under specification - отримали месседж який не очікували отримати Як тестують розподілені системи дослідники? Формальне тестування - Формальні методи (human assisted proofs) - TLA+, COQ, ISABELLE - model checking - TLA+, MODIST, SPIN - "Полегшені" формальні методи - ALLOY, SAT Інші наукові підходи - Top-Down. Ін'єкція помилок із застосуванням генераторів вхідних значень - Bottom-up. Ін'єкція помилок керованих походженням. - White / black box testing

Про час на навчання та книжки #books #learning Про час на навчання В кожного з нас є вільний час. Час, який можна приділити навчанню. В когось більше, в когось менше. Але як його знайти? Можна знайти трохи часу поміж робочими задачами. Можна почати робочий день трохи раніше. Або скоротити обід та непотрібні теревені за кавою з колегами. (Але не завжди. Подекуди такі розмови дуже важливі та є головним джерелом НОВИХ думок!) Якщо не виходить вчитися НА роботі (в чому я сумніваюся), можна вчитися ПІСЛЯ роботи. Ба більше - можна вчитися ще й ПІД ЧАС роботи. Для цього лишень потрібно приділити трохи часу та записати, чому ви навчилися при виконанні тієї чи іншої робочої задачі. Це може бути цікавий баг, це може бути команда unix або закручений запит у базу даних, які ви не знали до того. Це може бути особливість системи, яку ви тестуєте. Чи порядок конфігурації окремого компоненту. Згадайте це - та запишіть у нотатки. Коли ви зробите запис то краще запам'ятаєте інформацію. А ще - запис залишиться артефактом, який можна буде шукати при потребі. Про книги В сучасному інтернеті дуже багато інформації: професійна література, курси, доповіді, блоги. Крім того, існують ще дослідницькі роботи та дописи в різних телеграм каналах). А скільки нового додається кожного дня! Все прочитати хочеться, але не вистачає часу. І це цілком нормально. Потрібно робити вибір. Як обрати дійсно корисну книгу для читання? Можна прочитати відгуки, можна запитати в людей в чатах чи на форумах. А можна почати читати та зрозуміти - чи підходить ця книга вам саме зараз. Для мене головний показник користі від книги - це кількість нотаток, які я роблю при читанні книги. Якщо їх багато навіть на початку книги - значить "відкриттів" буде ще більше й надалі. Можна продовжувати читати. Якщо ж ви прочитали розділ чи два - та для вас усе зрозуміло й не виникає бажання запам'ятати та занотувати думки автора - сміливо відкладайте таку книжку. Бо час - це наш найцінніший ресурс, який неможливо відновити. Вдалого усім навчання та читання! P.S. Цей допис навіяний книжками, що я читаю зараз та кількістю нотаток з них. P.P.S. Тим, хто дочитав до цього моменту - пропоную підбірку тестових даних для перевірки input string параметрів.

⚡️Доброї П'ятнички друзі! 💡Сьогодні з анонсом нового продукту! Разом із Олександром Романовим aka Test Engineering Notes ми запускаємо новий подкаст про тестування - ⏳"Testing Minutes". Формат подкасту - це зосереджена інфа по темі без зайвої води і балачок з прикладами. Перші наші епізоди будуть як раз на гарячі теми - це про резюме, співбесіди та навички. Послухати перший епізод тут: 📌 Епізод 1: Де тестувальник пише резюме Будемо чекати вашого фідбеку. Як вам такий формат, інформація. Та пропонуйте ваші теми, про які б хотіли дізнатися у коментарях! ✍️ Підписатися на подкаст

П'ятничне: Про унікальний підхід до розробки у Valve #testing #video Коротке відео про те, як у ігровій компанії Valve підходять до тестування та як це тестування впливає на подальшу розробку. Це наче Shift-right тестування практично з першого дня роботи.

Про що робити доповідь? #speaking Нотатки з книги Demystifying Public Speaking. Так, де взяти тему для доповіді (особливо першої)? Можна розповісти базову доповідь про підхід або інструмент (intro to ...) Або ... Задумайтесь, на що ви витрачаєте більшість часу на роботі? Це також може бути вашою темою. Коли ви знайшли цікаву проблему, що варта уваги: - знайдіть її першопричину - проаналізуйте та запишіть весь процес вирішення проблеми - проаналізуйте також результати - що можна було зробити краще - сфокусуйтеся на результатах (для стороннього слухача) Кожна з тем може містити в собі історію, натхнення, демонстрацію або новий підхід для вирішення старої та відомої проблеми. На останок шарю з вами цікавий worksheet-cхему для генерації ідей для доповіді.