Системный суетолог
Привет! Я - Ирина, системный аналитик. Пишу сюда заметки о работе, кейсы и мысли.
Ko'proq ko'rsatish- Kanalning o'sishi
- Post qamrovi
- ER - jalb qilish nisbati
Ma'lumot yuklanmoqda...
Ma'lumot yuklanmoqda...
Observability (наблюдаемость) - отслеживание и анализ поведения системы в режиме реального времени. Включает в себя логирование, сбор метрик и трассировку.
▶
Логирование - запись событий и действий в системе.🛠Инструменты: - Grafana-стек: Promtail (сбор) + Loki (хранение) + Grafana (визуализация) - ELK- стек: Logstash (сбор) + ElasticSearch (хранение) + Kibana (визуализация) (ELK в последнее время используется реже из за ценовой политики и ресусроемкости ElasticSearch) ▶
Метрики - это числовые показатели, которые отражают состояние системы или процесса в момент времени.Нр: использование CPU и памяти, время отклика, пропускная способность… 🛠 Инструменты: - Grafana-стек: Prometheus (сбор метрик и временное хранение) + Grafana (визуализация) Для длительного хранения метрик можно использовать Grafana Mimir, Thanos - VictoriaMetrics - Zabbix ▶
Трассировка - отслеживание пути выполнения запросов в системе в разрезе разных слоев. Позволяет увидеть последовательность вызовов, время выполнения каждого запроса на каждом слое итп.🛠 Инструменты: - Grafana-стек: Tempo (хранение) - Grafana (визуализация) - Elastic APM - Jaeger - Zipkin ▶ Для сбора трейсов обычно используют стандарт OpenTelemetry.
OpenTelemetry (OTel)- это проект с открытым исходным кодом для стандартизации сбора метрик, логов и трейсов в распределенных системах.
OTel представляет собой набор API и SDK для различных ЯП. Позволяет отправлять данные в различные системы мониторинга. Но с метриками, говорят, работает не очень.
▶ Существуют также APM (Application Performance Management) решения от разных вендоров для комплексного мониторинга и управления производительностью и доступностью сервисов.
Нр: Dynatrace, AppDynamics, Datadog, Instana, Elastic APM, Signoz итп. Но не все они доступны в РФ.
_________________________________________________
На моем прошлом проекте для решения задач Observability мы использовали:
Для метрик: Prometheus + Grafana
Для логов: Promtail + Loki + Grafana
Дополнительно для логов и трейсов: Vector (для сбора) + OpenObserve (хранение, анализ и визуализация).
🔤А какие инструменты для Observability используются на ваших проектах?В 9 выпуске подкаста говорим о наблюдаемости, о логах, трейсах, SRE-метриках, делимся кейсами из нашей практики, где использовали те или иные инструменты. Рассмотрим observability с точки зрения полезности: когда доступность сервисов привязываются к бизнес метрикам. Подробнее остановимся на Grafana, а в заключении по рассуждаем, что имеет смысл использовать на пэт проектах, а что оставить кровавому Энтерпрайзу. Иван Соловьёв
https://solovev.oneМихаил Непряхин
https://t.me/neprja00:00:20 Приветствие 00:00:50 Рассказ про погружение в мир трейсов 00:01:45 Полезность наблюдаемости в современной архитектуре 00:03:07 Стандарт open telimetary 00:05:46 Кейс по OpenTelemetry: Service Level Indicator (SLI) и Service-Level Objective (SLO) 00:07:42 Как появился стандарт open telimetary 00:12:00 Что такое логи, трейсы, метрики и спаны 00:17:00 О трейсах и защите данных, Trace ID 00:19:45 Что было до трейсов (текстовые логи) 00:23:17 Подробнее о логах 00:28:08 О метриках 00:35:00 Grafana stack и бесплатные APM 00:38:09 Кейс об использовании трейсов 00:40:23 Трейсы и APM 00:48:07 Opensource (бесплатные) APM 00:50:50 В каких случаях лучше выбрать Grafana stack 00:53:44 Время, уровень и сообщения в логе 00:55:06 UI в Grafana 00:55:58 Grafana Mimir OSS для метрик 00:57:38 Grafana Tempo OSS для трейсов 01:03:36 Continuous Profiling 01:06:22 Инструменты для настройки нового проекта 01:08:26 Нужны ли эти инструменты для pet проектов? 01:10:50 Готовые решения 01:12:52 Какие провайдеры облачных инфраструктур использовать для пет проектов 01:19:02 Сбор исключений, инструменты: Sentry, Crashlytics 01:20:50 Заключение
Видео с онлайн-конференции Software Architecture fwdays'21, которая прошла с 27 октября по 2 ноября 2021 года. Описание доклада: Что делать, когда просят сделать дизайн системы типа YouTube с его петабайтами видео и миллионами пользователей? Twitter с сотнями тысяч людей, пишущих свои мысли примерно с той же частотой, как те появляются в уме? Как бы выглядел дизайн Clubhouse или TikTok? Сотни тысяч человеко-часов работы просят спроектировать через 30-40 минут. Да и как должен выглядеть этот дизайн? Что от вас ожидают и какой результат требуется? О чем следует беспокоиться, а о чем нет? Как не впасть в ступор от поставленной задачи и выдать хоть что-нибудь? Полное погружение во все аспекты System Design Interview на этом докладе. Доклад будет полезен: - Архитекторам и Тех. лидам, которым нужно давать варианты дизайна быстро и сразу в рамках митингов с заказчиком или командой. - Девелоперам, желающим проходить собеседование в топ компании. System Design интервью становится неотъемлемым этапом в этом процессе. Страница доклада:
https://fwdays.com/event/architecture-fwdays-2021/review/how-to-build-facebookБольше докладов и видео по теме конференции:
https://fwdays.com/event/architecture-fwdays-2021Fwdays более 10 лет занимается организацией масштабных конференций для разработчиков таких направлений: JavaScript, .NET, Python, Data Science, PHP, QA, Highload, Architecture, DevOps, Databases. Больше информации про актуальные события:
https://fwdays.com/eventsПодписывайтесь, чтобы первыми узнавать про старт продаж билетов по самой выгодной цене: Facebook:
https://www.facebook.com/fwdaysTwitter:
https://twitter.com/fwdaysTelegram:
https://t.me/highload_fwdaysПроектирование API контрактов — одна из непростых задач в работе системного аналитика. Нужно не только корректно спроектировать API, но и оформить требования на разработку. Это важно для понимания...
Обновленное мок интервью по системному анализу. Статьи и документация в таймкодах. Вступай в сообщество для входа и роста в IT:
https://bit.ly/3Vq8nF7Читай уникальный контент в телеге:
https://bit.ly/3ztzy9iУзнай как проходит день из жизни ITшника:
https://bit.ly/40DkbqzНайди ментора или стань им в один клик:
https://bit.ly/410NrYlИрина:
https://t.me/systemsyetologАндрей:
https://telegra.ph/Konsultacii-po-analitike-05-05Таймкоды: 00:00 – Приветствие 00:32 – Опыт работы 08:10 – Как писали ТЗ на предыдущем месте работы? 08:53 – Что такое Use Case и User Story?
https://systems.education/use-case,https://scrumtrek.ru/blog/product-management/3364/user-story-instruktsiya-po-primeneniyu/
09:47 – Как понять, что User Story составлена корректно? INVEST
https://msklv.medium.com/invest-user-story-8c200266a3d7,SMART -
https://practicum.yandex.ru/blog/celi-i-zadachi-po-smart/13:46 – Из чего состояла интеграционная спецификация? 16:26 – Виды требований? Виггерс
https://analytics.infozone.pro/requirements-analysis/analysis-of-requirements-wiegers-2004/,BABOK
https://babok-school.ru/blogs/requirement-management-babok/18:35 – Что такое переходные требования?
https://clck.ru/36AvwP19:03 – Техники сбора требований
https://lpgenerator.ru/blog/chto-takoe-vyyavlenie-trebovanij/20:33 – Практический кейс 22:32 – Верификация и валидация требований — разница?
https://habr.com/ru/articles/691048/23:23 – Что такое нотация BPMN?
https://clck.ru/32eWcL24:44 – Диаграммы UML
https://evergreens.com.ua/ru/articles/uml-diagrams.html25:40 – Как на Sequence диаграмме показать асинхронное взаимодействие систем?
https://flexberry.github.io/ru/fd_sequence-diagram.html26:45 – Callback vs Webhook
https://habr.com/ru/articles/151716/,https://www.mango-office.ru/products/calltracking/for-marketing/osnovy/webhook-i-kak-ego-ispolzovat/
27:58 – Как на Sequence диаграмме показать цикл?
https://stackoverflow.com/questions/526410/how-to-represent-a-call-being-made-in-a-loop-in-a-sequence-diagram28:25– Как используется Class Diagram?
https://prog-cpp.ru/uml-classes/29:32 – Разница Class Diagram и ER Diagram
https://www.differencebetween.com/difference-between-er-diagram-and-vs-class-diagram/30:00 – Разница BPMN и UML?
https://askanydifference.com/ru/difference-between-uml-and-bpmn-with-table/30:58 – Виды архитектуры ПО
https://blog.ithillel.ua/ru/articles/web-application-architecture35:55 – Паттерны реализации микросервисной архитектуры
https://microservices.io/patterns/index.html38:52 – Типы интеграций
https://habr.com/ru/companies/oleg-bunin/articles/543946/39:42 – RESTful принципы
https://habr.com/ru/companies/hexlet/articles/274675/41:11 – Обязательны ли RESTful принципы в использовании? 41:45 – Методы HTTP
https://developer.mozilla.org/ru/docs/Web/HTTP/Methods42:20 – Что такое идемпотентность?
https://developer.mozilla.org/ru/docs/Glossary/Idempotent42:45 – Как сделать POST идемпотентным?
https://habr.com/ru/articles/568562/43:05 – В чем разница PUT и PATCH?
https://qna.habr.com/q/15553344:47 - Можно ли использовать POST для получения информации о ресурсе, а GET для создания ресурса?
https://htmlacademy.ru/blog/php/get-vs-post00:46:20 – Коды ответов HTTP
https://developer.mozilla.org/ru/docs/Web/HTTP/Status46:47– В чем разница 204 и 404?
https://wp-kama.ru/handbook/rest/basic/http-status-codes47:35– Версионирование API и как его обеспечить?
https://www.yiiframework.com/doc/guide/2.0/ru/rest-versioning48:33 – Что такое SOAP?
https://www.ibm.com/docs/en/integration-bus/10.0?topic=soap-structure-message49:00 – В чем разница между XML, XSD, WSDL?
https://clck.ru/36Axix50:00 – Как обеспечить асинхронное взаимодействие между системами? ESB
https://vc.ru/u/957470-dynamicsun/514376-chto-takoe-integracionnaya-shina-esb,WebSocket
https://habr.com/ru/sandbox/171066/,gRPC
https://habr.com/ru/companies/yandex/articles/484068/50:34 – WebSocket vs gRPC
https://ably.com/topic/grpc-vs-websocket#:~:text=gRPC%20is%20typically%20used%20to,communication%20in%20the%20first%20place52:07– Принцип работы брокеров сообщений
https://habr.com/r…Курсы по программированию:
https://balun.courses/?utm_medium=youtube&utm_campaign=vladimir_balunПотренироваться проходить собеседования:
https://it-interview.ioПрисоединиться к моему сообществу:
https://boosty.to/vladimir_balunКонсультации:
https://getmentor.dev/mentor/vladimir-balun-191https://solvery.io/ru/mentor/vladimir_balun
Таймкоды: 00:00 - Введение 00:12 - Оптимизация базы даных 01:36 - Индексы в базах данных 04:45 - Репликация 11:58 - Шардирование 19:09 - Партиционирование 19:59 - Балансировка нагрузки 21:50 - Кэширование 27:05 - CDN 28:22 - Монолитная и микросервисная архитектура 31:05 - Распределенные транзакции 2PC и Saga 33:20 - Событийно-ориентированная архитектура 34:10 - CAP теорема 35:03 - Мониторинг, логирование и трассировка 38:21 - Заключение Backend разработка. Backend разработчик. Backend Java. Backend Python. Backeng Go. Backend C#. Backend PHP. Backend C++. Backend с нуля. Backend собеседование. Backend программирование. Собеседование на работу. Собеседование Java. Собеседование C#. Собеседование Go. Собеседование PHP. Собеседование Python. Репликация собеседование. Балансировка нагрузки. Партиционирование собеседование. Шардирование собеседование. Базы данных. Архитектура веб приложений. VK:
https://vk.com/vladimir_balun_programmingTelegram:
https://t.me/vladimir_balun_programmingInstagram:
https://www.instagram.com/vladimir_balun_programming/#айти #программирование #программированиедляначинающих #программированиеснуля #собеседование #собеседованиенаработу #сбербанк
SELECT * FROM Episodes WHERE YEAR(published_at) > 2022 Думаете это все, на что способен SQL? Антон Жиянов, энтузиаст SQLite, красочно объясняет, что это заблуждение! Этот 2-х часовой выпуск можно смело использовать при подготовке к собеседованию: мы подробно разобрали как базовые конструкции, так и расширенные и современные фичи SQL: массивы, графы, рекурсию и многое другое. Поговорили, как готовить SQL с заботой о быстродействии и безопасности ваших баз данных, а также окунулись в мир SQL для анализа данных.
Контакты организаторов можно найти в телеграм-боте. Ссылка на него появится после регистрации:
https://clck.ru/36CZvUJoriy rejangiz faqat 5 ta kanal uchun analitika imkoniyatini beradi. Ko'proq olish uchun, iltimos, boshqa reja tanlang.