Yet Another Engineer

Топ доклады по базам данных и PostgreSQL. Собрал для вас список из 25 крутых докладов по базам данных и PostgreSQL: 1. Как работают Managed Databases 2. Внутреннее устройство платформы баз данных в Яндекс.Облаке 3. Рутина администратора баз данных 4. В ногу со временем, или как делать upgrade PostgreSQL 5. Подводные камни высокодоступных инсталляций OLTP СУБД 6. Odyssey - масштабируемый пулер соединений для PostgreSQL 7. Девять кругов ада или PostgreSQL Vacuum 8. Как устроены базы данных 9. Как и зачем MVCC мешает нам пользоваться базой данных и почему это не плохо 10. Блокировки в PostgreSQL 11. Внутреннее устройство PostgreSQL для практикующих инженеров 12. Топ ошибок со стороны разработки при работе с PostgreSQL 13. Резервное копирование нагруженных СУБД 14. Борьба с нагрузкой в PostgreSQL, помогает ли репликация в этом 15. Индексы в PostgreSQL. Как понять, что создавать 16. Владимир Ситников — B-tree индексы в базах данных на примере PostgreSQL 17. SQL/JSON в PostgreSQL: настоящее и будущее 18. Json or not Json. Плюсы и минусы использования Json в PostgreSQL 19. Оптимизация high-contention write в PostgreSQL 20. Типовые ошибки в приложениях, которые ведут к bloat в postgresql 21. PostgreSQL: практические примеры оптимизации SQL-запросов 22. Практики, особенности и нюансы при работе с Postgres в Go 23. Базы данных: PostgreSQL 24. The "default" postgresql.conf, step by step 25. Linux IO internals for PostgreSQL administrators in 2020

DALL-E 3 попросили сгенерировать богатого айтишника, каждый раз делая его ещё более богаче. В итоге нейросеть достигла «предела возможностей визуализации роскоши и богатства» и показала «крайнюю степень роскоши». Буквально ты, когда наконец выучил питон

Ну ладно, по запросам наших телезрителей, репостим актуальный портрет айтишника

DALL-E 3 попросили сгенерировать максимально русскую картинку. Получился критический уровень гойды.

Простите за репост, но таким шедевром я обязан был поделиться с вами

Опрос по автоматизации рутинных задач. Результаты опроса меня слегка удивили. Не думал что такое количество людей заинтересовано автоматизацией рутинных задач, значит это действительно насущная тема для вас. Дело в том, чтобы написать статью об этом, мне нужен пример. Рассказать о текущих рабочих задачах не могу - NDA. Был когда-то проект, но я уже о нем рассказал в этой статье: https://habr.com/ru/companies/slurm/articles/705620/ Коллеги, если у вас есть конкретные примеры автоматизации или идеи что можно автоматизировать, прошу написать в комментарии. #python #habr

SQL JOINs. 🌿 Пока готовил воркшоп для студентов по БД, нарисовал вот такую картинку, думаю начинающим в SQL может помочь разобраться с JOIN. По сути JOIN - это объединение множеств, а разновидности JOIN - это то, что из этого объединения можно получить. Так же вот вам отличный видос про JOINы в SQL: https://www.youtube.com/watch?v=nivyaiCeWjs P.S. со мной вы точно выучите английский 🏴󠁧󠁢󠁥󠁮󠁧󠁿 #sql

Пишу статью на habr. ✒️ Со мной связались с редакции блога yandex cloud на habr с просьбой написать статья, я согласился и сейчас думаю о чем писать. Есть идеи: 1. Анализ производительности Linux 2. Автоматизация рутинных задач на Python 3. From 0 to Yandex Cloud System Engineer (devops roadmap) Что вам было бы интересней всего прочитать? Если есть своя тема - прошу в комментарии. #habr #devops #offtop

Практика в troubleshooting'е Linux. Недавно узнал о прекрасном сайте: https://sadservers.com/. Это аналог LeetCode, только для Linux 🔥 На ресурсе есть 30+ сценариев траблшутинга разбитых по уровням сложности от Easy до Hard. Развлекайтесь 😄 P.S. В бэклоге идея записать прохождение этих задач на youtube, накидайте 🔥 если идея хорошая и может тогда я растолкаю себя и сяду за видосы 😁 #linux #troubleshooting

Интервью с автором Distributed Systems Мартином ван Стином. Ребята с канала { между скобок } провели очередное интервью с автором книги Distributed Systems. К сожалению, саму книгу не читал, но она в backlog'е. Мне очень нравится слушать их интервью с авторами, большой респект за то что получается такое организовывать. Интервью, как обычно, на простом английском и многие смогут его понять. Послушайте и хватит бояться английского языка 🙂 Ссылка на это интервью: https://www.youtube.com/watch?v=SRHDih8mZV4&t=713s Купить книгу на русском. Получить книгу бесплатно на английском. Другие интервью с авторами книг на канале между скобок: * Марк Ричардс, Нил Форд: интервью с авторами Fundamentals of Software Architecture * Interview Martin Kleppmann (с кабанчиком) #interview

Бесплатные курс от Yandex Cloud для DevOps инженеров. У Yandex Cloud есть несколько бесплатных продвинутых курсов с сертификатами, которые знакомят с облаком и некоторыми open-source технологиями: * GitOps с ArgoCD * CI/CD с Argo rollouts * Crossplane * Нагрузочное тестирование Ссылка на эти курсы: https://cloud.yandex.ru/training/training-pro#devops Так же есть базовый курс по облачным технологиям: https://practicum.yandex.ru/ycloud/ Углубленные курсы пока не проходил, а вот базовый прошел, в целом неплохо. Если вы новичок в облачных технологиях или вообще никогда не трогали облака - вперед, будет полезно. #обучение #cloud #k8s

Тестируйте ваш IaC-код. По моему опыту, тестированием IaC занимаются нетолько лишь все, мало кто может это делать. 🤦 Для повышения читаемости, повторяемости и безопасности IaC-кода нужно его тестировать. Возможности по тестированию Terraform: 1. Использовать форматирование terraform fmt (pre-commit stage) 2. Использовать валидацию terraform validate (pre-commit and CI stage) 3. Использовать precondition и postcondition 4. Использовать test framework (v1.6+) и checks (v1.5+) (CI stage) Возможности по тестированию Ansible: 1. Использовать yamllint, ansible-lint (pre-commit and CI stage) 2. Использовать molecule для тестирования ролей (CI stage) Вот пара статей по тестированию: * terraform: https://mattias.engineer/posts/terraform-testing-and-validation/ * ansible: https://www.toptechskills.com/ansible-tutorials-courses/rapidly-build-test-ansible-roles-molecule-docker/ #devops #iac

Как работает дата-центр Яндекса в Финляндии. 🖥 Хоть я и работал сисадмином, но мне всегда нравилась Software часть, поэтому в вопросах железа я был и остаюсь профаном. На разборе одной из домашних работ (12:30 - 30:00) тренировок по DevOps, лектор рассказал про дата-центр Яндекса в Финляндии. Про то как он частично отапливает небольшой городок Мянтсаль, про внутреннее устройство самого дата-центра. Если вы такой же профан, то советую посмотреть данный разбор ДЗ, а так же несколько дополнительных материалов: 1. Мини-фильм про дата-центр в Финляндии от Яндекс 2. Статья на habr про этот дата-центр 3. Книга, написанная руководителем одного из дата-центров Яндекса, про устройство дата-центров (для особо увлеченных) #hardware

Состояния процесса в Linux. В Linux процесс может находиться в одном из 6 состояний: - (R) Running - процесс выполняет свой код на процессоре - (S) Interruptable Sleep - процесс ждет ответ IO-based ресурсов (ответ по HTTP, чтение с диска) и обрабатывает сигналы (SIGTERM, etc) - (D) Uninterruptible Sleep - тоже ожидает ресурсов, но не обрабатывает сигналы - (T) Stopped - остановленные процессы с помощью сигналов SIGSTOP или SIGTSTP - (Z) Zombie - процесс завершился, но родитель не прочитал его код ответа (скорее всего родительский процесс завершился до потомка) - (X) Terminated - состояние успешного завершения процесса, довольно сложно увидеть, так как длится миллисекунды Как узнать состояние процесса? 0. Создаем процесс

$ sleep 10000 &
[2] 13946

1. С помощью команды ps в столбце STAT

$ ps -p 13946 -u
USER         PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root       13946  0.0  0.0   8076   588 pts/0    S    17:13   0:00 sleep 10000

2. С помощью команды top / htop в столбце S 3. В /proc:

$ grep "State" /proc/13946/status
State: S (sleeping)

Иногда вы можете увидеть и другие символы: <, N, L, s, l, +, etc. Это дополнения к основным состояниям, подробнее о них в man. #linux

🦖 Как работает асинхронность в Python? Классное короткое видео об асинхронности в Python: https://www.youtube.com/watch?v=K56nNuBEd0c Ничего сложного, самая база, но с примерами и шуточками 😂 Мне нравится этот канал, много видео по Python и SQL с забавными объяснениями. #python

💥Инициализация и жизнь процесса в Linux. Любой процесс, кроме init с pid 1, создается методом клонирования. Исторически это делается с помощью системных вызовов fork() и семейства вызовов exec(). Сейчас же чаще используется системный вызов clone(). Примерный процесс: 1. Системный вызов fork() создает дочерний процесс из родительского, который почти полностью копирует его состояние. Например, при вызове команды nginx -t из bash (для проверки синтаксиса конфигурации nginx), создается новый процесс который полностью копирует код программы bash. 2. Далее вызывается один из системных вызовов семейства exec(). Этот системный вызов заменяет образ (код) процесса, таким образом дочерний процесс запускает нужную нам программу. 3. Родительский процесс (если код написан грамотно) ожидает код возврата от дочернего процесса с помощью семейства системных вызовов wait(), чтобы корректно завершить дочерний процесс. Если родитель не обработал код возврата дочернего процесса, то дочерний процесс становится Zombie. 4. Дочерний процесс завершается с кодом ответа 0 (успех) или ≠ 0, если код завершился с ошибкой. Есть еще fork() copy-on-write, если вам интересно, то вот отличное объяснение: https://www.youtube.com/watch?v=ViUwLytKzTY P.S. Если есть вопросы или хотите дополнить - welcome в комменты. P.S.S. Дальше опишу состояния процессов в Linux. #linux #процессы

Процессы в Linux. Надеюсь вы не забыли записаться на DevOps тренировки. Посмотрел лекцию про процессы - огонь! Андрей Мичурин замечательный лектор, рассказал о процессах динамично и глубоко. Темы: - Инициализация процесса fork() / exec() - Траблшутинг процесса /proc, atop - Память: куча, стек, статическая, виртуальная и резидентная память - IPC - Изоляция: namespaces, cgroups Плюс закинул реально интересную домашку - написать приложение на любом языке программирования (привет тем кто говорит что программирование не нужно DevOps'у), которое будет собирать системную информацию о процессе и отдавать ее в JSON. Затем это приложение нужно развренуть в Docker или в ручном режиме через namespaces и cgroup. Если у вас есть час свободного времени - смотрите, не пожалеете! Лекция: https://www.youtube.com/watch?v=usQYwp916e0 #linux #база