/usr/bin

​Knee — A CLI for Ansible Playbooks Knee —интерактивная CLI-утилита, созданная на основе Ansible, которая используется для автоматизации настройки инфраструктуры, что повышает эффективность и снижает количество человеческих ошибок. Читать описание инструмента на medium.com Репыч на Гитхабе

​Simplifying Your Tech Stack with PostgreSQL PostgreSQL может заменить несколько технологий, включая Kafka, RabbitMQ, MongoDB и Redis, поддерживая до миллионов пользователей. В статье PostgreSQL сравнивается с Redis, Kafka, RabbitMQ и MongoDB с точки зрения особенностей каждого из перечисленных инструментов. Читать статью. ❗️Статья на medium.com

​Настраиваем дампы ядра в Linux Core Dump (Дамп ядра) - это файл, который автоматически генерируется ядром Linux после сбоя программы. Этот файл содержит данные о памяти, значениях регистров и стеке вызовов приложения на момент сбоя. Да, обычно появление сообщения о создании Core Dump является не слишком приятным сюрпризом, которых лучше бы было поменьше. Но если уж Core Dump был создан, то лучше, чтобы он содержал максимум полезной информации, которая поможет разработчикам и администраторам разобраться в причинах возникшего сбоя. В этой статье на Хабре рассказано о том, как правильно настраивать создание дампов ядра.

Поднимаем Кафку, не опуская рук. Отказоустойчивый кластер на вашем ПК 22 августа приглашаем вас на вебинар от Слёрма с Василием Калугиным, владельцем корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг», чтобы поговорить про Кафку и научиться разворачивать кластер на своём железе. На вебинаре: ✅ Расскажем про язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды. ✅ Рассмотрим принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных. ✅ И покажем, как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией. Обычно в инструкциях кластер из 1 ноды, зукипера и 1 брокера, но это не наш путь. Учим работать с реальными исходными данными, а не на теоретических примерах 😉 ⚡️И наш традиционный розыгрыш — один из участников вебинара получит бесплатное место на курс «Apache Kafka для разработчиков». ➡️ 22 августа в 14:00 мск ➡️ Регистрация — по ссылке erid: LjN8KSVk6

​Table Partitioning in Postgres В статье разобраны 3 подхода к партиционированию: 🚀 List Partitioning 🚀 Range Partitioning 🚀 Hash Partitioning ❗️Статья на medium.com

​Запросы и лимиты в Kubernetes: разбираемся в деталях Управление ресурсами в Kubernetes немного напоминает зефирный тест, который иногда выходит из-под контроля. Если тщательно не лимитировать, сколько ресурсов может потреблять контейнер, он пойдёт вразнос, примерно как малыш, способный слопать большую пачку Skittles за один присест. В этой статье на Хабре подробно рассказано, как в Kubernetes организована работа с запросами и лимитами, как они используются для управления ресурсами.

​Scaling for millions: PostgreSQL В этой статье несколько предложений по улучшению производительности PostgreSQL. Читать статью. ❗️Статья на medium.com

​Защита от брутфорса и эксплоитов OpenSSH В последних версиях OpenSSH появилась защита от брутфорса (перебора) паролей, а также от попыток эксплоита. Это очень ценные настройки, которыми разработчики рекомендуют воспользоваться всем. Нужно отметить, что новая функция OpenSSH фундаментально отличается от fail2ban, sshguard и подобных инструментов, поскольку она не парсит логи и не изменяет правила файрвола, а применяет опции только внутри одной программы, не обращаясь никуда через ядро, что делает её гораздо безопаснее вышеупомянутых утилит. В статье рассказывается про две новый опции конфигурации PerSourcePenalties и PerSourcePenaltyExemptList. Читать на Хабре.

​Сетевые плагины (CNI) в Kubernetes Сеть Kubernetes — это сложная тема, наполненная множеством подвижных частей. Одним из ключевых компонентов, обеспечивающих сетевую связность и взаимодействие различных элементов кластера, является CNI (Container Networking Interface). В статье разобрано как устроен CNI. Читать на Хабре.

​Простая автоматизация с Bash для новичков Этот материал для тех, кто только рассматривает для себя инструменты автоматизации рутинных процессов. Автор рассматривает автоматизацию процессов в Linux с помощью bash скриптов на примере разворачивания простого python Django проекта при помощи системных юнитов (демонов) на удалённом сервере. Читать на Хабре.

⚡️ Квиз на знание K8s Попробуйте пройти тест из 15 вопросов за 30 минут и вы узнаете свой уровень знаний K8s. Квиз специально подготовлен под онлайн-курс  «Инфраструктурная платформа на основе Kubernetes» от Отус. ➡️  ПРОЙТИ КВИЗ: https://otus.pw/lsXF/?erid=LjN8JtZYm 🔥 Это курс для девопсов, администраторов, разработчиков и CTO, которые хотят получить квалификацию платформенного инженера и самостоятельно создать инфраструктурную платформу в своей компании. 📦 Пройдете успешно квиз, бонусом получите доступ к записям прошедших вебинаров курса.

​Understanding kubernetes networking: services В этой статье автор описывает как Kubernetes обеспечивает балансировку нагрузки между набором серверных модулей, позволяя клиентским модулям работать независимо и надежно. Читать статью. ❗️Статья на medium.com

​Из Linux уберут поддержку десятков ARM-чипов. Что происходит? Многие чипы почти не используются, смысла в их поддержке в ядре Linux все меньше. Но как их убрать, чтобы изменения прошли безболезненно для пользователей? У одного из самых известных контрибьюторов Linux Арндта Бергмана есть план. Подробности — в этой статье на Хабре.

Записки bash-скриптера. Листок первый. Сокращённый if Существует огромное количество руководств, статей, видеоуроков по bash. И это очень здорово, но есть одна проблема с ними. Процент материала "для начинающих" среди всего этого богатства стремится к 100, а вот по-настоящему интересных тонкостей касаются не только лишь все. В этой статье на Хабре рассмотрена особенность работы нижеследующей конструкции:

[ условие ] && действие_1 || действие_2

Дом, милый дом: нюансы работы с ClickHouse. Репликация У Петра из Nixys вышло продолжение серии обзорных статей про ClickHouse. В этой статье он рассказывает про особенности репликации в этой СУБД: как работают сервисы координации Zookeeper и ClickHouse Keeper, по какой причине может произойти падение репликации и почему не следует очищать Keeper вручную. Читать на Хабре.

​My Notes for Understanding the Linux Boot Process: A Comprehensive Guide Процесс загрузки Linux — это сложная последовательность событий, которая превращает выключенную машину в полностью работоспособную систему. Этот путь, от момента нажатия кнопки питания до момента, когда вы видите приглашение на вход или графический рабочий стол, включает несколько этапов, каждый из которых имеет значение для функциональности системы. В этой статье подробно рассмотрен процесс загрузки Linux, начальные проверки оборудования, выполняемые BIOS или UEFI, роль загрузчика в загрузке ядра, обязанности ядра по инициализации оборудования и монтированию корневой файловой системы, а также заключительные этапы, на которых система init берет на себя запуск основных служб и настройку пользовательской среды. Читать статью. ❗️Статья на medium.com

​proton Proton — это потоковый SQL-движок, быстрая и легкая альтернатива ksqlDB или Apache Flink, 🚀 работающая на ClickHouse. Он позволяет разработчикам решать задачи потоковой обработки данных, маршрутизации и аналитики из Apache Kafka, Redpanda и других источников, а также отправлять агрегированные данные в нижестоящие системы. Репыч на Гитхабе

10 забористых примеров использования утилиты curl В этом посте рассмотрим примеры использования утилиты curl для различных задач. 🔍 Globbing — множественные запросы одной командой:

curl -s "https://jsonplaceholder.example.com/users/[1-3]" | jq -s .

curl -s "https://jsonplaceholder.example.com/users/[0-10:2]" | jq -s .

curl -s "https://jsonplaceholder.example.com/photos/{1,6,35}" | jq -s .

curl -s "https://jsonplaceholder.example.com/users/[1-3]" -o "file_#1.json"

🔍 Использование конфигурационных файлов Пример конфигурационного файла:

# ~/.curlrc

# some headers
-H "Upgrade-Insecure-Requests: 1"
-H "Accept-Language: en-US,en;q=0.8"

# follow redirects
--location

Пример вызова curl:

curl -K .curlrc https://google.com

Чтобы не палить логины/пароли в истории выполненных команд, можно использовать следующий файл:

# ~/.netrc
machine https://authenticationtest.com/HTTPAuth/
login user
password pass

И вот так вызвать curl:

curl --netrc-file .netrc https://authenticationtest.com/HTTPAuth/

🔍 Параллельные запросы:

curl -I --parallel --parallel-immediate --parallel-max 3 --config websites.txt

curl -I --parallel --parallel-immediate --parallel-max 3 stackoverflow.com google.com example.com

🔍 Форматирование и использование переменных:

curl --silent --output /dev/null --show-error -w @format.txt http://example.com/

# format.txt
Type: %{content_type}\nCode: %{response_code}\n\n

From 8.1.0:\n\n

Scheme: %{url.scheme}\n
Host: %{url.host}\n
Port: %{url.port}\n

Read header content (v7.83.0):\n
%header{date}

Вывод, соответственно, будет таким:

# Type: text/html; charset=UTF-8
# Code: 200
# 
# From 8.1.0:
# Scheme: http
# Host: example.com
# Port: 80
# 
# Read header content (v7.83.0):
# Server: Sat, 29 Jun 2024 13:01:30 GMT

Полный список переменных по ссылке. 🔍 Тестирование и траблшутинг Можно выполнять, используя определенный сетевой интерфейс или DNS-сервер:

curl --interface enp5s0 https://example.com

curl --dns-ipv4-addr 1.1.1.1 https://example.com

🔍Использование trurl. Это специализированная утилита, которая позволяет форматировать вывод, например, в формат json:

# Parse as JSON:
./trurl --url "https://example.com/?name=hello" --json
# [
#   {
#     "url": "https://example.com/?name=hello",
#     "parts": {
#       "scheme": "https",
#       "host": "example.com",
#       "path": "/",
#       "query": "name=hello"
#     },
#     "params": [
#       {
#         "key": "name",
#         "value": "hello"
#       }
#     ]
#   }
# ] 

Эффективного использования curl!

Какие три характеристики лежат в основе эффективной IT-инфраструктуры? - Наблюдаемость - Безопасность - Производительность Но при нехватке профессионализма эти три характеристики могут легко превратиться в три проблемы.  О том, как совершенствовать производительность, укреплять безопасность и повышать наблюдаемость систем вы узнаете на конференции «OTUS CONF: Инфраструктура». Спикеры – эксперты из ведущих компаний: девопс-инженер, технический директор и архитектор Важно: перед конференцией мы хотим узнать, что волнует вас на самом деле. Поэтому скорее переходите по ссылке внизу и заполняйте форму с вопросами спикерам. На самые интересные вопросы ответим в конце события! Приглашаем девопс-инженеров, фулстек-разработчиков, системных и сетевых админов. архитекторов ПО, менеджеров продуктов и проектов. 8 августа, 19:00 МСК Участие бесплатное Записаться на конференцию - https://otus.pw/o5Vp/?erid=LjN8JtESt Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

​The Kubernetes Troubleshooting Handbook В этой статье рассмотрены различные методы и инструменты, помогающие устранять неполадки и отлаживать Kubernetes. Независимо от того, являетесь ли вы опытным пользователем Kubernetes или только начинаете, это руководство предоставит ценные сведения об эффективных методах отладки. В статье рассмотрены следующие подходы и инструменты: 🔍 Анализ событий жизненного цикла Pod 🔍 События Kubernetes и журналы аудита 🔍 Панель управления Kubernetes 🔍 Мониторинг использования ресурсов 🔍 Использование логов kubectl 🔍 Использование kubectl exec для интерактивного устранения неполадок 🔍 Отладка на уровне узлов с помощью kubectl debug 🔍 Отладка на уровне приложения с помощью отладочных контейнеров 🔍 Эфемерные контейнеры для отладки 🔍 Решение проблем DNS и сети 🔍 Отладка приложений с отслеживанием состояния 🔍 Расширенные методы отладки (Jaeger, Mirrord и др.) Читать статью и начиться траблшутить кубер ❗️Статья на medium.com