DevOps&SRE Library

Redis as a Primary Database for Complex Applications

How Redis can be used as a primary database for complex applications that need to store data in multiple formats?

https://faun.pub/redis-as-a-primary-database-for-complex-applications-501ced31f923

It's a log eat log world!

Let's discuss logging - unstructured, structured and canonical log lines - what they are and what value they bring to your production systems.

https://obakeng.substack.com/p/its-a-log-eat-log-world

Коллеги, давайте еще немного сдвинем сроки выхода приложения, вернемся к вопросу через неделю через полгода. Любимая фраза 😎 Как ускорить процесс разработки и вывод продуктов на рынок? Настраиваем DevOps-конвейер от Сферы 🧑‍💻 Сфера.Сборка — это платформенная экосистема всех необходимых инструментов, которые позволяют автоматизировать процесс разработки и управления жизненным циклом приложений. DevOps-конвейер Сферы: 🛑 «Сфера.Портал разработки» — единая точка входа для всех разработчиков проекта и инструмент для построения сквозного автоматизированного процесса разработки технологических продуктов. 🛑 «Сфера.CI/CD» — связующее звено всего конвейера, отвечает за оркестрацию DevOps-процесса. 🛑 «Сфера.Дистрибутивы и лицензии» — инструмент для управления артефактами разработки ПО, позволяет создавать репозитории и управлять ими, а также анализировать состав кода, реализовывать собственные политики применения открытых программных компонентов. 🛑 «Сфера.Код» — Git-инструмент для совместной работы, позволяющий хранить, версионировать, консолидировать код и передавать его в систему оркестрации сборки. DevOps-конвейер Сферы легко интегрируется со многими существующими платформами: AD/LDAP, системами мониторинга, аудита и журналирования. 📌 Подробнее о всех возможностях DevOps-конвейера Сферы. Реклама ООО «ГК «Иннотех»» ИНН: 9703073496. Erid: 2SDnje4De8C

yaak

Yaak is a desktop API client for interacting with REST, GraphQL, Server Sent Events (SSE), WebSocket, and gRPC APIs.

https://github.com/mountain-loop/yaak

mdq

like jq but for Markdown: find specific elements in a md doc

https://github.com/yshavit/mdq

Алгоритмы, кодогенерация и куда идёт Go: строим платформу для разработчиков В новом выпуске подкаста «Расскажите про MWS» обсуждаем как работает команда, которая создает базовую инфраструктуру для разработчиков облака. Дмитрий Новиков — TechLead команды Development Platform в MWS рассказывает: — Зачем команда пишет собственный кодогенератор — Нужны ли задачи про алгоритмы на собеседованиях — В каком направлении развивается Go и есть ли повод для беспокойства Смотрите и слушайте на всех популярных площадках: 🎬 YouTube 🎬 VK Видео 🎧 Яндекс Музыка 🎧 Apple Podcasts 🎧 Mave Digital

tailpipe

Tailpipe is the lightweight, developer-friendly way to query logs. Cloud logs, SQL insights. Collects logs from cloud, container and application sources. Query and analyze your data instantly with the power of SQL, right from your terminal. Fast, local, and efficient. Runs locally, powered by DuckDB's in-memory analytics and Parquet's optimized storage. An ecosystem of prebuilt intelligence. MITRE ATT&CK-aligned queries, prebuilt detections, benchmarks, and dashboards, all open source and community-driven. Built to build with. Define detections as code, extend functionality with plugins and write custom SQL queries.

https://github.com/turbot/tailpipe

kvm

JetKVM is a high-performance, open-source KVM over IP (Keyboard, Video, Mouse) solution designed for efficient remote management of computers, servers, and workstations. Whether you're dealing with boot failures, installing a new operating system, adjusting BIOS settings, or simply taking control of a machine from afar, JetKVM provides the tools to get it done effectively.

https://github.com/jetkvm/kvm

Nping

Nping is a Ping tool developed in Rust. It supports concurrent Ping for multiple addresses, visual chart display, real-time data updates, and other features.

https://github.com/hanshuaikang/Nping

Postgres in the time of monster hardware

I don't know if you followed the release of the last generation of CPUs. AMD's latest Genoa CPU (AMD EPYC™ 9965) can run 768 threads. It has 192 cores per socket and 2 threads per core, with 2 sockets. Imagine adding 10 TB of RAM to such a beast! Of course, everyone will think of how useful it will be for virtualization. As a database person, I'd rather ask myself what Postgres could do with so many resources. I love simplicity in architecture. But I often meet customers with huge resource needs. With average hosts nowadays, the best answer for them is sometimes multi-parallel processing (MPP). So, with this new hardware, can we stop using horizontal scalability? To understand the impact of running PostgreSQL on it, we must examine a few technical limits. The analysis will begin with NUMA (Non-Uniform Memory Access) architecture. Next, we will address I/O bandwidth limits. They are a big factor, no matter the CPU or memory. Next, we will look at how PostgreSQL behaves with many connections. This topic has historical limits that bring up key questions. Finally, we will test parallel queries. We will examine their scalability and effectiveness on systems with many CPU threads.

https://www.enterprisedb.com/blog/postgres-time-monster-hardware

pgwatch

PGWATCH: PostgreSQL metrics monitor/dashboard

https://github.com/cybertec-postgresql/pgwatch

feluda

🔎 Feluda is a Rust-based command-line tool that analyzes the dependencies of a project, notes down their licenses, and flags any permissions that restrict personal or commercial usage.

https://github.com/anistark/feluda

🚀Открыта вакансия C++ Software Engineer в YADRO: получите оффер за 3 дня Если вы давно хотели работать в технологической компании с амбициозными задачами, то скорее подавайте заявку на сайте. YADRO запускает SPRINT OFFER для инженеров-разработчиков C++, готовых прокачаться в команде Telecom Platform. Здесь вы будете: ✔️ Разрабатывать платформенные решения для мобильных сетей LTE/GSM ✔️ Разрабатывать компоненты телеком-платформы в технологическом стеке С++/Linux ✔️ Участвовать в проектировании и развитии архитектуры телеком-платформы Как попасть в команду? 1️⃣ Оставить заявку до 9 марта 2️⃣ Пройти скрининг и техническое интервью 3️⃣ Получить оффер всего за 3 дня 📍 Формат работы: офис, гибрид или удалёнка (Москва, СПб, Нижний Новгород, Екатеринбург, Минск). 💡 В команде — инженеры с опытом 10–25 лет, у которых есть чему научиться! Готовы к карьерному рывку? Подавайте заявку сейчас — по ссылке.

Product management is broken. Engineers can fix it

How we've redefined the PM and engineer relationship

https://newsletter.posthog.com/p/product-management-is-broken-engineers

В прошлый раз было управление спейсами Tarantool со стороны пользователя, в этот раз углубляемся внутрь и разбираемся как устроен движок Vinyl. 🦧 Поверхностное представление о том, что Vinyl работает с диском не дает полного понимания механизмов заложенных внутри для обслуживания кластера. 🤯 Оказывается здесь не классическое B-tree как в реляционных СУБД типа InnoDB в MySQL или Postgress, а LSM-tree со всеми вытекающими. В документации по Vinyl есть исчерпывающее объяснение разницы, но ... Меня интересовали концептуальные механизмы с точки зрения администратора этой СУБД, поэтому в статье разберем: 🧐 Что такое Vinyl 🗂 Из чего состоит файловая структура спейса на Vinyl 🖼 Визуализируем хранилище Vinyl (это пирамида) 📥 Посмотрим как данные перемещаются по пирамиде 🛠 Определим как управлять габаритами пирамиды и на что они влияют 🎡 Какие фоновые процессы обслуживают движок Vinyl 💣 Как работа Vinyl влияет на систему 🪣 Как очистить дерево от старых версий и удаленных кортежей и вообще почему есть в этом необходимость Детали в статье: https://byurrer.ru/tarantool-vinyl P. S. если есть непонятки или я что-то упустил - пишите в комментариях ⬇️

httptap

View the HTTP and HTTPS requests made by any linux program by running httptap -- <command>.

https://github.com/monasticacademy/httptap

⚡️Современные распределённые системы генерируют огромные объёмы данных, а эффективный мониторинг становится залогом стабильной работы. Как построить систему, способную выдерживать большие нагрузки, обрабатывать миллионы метрик в секунду и мгновенно реагировать на аномалии? 🔥11 марта в 20.00 мск приглашаем на открытый урок "Проектирование высоконагруженного мониторинга в распределенных системах", на котором разберем: - лучшие инструменты для сбора и хранения метрик (Prometheus, VictoriaMetrics, Mimir, Thanos и др.); - методы оптимизации: федерация, шардинг, агрегация, сэмплирование; - как минимизировать нагрузку и сократить расходы на хранение данных; - практические кейсы внедрения в highload-проектах. 👉Регистрация https://vk.cc/cJnsHZ Занятие приурочено к старту курса "Observability: мониторинг, логирование, трейсинг", на котором вы научитесь строить эффективные системы мониторинга, работать с Prometheus, Grafana, ELK и другими инструментами, визуализировать метрики. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqxDdebY

terraform-module-releaser

Simplify the management of Terraform modules in your monorepo with this GitHub Action, designed to automate module-specific versioning and releases. By streamlining the Terraform module release process, this action allows you to manage multiple modules in a single repository while still maintaining independence and flexibility. Additionally, it generates a beautifully crafted wiki for each module, complete with readme information, usage examples, Terraform-docs details, and a full changelog.

https://github.com/techpivot/terraform-module-releaser

Получи доступ к полезной базе знаний для девопса DevOps-инженер, который умеет управлять кластерами в Kubernetes, всегда ценится больше. Yandex Cloud открыл свободный доступ к своей базе знаний с полезными материалами для инженеров. Из них вы узнаете, как автоматизировать процессы, развертывать и масштабировать кластеры на примере DevOps-сервиса от Yandex Cloud. Все материалы останутся у вас навсегда, а изучать их можно в свободном темпе. Теорию подготовили эксперты Yandex Cloud с большим опытом работы в IT-индустрии, а практика состоит из 60 заданий. Подробнее о базе знаний — по ссылке.

Can I TF

As time passes, OpenTofu and Terraform become more distant from each other. CanI.TF helps us to understand their differences quickly.

https://cani.tf