Библиотека девопса | DevOps, SRE, Sysadmin

#мем

🔠🚤 Gordon: AI-агент для Docker, который упрощает работу с контейнерами Docker представил экспериментальный AI-агент Gordon, предназначенный для упрощения и автоматизации работы с их инструментами. Эта разработка открывает новые возможности для как новичков, только начинающих работать с Docker, так и для профессионалов, стремящихся повысить свою эффективность. Gordon — это часть инициативы Docker Labs по внедрению генеративного искусственного интеллекта. Его разработка отражает растущий интерес к интеграции AI в инструменты DevOps и открывает двери для новых возможностей. 🐸Библиотека devops'a #новость

⭐️ #подборка новинок книг 1️⃣Изучаем OpenTelemetry: современный мониторинг систем Паркер О., Янг Т. Книга — это подробное руководство по использованию одного из наиболее перспективных инструментов мониторинга и трассировки систем. OpenTelemetry объединяет метрики, логи и трассировки в единую систему, предоставляя универсальное решение для наблюдаемости современных распределенных систем. 2️⃣Программирование ядра Linux. Биллимориа К. Данная книга представляет собой подробное введение в ядро Linux. Прочитав ее, вы получите достаточные теоретические знания о внутренних механизмах ядра и практические навыки написания кода модулей. Изложение ведется на примере ядра версии 6.1 LTS, поддержка которого предполагается до августа 2033 года, что обеспечивает актуальность материала на долгие годы. 3️⃣Облачные микросервисы. Разработка и применение на платформе Kubernetes. Эль Амри А. Данная книга раскрывает потенциал Kubernetes — самой популярной платформы оркестровки контейнеров в мире. Вы узнаете, как использовать Kubernetes для создания надежной, масштабируемой и отказоустойчивой микросервисной архитектуры. Подробно рассмотрены особенности применения микросервисов, стратегии высокой доступности, CI/CD, GitOps и наблюдаемости в мире облачных технологий. Представлены практические примеры использования таких инструментов, как Docker, Rancher, Terraform, Operators, Helm, Prometheus, Istio, Grafana, OpenTelemetry, Jaeger, Loki и другие. 🐸Библиотека devops'a

🖥🐾Тебе встроили браузер в твой браузер! Neko – это open-source решение для удаленного доступа к браузеру. Представьте себе виртуальный браузер, который вы можете запустить на сервере, а затем использовать через свой обычный браузер. Звучит странно? Давайте разберемся! 🔥 Ключевые возможности Neko: 1️⃣ Многопользовательская работа — один браузер – множество пользователей. Используйте его для совместного просмотра страниц, обсуждений или работы над проектами. 2️⃣ Изоляция сессий — не хотите, чтобы ваши данные сохранялись на сервере? Сессия полностью временная и безопасно удаляется после закрытия. 3️⃣ Удобство запуска — работает через веб-интерфейс – никаких сложностей с установкой или доступом. 4️⃣ Использование в реальном времени — стриминг видео, работа с сайтами в реальном времени – теперь это доступно из любого устройства. 🚀 Где это полезно? 1️⃣ Совместная работа: демонстрация проектов или просмотр сайтов в команде. 2️⃣ Изоляция среды: тестирование подозрительных ссылок или веб-приложений. 3️⃣ Удобство для администраторов: управление серверами через веб-интерфейс браузера. 📎Как бы вы могли использовать Neko в своей работе или жизни? 🐸Библиотека devops'a

👋Привет, девопсы! Мы ищем участников для интервью на тему «Обучение навыкам в IT»! Кто нам нужен? ✅ Вы недавно (в последние 6 месяцев) проходили курсы по техническим специальностям или математике. ✅ Вы разработчик, стремящийся освоить Data Science или Machine Learning. Что вас ждет? Участие в интервью по Zoom, которое займет не больше 45 минут.📞 🤑 1500 рублей на карту за ваше время. Уникальный шанс пообщаться с нашим CEO!😎 Как откликнуться? ✏️Напишите в личные сообщения @artem_ceo

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🔧Механизмы мониторинга событий Механизмы мониторинга событий – это инструменты и интерфейсы в операционных системах, которые позволяют приложениям эффективно отслеживать изменения состояния различных ресурсов. Это могут быть файлы, сетевые соединения, процессы, таймеры и другие объекты. ⚡️Главная цель этих механизмов — обеспечить приложение информацией о наступлении интересующих событий, минимизируя затраты ресурсов (например, CPU) и время ожидания. ❓Зачем нужны механизмы мониторинга событий? В многозадачных системах часто требуется знать, когда объект становится "готовым" к выполнению операций. Например: ➖Файл: готов для чтения или записи. ➖Сетевое соединение: новые данные поступили, соединение закрыто. ➖Таймер: истекло заданное время. ➖Процессы: завершение или изменение состояния. Без механизмов мониторинга событий приложениям пришлось бы постоянно опрашивать ресурсы, чтобы узнать их состояние, что приводит к высоким накладным расходам на процессор. Типы событий ➖Сетевые события: Готовность сокетов для чтения или записи. Закрытие соединений. ➖Файловые события: Изменения файлов или директорий. Доступность данных для чтения или записи. ➖События таймеров: Уведомление о том, что истекло определенное время. ➖Процессные события: Завершение процессов или изменения их состояния. ➖Сигналы: Системные сигналы, отправленные процессам (например, SIGINT, SIGCHLD). Разные операционные системы предлагают свои интерфейсы для мониторинга событий. Вот наиболее известные: 1️⃣select (POSIX) 2️⃣ poll (POSIX) 3️⃣ epoll (Linux) 4️⃣ kqueue (BSD-системы) 5️⃣ IOCP (Windows)

🆚 Разница между SSL и TLS Когда дело доходит до безопасности в интернете, термины SSL и TLS звучат повсюду: от HTTPS до VPN. Часто их используют как синонимы, но это не совсем правильно Что такое SSL и TLS? 🔒SSL (Secure Sockets Layer) SSL – это первый широко применяемый протокол, созданный для безопасного обмена данными между клиентом (например, браузером) и сервером. Он обеспечивает: ➖Шифрование данных. ➖Проверку подлинности сервера (а иногда и клиента). ➖Целостность передаваемых данных. Первая версия SSL появилась в 1995 году, но она практически сразу была заменена на SSL 2.0, а затем SSL 3.0 в 1996 году. Однако SSL имел серьезные уязвимости, что привело к его постепенному отказу. 🔒TLS (Transport Layer Security) TLS – это улучшенная и безопасная версия SSL, созданная в 1999 году. Она устранила известные недостатки SSL и стала стандартом шифрования. Сегодня TLS используется в большинстве интернет-приложений, включая HTTPS, e-mail (SMTP, IMAP, POP3), VoIP и VPN. Основные цели SSL/TLS ✅Шифрование данных: протоколы предотвращают перехват и просмотр данных третьими лицами. ✅Проверка подлинности: сертификаты помогают удостовериться, что вы подключаетесь к настоящему серверу, а не к поддельному. ✅Целостность данных: механизмы защиты (например, HMAC) гарантируют, что данные не были изменены в процессе передачи.

#мем

❓ Что такое команда scp? scp (Secure Copy Protocol) — это инструмент для безопасного копирования файлов между локальной и удалённой машинами или между двумя удалёнными хостами. Он использует SSH для шифрования данных, что делает передачу файлов защищённой. Cинтаксис команды:

scp [опции] источник цель

😊Полезные опции -r: Рекурсивное копирование каталогов. -C: Сжатие данных. -P [порт]: Указание порта SSH. -i [ключ]: Использование приватного ключа. Примеры: ➖Копирование файла на удалённый сервер:

scp file.txt user@remote_host:/path/to/destination/

➖Скачивание файла с удалённого сервера

scp user@remote_host:/path/to/file.txt /local/path/

➖Копирование директории:

scp -r /local/directory/ user@remote_host:/path/to/destination/

🐳✏️ #Гайд по контейнеризации Django от Docker В блоге Docker появился новый гайд, который подробно объясняет, как контейнеризировать Django-приложение. Этот пошаговый туториал покажет вам: ✅ Как настроить Dockerfile для вашего проекта. ✅ Использовать docker-compose для управления сервисами. ✅ Оптимизировать приложение для продакшена с Gunicorn и сборкой статических файлов. Если вы хотите упростить развертывание Django-приложений и минимизировать проблемы с совместимостью окружений, этот гайд станет отличным подспорьем.

🪲🐞Ошибка вторника Если вы когда-нибудь сталкивались с багами, которые кажутся странными и необъяснимыми, то эта история — ваш идеальный пример. В 2008 году на платформе Launchpad была зарегистрирована необычная проблема: OpenOffice отказывался печатать документы… исключительно по вторникам. ❓Что случилось? Проблема была связана с печатью через OpenOffice на некоторых системах Linux. Документы, отправленные на принтер по вторникам, просто не доходили до своей цели. Остальные дни недели проблем не вызывали. Звучит как сюжет научной фантастики, но баг был вполне реальным. ⁉️В чем причина? Оказалось, что виновата строка %%CreationDate в PostScript-файлах, создаваемых OpenOffice. Если дата создания документа указывала вторник, то строка выглядела так:

%%CreationDate: (Tue ...)

При обработке этого файла утилита file неправильно определяла его тип, считая, что это не PostScript, а что-то другое. Это приводило к сбоям на уровне обработки печати.

⭐️Минимализм в вебе или клуб 512кб В мире, где веб-сайты становятся всё более "тяжёлыми" из-за бесконечных скриптов, огромных изображений и множества сторонних библиотек, появляются те, кто стремится к обратному — лёгкости и эффективности. И 512KB Club — яркий пример этого подхода. ❓Что такое 512KB Club? Это сообщество веб-сайтов, которые доказывают, что скорость, простота и функциональность могут идти рука об руку. Участники клуба создают сайты, размер ресурсов которых (включая HTML, CSS, JS, изображения и шрифты) не превышает 512 килобайт. Для сравнения, это меньше, чем средний размер одного современного изображения на сайте. Категории сайта: 🟢Green Team (<100 КБ): Сайты-чемпионы минимализма. Они невероятно лёгкие и загружаются мгновенно. 🟠Orange Team (<250 КБ): Оптимизированные ресурсы, которые остаются удобными для пользователей. 🔵Blue Team (<512 КБ): Участники, которые всё ещё остаются в рамках заданного лимита, но добавляют больше функциональности или контента.

Как предотвратить OOMKiiled в k8s? В мире Kubernetes ошибки «OOMKilled» (Out of Memory Killed) возникают, когда приложение превышает выделенные ему ресурсы памяти, что приводит к его завершению системой. Для предотвращения таких ситуаций Kubernetes использует механизм классов качества обслуживания (QoS), который помогает эффективно управлять ресурсами и обеспечивать стабильную работу приложений. 🛠Классы QoS в Kubernetes: ➖Guaranteed (Гарантированный): Присваивается подам, у которых для всех контейнеров установлены одинаковые значения запросов и лимитов ресурсов. ➖Burstable (С переменной нагрузкой): Присваивается подам, у которых запросы ресурсов меньше установленных лимитов. ➖Best-Effort (По остаточному принципу): Присваивается подам без указанных запросов и лимитов ресурсов. Эти классы позволяют Kubernetes приоритизировать рабочие нагрузки при дефиците ресурсов, обеспечивая критически важным приложениям необходимые ресурсы. ⚡️Причины возникновения ошибок OOMKilled: ➖Неопределенные лимиты ресурсов: контейнеры потребляют больше ресурсов, чем предполагалось. ➖Переизбыток ресурсов: несколько подов конкурируют за ограниченные ресурсы. ➖Утечки памяти: неэффективная разработка приложений, приводящая к постепенному увеличению потребления памяти. Без правильной настройки QoS повышается риск исчерпания ресурсов и возникновения ошибок OOMKilled. ❓Как QoS предотвращает ошибки OOMKilled: ➖Приоритизация подов: подам с классом Guaranteed присваивается наивысший приоритет, за ними следуют Burstable и Best-Effort. ➖Предотвращение переизбытка ресурсов: QoS гарантирует, что запросы ресурсов соответствуют доступной емкости, снижая риск перегрузки. ➖Гибкое управление ресурсами: при нехватке памяти сначала выселяются поды с более низким приоритетом, защищая критически важные приложения. 💡Рекомендации по настройке QoS для предотвращения ошибок OOMKilled: ➖Установите запросы и лимиты ресурсов: всегда указывайте запросы и лимиты ресурсов в конфигурации подов. ➖Проверяйте класс QoS подов: после развертывания убедитесь в правильности присвоенного класса QoS с помощью команды:

kubectl get pod <имя-пода> -o jsonpath='{.status.qosClass}'

➖Тестируйте распределение ресурсов: симулируйте высоконагруженные сценарии, чтобы наблюдать поведение подов и убедиться в корректной работе настроек QoS.

Приколы приколами, но вот вам небольшой #гайд по удалению питона с сервера 1️⃣ Проверьте зависимости системы Перед удалением убедитесь, что удаление Python не нарушит работу вашего серверного окружения: Многие серверные ОС (например, на базе Linux) используют системный Python для управления пакетами (например, yum или apt). Проверьте, какие версии Python установлены и где они используются:

python --version
python3 --version
which python
which python3

2️⃣ Удаление версии Python, установленной вручную Если Python был установлен вручную (например, через исходный код или менеджер пакетов), выполните следующие шаги: ➖Удаление вручную установленного Python: Найдите место установки Python:

which python3

Обычно это будет /usr/local/bin/python3 или /usr/bin/python3. Удалите файлы:

bash
sudo rm -rf /usr/local/bin/python3
sudo rm -rf /usr/local/lib/python3.x

Замените python3.x на соответствующую версию. Проверьте и удалите симлинки:

bash
sudo rm -f /usr/bin/python3
sudo rm -f /usr/bin/python

Проверьте переменные окружения: Убедитесь, что в переменной PATH больше нет записей, связанных с Python:

echo $PATH

➖Если Python установлен через менеджер пакетов: Для Debian/Ubuntu:

sudo apt-get remove --purge python3
sudo apt-get autoremove

Для CentOS/Red Hat:

sudo yum remove python3

3️⃣ Удаление через менеджеры пакетов окружений Если Python установлен через менеджеры вроде pyenv или conda, удаление происходит так: ➖Удаление с помощью pyenv: Список установленных версий:

pyenv versions

Удаление версии Python:

pyenv uninstall <версия>

➖Удаление с помощью Anaconda/Miniconda: Удаление конкретного окружения:

conda remove --name <название_окружения> --all

Удаление Anaconda/Miniconda полностью: Удалите корневую директорию:

rm -rf ~/anaconda3
rm -rf ~/miniconda3

4️⃣ Удаление остаточных файлов Проверьте наличие остаточных папок:

sudo find / -name "python*"

Удалите файлы, которые больше не нужны. 5️⃣ Будьте осторожны с системным Python Удаление системного Python может нарушить работу пакетов управления сервером (yum, dnf, apt). Если вы хотите очистить только лишние версии Python, сделайте это изолированно, не трогая системные библиотеки. #мем

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы Proglib Academy — тут мы рассказываем про обучение и курсы Азбука айтишника — здесь мы познаем азы из мира программирования 🤖Про нейросети Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка Библиотека нейротекста | ChatGPT, Gemini, Bing Библиотека нейровидео | Sora AI, Runway ML, дипфейки Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion #️⃣C# Книги для шарпистов | C#, .NET, F# Библиотека шарписта — полезные статьи, новости и обучающие материалы по C# Библиотека задач по C# — код, квизы и тесты Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel ☁️DevOps Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps Вакансии по DevOps & SRE Библиотека задач по DevOps — код, квизы и тесты Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования 🐘PHP Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP Вакансии по PHP, Symfony, Laravel Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по PHP — код, квизы и тесты 🐍Python Библиотека питониста — полезные статьи, новости и обучающие материалы по Python Вакансии по питону, Django, Flask Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Python — код, квизы и тесты ☕Java Книги для джавистов | Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾Data Science Книги для дата сайентистов | Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🦫Go Книги для Go разработчиков Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Go — код, квизы и тесты Вакансии по Go 🧠C++ Книги для C/C++ разработчиков Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻Другие каналы Библиотека фронтендера Библиотека мобильного разработчика Библиотека хакера Библиотека тестировщика Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности Библиотека разработчика игр | Gamedev, Unity, Unreal Engine 📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈 Также у нас есть боты: Бот с IT-вакансиями Бот с мероприятиями в сфере IT Мы в других соцсетях: 🔸VK 🔸YouTube 🔸Дзен 🔸Facebook * 🔸Instagram * * Организация Meta запрещена на территории РФ

👀 Что такое шардинг и проблема горячих шардов? Шардинг — это метод разбиения данных на небольшие части (шарды) и их распределения между несколькими машинами. Это помогает справляться с ростом данных, улучшает производительность и устраняет ограничения на ресурсы одной машины (память, диск или сеть). ❓Что такое проблема горячих шардов? Проблема горячих шардов возникает, когда нагрузка распределяется неравномерно, и один из шардов получает чрезмерное количество запросов на чтение или запись. Это может привести к: ❌ Перегрузке памяти: данные начинают выгружаться из RAM на диск, что замедляет операции и создает задержки. ❌ Перегрузке CPU: если запросы требуют много вычислений, процессор не успевает их обрабатывать, создавая очередь запросов. ❌ Перегрузке сети: ограниченная пропускная способность узла вызывает сбои при большом объеме запросов. Эти проблемы приводят к снижению производительности системы и риску отказов. ❓Как справляться с проблемой горячих шардов? Вертикальное масштабирование Добавьте больше ресурсов (CPU, RAM, диск) к узлу с горячим шардом. Недостаток: Решение временное и неэффективно при масштабировании системы. Использование кэша или реплик для чтения Для уменьшения нагрузки на горячий шард добавьте кэш для статических запросов. Настройте реплики для чтения, чтобы распределить запросы между несколькими узлами. Увеличение количества узлов Добавьте больше машин с самого начала. Недостаток: Дорого и может привести к перерасходу ресурсов, если рост системы не оправдает ожиданий. 📎Решить проблему горячих шардов можно различными путями, подробнее про остальные в статье

⚡️ Werf: Инструмент для автоматизации CI/CD и работы с Kubernetes 🤩 Werf — это инструмент с открытым исходным кодом для автоматизации CI/CD процессов, ориентированный на разработку, сборку, деплой и управление контейнеризированными приложениями в Kubernetes. Он сочетает в себе управление сборкой Docker-образов, развертывание в Kubernetes и интеграцию с популярными CI/CD системами. Чем Werf отличается от других CI/CD инструментов? ➖GitOps из коробки: интеграция с Git для управления версиями образов и конфигураций. ➖Оптимизация сборки Docker: умное кэширование и минимизация повторных сборок. ➖Управление секретами: встроенные механизмы шифрования и интеграция с Kubernetes Secret. ➖Helm + Kubernetes: деплой с zero-downtime и поддержкой множественных окружений. ➖Гибкость CI/CD: легко интегрируется с GitLab CI, GitHub Actions и другими. ➖«Всё в одном»: сборка, деплой и управление окружениями в одном инструменте.

❓ Что такое SSL-сертификат? SSL (Secure Sockets Layer) — это технология, обеспечивающая безопасное соединение между браузером пользователя и сервером сайта. SSL-сертификат — это цифровой документ, который подтверждает подлинность сайта и шифрует данные, передаваемые между пользователем и сервером. Когда сайт использует SSL, в его адресной строке появляется "https" вместо "http", а соединение становится защищённым. Как работает SSL? ➖ Вся информация, которую вы вводите на сайте (например, логины, пароли, номера банковских карт), шифруется, чтобы её нельзя было перехватить и прочитать. ➖ SSL-сертификат гарантирует, что вы подключаетесь к подлинному сайту, а не к его поддельной копии. ➖ Обеспечивается защита от изменения или подмены данных во время их передачи. Зачем нужен SSL-сертификат? ✅ Защита данных пользователей. Без SSL любая информация, передаваемая через интернет, может быть перехвачена злоумышленниками. ✅Доверие пользователей. Замок в адресной строке и префикс "https" внушают уверенность, что сайт безопасен. ✅SEO-преимущества. Поисковые системы, такие как Google, отдают предпочтение сайтам с SSL и ранжируют их выше. ✅Требования законодательства. Во многих странах обработка персональных данных без использования защищённого соединения является нарушением закона. Виды SSL-сертификатов Существует несколько типов SSL-сертификатов в зависимости от уровня проверки: 1️⃣ DV (Domain Validation): Проверяет только владение доменом. 2️⃣ OV (Organization Validation): Подтверждает организацию, владеющую сайтом. 3️⃣ EV (Extended Validation): Предоставляет максимальный уровень доверия, отображая название компании в адресной строке. Как получить SSL-сертификат? ➖Бесплатные сертификаты (например, от Let’s Encrypt): подходят для небольших сайтов и блогов. ➖Платные сертификаты: обеспечивают более высокий уровень защиты и обычно используются для коммерческих сайтов и интернет-магазинов.

Какие у вас бывали фейлы с Linux? Админ, к примеру, как-то забыл поставить загрузчик😅 #мем