DeVops Библиотека

📌 Андрей Карпаты написал ИИ-пайплайн для проверки IT-прогнозов десятилетней давности. Андрей опубликовал разбор своего нового пет-проекта. Он создал систему, которая анализирует архивные треды Hacker News и с помощью LLM проверяет, сбылись ли предсказания пользователей спустя 10 лет. Проект использует так называемые «послезнание» (hindsight), чтобы сравнивать старые комментарии с реальностью, выявлять визионеров и находить самые громкие ошибки. Технически решение представляет собой пайплайн, который собирает данные через API Algolia и обрабатывает их с помощью структурированного промпта. Тестовый прогон на 930 обсуждениях (месячный архив статей Hacker News) занял около часа и обошелся всего в 58 долларов. На выходе система генерирует статический сайт с «Залом славы» аналитиков и рейтингом точность прогнозов. Исходный вайб-код проекта, по традиции - в открытом доступе. @ai_machinelearning_big_data #AI #ML #LLM #Tutorial #Karpaty

⚡️ Полезные инструменты в Linux, которые стоит знать Небольшой список утилит, которые помогают быстро понять, что происходит с системой и где именно проблема. pidstat Мониторит использование ресурсов конкретными процессами или группами процессов. Показывает загрузку CPU, память, I/O, переключения задач и потоки. Очень удобно для анализа performance-проблем. netstat Отображает статистику сетевых протоколов ICMP, IP, TCP и UDP. Полезен для диагностики сетевых соединений, портов и состояний сокетов. lsof Показывает все открытые файлы в системе. Незаменим, когда нужно понять: - какой процесс держит файл - почему нельзя размонтировать диск - кто слушает порт iostat Даёт информацию о загрузке CPU и дисковой подсистемы. Отлично подходит для выявления I/O bottleneck и проблем с дисками. vmstat Показывает общую картину работы системы: CPU, память, block I/O, процессы, paging и interrupts. Хороший инструмент для быстрого health-check сервера. Если умеешь читать вывод этих команд - диагностика Linux становится в разы быстрее.

🎙️ Qwen3-TTS-Flash мощно прокачали — теперь это самый обширный генератор речи с поддержкой десятков разных голосов, языков и диалектов. • Больше 49 уникальных голосов — они охватывают разные возрасты, национальности и пол персонажей. Подходит для любых сценариев. • Знает 10 языков (включая русский!), местные акценты и аутентичные диалекты — даже сычуаньский. • Реализм синтеза речи вышел на новый уровень — теперь нейронка на ходу адаптирует ритм, темп и интонации, мимикрируя под произношение человека. Пробуем — тут.

🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты? Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом. Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям. Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт. 🎁 48 часов действует скидка в 40% процентов 👉 Начать учиться на Stepik

Linux совет дня💡 Нужно быстро найти исполняемые файлы в каталоге? Используй find с флагом -executable — он покажет только те файлы, которые действительно можно запускать. Пример: find . -type f -executable В отличие от проверки прав через -perm, этот вариант учитывает реальные разрешения и ACL, поэтому результат точнее — вывод включает только те файлы, которые доступны для выполнения текущим пользователем. Bash советы

🐘 Postgres использует архитектуру «отдельный процесс на каждое подключение», поэтому в большинстве случаев вам нужен connection pooler. Пул соединений вставляется между приложением и базой: он держит набор постоянных подключений и динамически назначает их входящим запросам. Самый распространённый инструмент - PgBouncer, у которого есть три режима работы. 1) Session pooling - каждое приложение-подключение закрепляется за одним pooled-соединением. 2) Transaction pooling - каждую транзакцию привязывают к pooled-соединению и освобождают сразу после завершения. 3) Statement pooling - каждое выражение получает соединение, но нет поддержки многозапросных транзакций, что сильно ограничивает кейсы. Режим 1 плохо решает проблемы высокой конкуренции Postgres, поэтому обычно не подходит при большом числе подключений. Режим 3 слишком ограничивающий, так как многозапросные транзакции нужны многим приложениям. В итоге режим 2 даёт лучший баланс возможностей и контроля над соединениями. Именно transaction pooling, тот режим, который PlanetScale применяет для всех своих PgBouncer-инстансов.

🌟 Stelliberty: Кроссплатформенный клиент Clash на Flutter и Rust Stelliberty предлагает современный интерфейс с уникальным дизайном MD3M. Приложение поддерживает управление подписками и мониторинг трафика, обеспечивая высокую производительность благодаря Rust. Поддержка нескольких языков и интеграция с Windows делают его удобным для пользователей. 🚀Основные моменты: - 🎨 Уникальный дизайн на основе Material Design 3 - 🦀 Высокопроизводительный бэкенд на Rust - 🌐 Многоязычная поддержка - 🔧 Полное управление подписками - 📊 Реальное время мониторинга трафика 📌 GitHub: https://github.com/Kindness-Kismet/Stelliberty #rust

🔥КАК УСТАНОВИТЬ PYTHON: Самый простой способ Самый быстрый и эффективный способ поставить Python без лишних настроек это использовать пакетный менеджер системы. Он сам подтянет зависимости, поставит актуальную версию и настроит доступ к python и pip. Это надёжнее чем скачивать вручную и проще чем возиться с окружениями. Подходит и новичкам и разработчикам. # Windows через winget winget install Python.Python # macOS через Homebrew brew install python # Ubuntu и Debian sudo apt install python3 python3-pip # Проверка установленной версии python3 --version pip3 --version

🧩 Хитрый DevOps совет: «Всегда фиксируй версии не только в Dockerfile, но и в ENTRYPOINT-скриптах» Большинство фиксирует версии в Dockerfile:

FROM python:3.12
RUN pip install fastapi==0.115.0

а потом случайно ломают прод, используя в entrypoint что-то вроде:

pip install -U some-lib


или

apt-get update && apt-get install -y curl

Это приводит к ситуации, когда: staging и prod внезапно начинают отличаться, контейнеры становятся «недетерминированными», одна и та же сборка ведёт себя по-разному в разные дни, CI/CD перестаёт быть повторяемым. ✔️ Правило, которое нужно запомнить Если хочешь предсказуемые окружения — фиксируй версии везде, где идёт установка: в Dockerfile, в entrypoint, в билд-скриптах, в helm-chart, в init-containers. ✔️ Лучший вариант:

никаких apt-get update в рантайме

никаких pip install -U внутри контейнера

все зависимости устанавливаются только на этапе build все версии – через lock-файлы Таким образом ты превращаешь свой environment в чистый, детерминированный, воспроизводимый артефакт.

🖥 Bash Академия: секреты командной строки, которые нигде не рассказывают Олег Шелест - профессионал по информационной безопасности, раскрывает скрытые механики Linux, с помощью наглядных картинок и коротких, максимально понятных разборов у себя в тг канале. - Без воды. - Без лишней теории. Только практические приёмы, которые реально используют профи. Если хочешь уверенно владеть Bash - здесь ты получишь всё, что нужно: t.me/bashmastter

🚀 КАК Docker РАБОТАЕТ ПОД КАПОТОМ Большинство думает, что Docker - это «виртуалка, но легче». На самом деле Docker почти не виртуализирует ничего: он использует механизмы ядра Linux - namespaces, cgroups и overlay-файловые системы — чтобы создать иллюзию отдельной машины. Контейнер - это просто обычный процесс, но ядро заставляет его видеть *свой собственный мир*: свою сеть, свои процессы, свою файловую систему, свои лимиты. Docker лишь склеивает эти механизмы в удобный инструмент и автоматизирует запуск изолированных процессов.

# Посмотреть namespaces текущего процесса
lsns

# Создать процесс в новом IPC, PID и UTS namespace
unshare --ipc --pid --uts bash

# Проверить ограничение CPU cgroups
cat /sys/fs/cgroup/cpu.max

# Посмотреть mount-слои overlayfs контейнера
find /var/lib/docker/overlay2 -maxdepth 2 -type d

Nano Banana очень хороша для генерации схем и слайдов, а как насчёт сделать из них видео. 🎬 Google Vids вместе с Gemini позволяет автоматически превратить презентацию Google Slides в полноценный видеоролик: со сценарием, озвучкой и музыкой. Вы просто загружаете презентацию, выбираете стиль - и система сама собирает видео из ваших слайдов. https://workspace.google.com/blog/product-announcements/october-workspace-drop-ai-storytelling-research-and-data-protections @ai_machinelearning_big_data #Gemini #google #llm

🚨 SQL Никогда НЕ ДЕЛАЙ ТАК #sql НИКОГДА НЕ ЛОМАЙ ИНДЕКСЫ ФУНКЦИЯМИ: не оборачивай индексируемые поля в функции внутри WHERE. Как только ты пишешь LOWER(), CAST(), COALESCE() или любые вычисления по колонке — индекс перестаёт работать, и запрос падает в полное сканирование таблицы. Это одна из самых тихих причин, почему запросы внезапно превращаются в тормоза. Вместо этого приводи значения заранее или используй функциональные индексы.

 Плохо: индекс по email НЕ используется  
SELECT *  
FROM users  
WHERE LOWER(email) = 'user@example.com';

-- Хорошо: нормализуем значение заранее  
SELECT *  
FROM users  
WHERE email = 'user@example.com';

-- Или создаём функциональный индекс (PostgreSQL)  
CREATE INDEX idx_users_email_lower ON users (LOWER(email));

https://www.youtube.com/shorts/AyiAslOeJFA

🌟 Reader3: легковесная читалка для книг от Andrej Karpathy Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3. На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM. Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту. Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать.

Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы. В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения.

А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится.

Код теперь эфемерный,

— пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое. Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя uv:

uv run reader3.py yourbook.epub

# Then run the server:

uv run server.py

После этого ваша книжная полка станет доступна в браузере по адресу localhost:8123. 📌Лицензирование: MIT License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Karpathy #Github #Book

🚀 Дорожная карта DevOps: что должен уметь инженер нового поколения DevOps развивается стремительно: автоматизация, GitOps, облака, безопасность и AI-инструменты стали обязательным набором. Вот структура, по которой можно готовиться в 2025 году. 🔹 1. Основы Linux и сетей • Командная строка, systemd, процессы • Управление пакетами, SSH, firewall • Основы TCP/IP, DNS, прокси, VPN • Bash-скриптинг и автоматизация 🔹 2. Контейнеризация • Docker: образы, слои, volumes, networks • Docker Compose • Best practices: минимизация образов, multistage build 🔹 3. Kubernetes (обязательно в 2025) • Pod, Deployment, Service, ConfigMap, Secret • Ingress, HPA, StatefulSet • K8s networking и сервис-меши • Helm, Kustomize • Monitoring: Prometheus + Grafana • GitOps: ArgoCD или Flux 🔹 4. Облачные платформы Минимум один облачный облак на уровне production: • AWS (EC2, IAM, S3, EKS, Lambda, CloudWatch) или • GCP (Compute Engine, GKE, Cloud Run) или • Azure (AKS, VNets, Storage) 🔹 5. CI/CD в 2025 • GitHub Actions / GitLab CI / Jenkins • Pipeline’ы, артефакты, тестирование • Автоматический деплой в Kubernetes • Секреты, SBOM, контейнерные сканеры 🔹 6. Terraform и IaC • Основы HCL • Управление ресурсами AWS/GCP/Azure • Модули, Workspace’ы • Terragrunt • Policy-as-Code (OPA) 🔹 7. Observability • Metrics → Prometheus • Logs → Loki, ELK, CloudWatch • Traces → Tempo, Jaeger • Alerting → Alertmanager • SLO/SLI практики 🔹 8. Безопасность (DevSecOps) • SAST, DAST, контейнерные сканеры • Hardened Docker/K8s • Secrets & Vault • Zero Trust basics • Pod Security Standards • Supply Chain Security (SLSA, Sigstore) 🔹 9. Программирование • Python или Go для автоматизации • API, webhooks, CLI-инструменты • Асинхронность и быстрые утилиты 🔹 10. AI в DevOps (тренд 2025) • Авто-генерация манифестов и пайплайнов • LLM-помощники для инфраструктуры • Лог-анализ через AI • Автоматический RCA и remediation DevOps в 2025 — это не просто Kubernetes и CI/CD. Это сочетание облаков, автоматизации, GitOps, безопасности и AI-инструментов. Освой эту карту, и ты станешь инженером нового поколения. https://www.youtube.com/watch?v=MtFy70hiZiE

🇯🇵 Andy Rubin - создатель Android и экс-топ-менеджер Google - возвращается в робототехнику с новой компанией Genki Robotics, базирующейся в Токио, Япония. Согласно отчёту корейского MK.co.kr и The Information, стартап работает в режиме «стелс» и набирает команду для разработки первых прототипов. Слово «Genki» по-японски означает «живой», «энергичный» - это говорит о фокусе на динамичных машинах, вероятно, способных передвигаться в человеческом пространстве. Andy Rubin уже давно интересуется роботами-пешеходами: во время работы в Google он руководил робо-дивизионом и покупал японскую хуманоидную компанию Shaft. На конференции в 2018 году он предсказал эру «nog-everywhere» (ноги повсюду), утверждая, что именно ногами роботы смогут использовать лифты, подниматься по лестницам и работать там, где колёса бессильны. Выбор Токио как центра Genki Robotics — стратегический: Япония славится мощным инженерным ресурсом в области робототехники и университетскими кадрами, которые трудно переоценить. Rubin явно намерен воспользоваться преимуществом японской экосистемы вне привычного Силиконовой долины. Но рынок хуманоидов крайне насыщен и затратен. Несмотря на прошлые успехи Rubin-а (в 2013-м он инициировал множество покупок робототехнических компаний), после ухода из Google его компания смартфонов Essential Products закрылась в 2020-м. Пока Genki Robotics работает в тени — неизвестно, какие задачи она решает и какую технологию использует. Но возвращение Rubin-а в эту область может стать важным событием для индустрии хуманоидов.

Как повысить защиту приложений с помощью новых функций PT Application Inspector Регистрируйтесь и присоединяйтесь к вебинару 20 ноября в 14:00 (мск). PT Application Inspector — инструмент для анализа исходного кода и раннего обнаружения уязвимостей. Теперь он стал еще мощнее: • JSA DSL* — пишите свои правила анализа прямо из IDE*; • контроль стабильности кода — отлавливает переполнения, деление на ноль и другие ошибки; поддержка Scala и .NET 9; • гибкая группировка правил для разных стримов и проектов; • работа с Git*-ветками — масштабирование анализа в команде. Кому будет полезен вебинар: DevSecOps, AppSec, R&D и всем специалистам, кто строит безопасный SDLC*. * JSA DSL — языки, специфичные для решения задач какой-либо предметной области * IDE — надстройка или расширение для интегрированной среды разработки * Git-ветка — независимая линия разработки, представляющая собой указатель на определенный коммит (снимок изменений) в истории проекта * SDLC — жизненный цикл разработки программного обеспечения

⚡️ Дорожная карта DevOps-инженера: от Middle до Advanced DevOps-инженер объединяет навыки администрирования, разработки и автоматизации для ускорения выпуска качественных продуктов. Ниже представлена структурированная дорожная карта с основными темами (от базовых к продвинутым), пояснениями и ресурсами для каждого этапа. 📘 Читать

📌 20 ключевых навыков для Linux-администратора Если хочешь уверенно работать с Linux в DevOps/инфраструктуре — вот карта, по которой можно идти: — Командная строка: cd, ls, ps, top, tmux, ssh — Права и пользователи: chmod, chown, группы, sudo — SSH-ключи и безопасность доступа — Firewall: iptables, ufw — Резервные копии: rsync, cron — Bash/Python скриптинг для автоматизации — Package managers: apt, yum, dnf — Network troubleshooting: ping, traceroute, netstat, ss, ip — Процессы: ps, top, systemd — Диски: df, du, fdisk, LVM — Git и контроль версий — Контейнеры: Docker, Podman + основы Kubernetes — Конфигурационное управление: Ansible, Puppet, Chef — Облака: AWS/Azure/GCP — CI/CD: Jenkins, GitLab CI, GitHub Actions — Мониторинг: Prometheus, Grafana, ELK — IaC: Terraform, CloudFormation — Оркестрация: Kubernetes, Docker Swarm — Сертификации: AWS, RHCE, CKA — Постоянное обучение и практика Linux — это фундамент для DevOps, SRE и облачной инфраструктуры. Освой базу, автоматизируй рутину и прокачивайся каждый день 🚀 #linux #devops #sysadmin #infrastructure #cloud

🚦 Ускоряем GitLab CI/CD Обычный пайплайн в GitLab идёт «ступеньками»: сначала build, потом test, потом deploy. Даже если задачи никак не связаны, они будут терпеливо ждать друг друга. В итоге лишние минуты и часы простаивания. Вместо жёстких стадий можно описать зависимости между стадиями. В GitLab CI это называется DAG — Directed Acyclic Graphs. Например: — линтер может запуститься сразу, не дожидаясь сборки, — тесты стартуют сразу после билда, — деплой уходит в бой, как только готовы нужные джобы. Выглядит это так:

  stage: test
  needs: [ "build-job" ]
  script: make test

lint:
  stage: test
  script: make lint

deploy:
  stage: deploy
  needs: [ "unit-tests", "lint" ]
  script: make deploy

DAG превращает ваш CI/CD из очереди в автомагистраль. Если у вас много джобов — самое время пересмотреть пайплайн.