DevOps

Linux: как узнать, какие процессы используют файлы — даже если они уже удалены Иногда удаляешь огромный лог или архив, но место на диске не освобождается. Почему? Потому что процесс всё ещё держит дескриптор удалённого файла. lsof | grep '(deleted) Особенно полезно при отладке проблем с disk full, docker, journalctl, tmp и прочим @DevOPSitsec

🎓 Онлайн-магистратура УрФУ и Нетологии: от данных к ИИ Сделать прогноз погоды, распознать болезнь по снимку, настроить рекомендательную систему — всё это реальные задачи, которые решают ML-инженеры. Магистратура «Инженерия машинного обучения» даст все необходимые навыки, чтобы стать одним из них. За 2 года обучения вы: — Научитесь строить ML-модели и автоматизировать процессы — Освоите работу с Big Data, архитектуру хранения данных и ETL-пайплайны — Получите опыт на реальных кейсах, участвуя в хакатонах и соревнованиях Kaggle — Пройдёте весь цикл создания ИИ-систем: от теории до продакшена — Получите два диплома: от УрФУ (гос. образец) и Нетологии 💻 Онлайн-формат — удобно совмещать с работой 🚀 Начать карьеру в ИИ можно уже в процессе обучения 👉 Подробнее: https://netolo.gy/egvs

🖥 Как отследить, кто создаёт или изменяет файлы в папке в реальном времени Иногда непонятно, какой процесс пишет или удаляет файлы в директории — особенно в системных папках, логах или временных хранилищах. Вместо хаотичного дебага используй inotifywait из пакета inotify-tools, чтобы в реальном времени отслеживать события. Подходит для отладки crontab, фоновых скриптов, демонов, temp-файлов и даже подозрительных активностей.

Установи inotify-tools, если ещё не стоит:
sudo apt install inotify-tools

Следи за изменениями, удалениями, созданием файлов в реальном времени:
inotifywait -m -r /путь/к/папке

Пример: следим за /tmp
inotifywait -m -r /tmp

Как RabbitMQ превосходит Kafka? Сократите бюджет на 40% и повысьте скорость обработки данных: где RabbitMQ выигрывает у Kafka, а где — нет Приглашаем на открытый урок «Оптимальные решения на RabbitMQ или как Кролик превосходит Kafka» посвященный курсу «RabbitMQ для разработчиков и администраторов» ✅ Практическое занятие: научитесь избегать переплат за Kafka, использовать скрытые возможности RabbitMQ и получат готовый чек-лист для выбора инструмента Разберем почему Kafka требует кластеры, а RabbitMQ запускается за 5 минут (и когда это критично) ⬆️ Протестируй курс на открытом уроке  https://tglink.io/8a0ab05a4ea8?erid=2W5zFGhttqW #реклама О рекламодателе

🛠️ Konditionner — конфигурируемая Clojure-библиотека для управления состоянием и валидации 🌟 Что это? Konditionner — простой, но мощный инструмент для: - валидации данных на основе схем; - управления глобальными или локальными состояниями; - реактивной обработки изменений значений. ⚙️ Как работает: - Используются специальные схемы и предикаты (например :required, :min, `:one-of`) для описания структуры и ограничений данных. - При валидации данные проходят через validate, возвращая валидную версию или ошибки. - Состояние хранится в атомах, подписках и реактивных listener’ах. 📌 Github

🖥10 полезных Linux-команд Вот подборка скрытых инструментов, которые могут сэкономить время и упростить работу в терминале: 1. `sudo!!` — автоматически повторяет последнюю команду с правами root. 2. `python -m http.server` — запускает простой HTTP-сервер текущей папки за секунды. 3. `mtr` — объединяет функции ping и traceroute для диагностики сети. 4. `nl` — выводит нумерованный текст из файла. 5. `shuf` — случайным образом выбирает строки из файла. 6. `ss` — более обширный аналог netstat для сокетов. 7. `last` — показывает историю входа пользователей. 8. `curl ifconfig.me` — быстро узнаёт внешний IP-адрес. 9. `tree` — отображает структуру директорий в виде дерева. 10. `pstree` — выводит процессы и их иерархию в виде дерева 💡 Эти команды — настоящие скрытые жемчужины Linux: короткие, удобные и невероятно практичные для повседневных задач. Попробуйте добавить хотя бы одну в ваш арсенал — это может изменить ваш CLI-опыт. 📌 Подробнее

📦 PcapPlusPlus — мощный C++ инструмент для работы с сетевыми пакетами. Этот мультиплатформенный проект предлагает удобные C++ обёртки для популярных движков захвата трафика — от классических libpcap/WinPcap до высокопроизводительных DPDK и PF_RING. Библиотека поддерживает огромное количество протоколов: от базовых Ethernet и IP до специализированных вроде WireGuard или S7Comm. При работе с пакетами, помимо стандартного парсинга в проекте доступны функции сборки TCP-сессий с учётом ретрансмитов и обработки фрагментации IP. Для разработчиков приложений под Linux ценна интеграция с eBPF AF_XDP — это позволяет достичь линейной скорости обработки. 🤖 GitHub @devopsitsec

🧠 Linux-хак: перезапуск процесса без остановки PID Представь, у тебя работает демон, и ты хочешь обновить его бинарник *без остановки процесса* и *без потери PID*. Такое возможно — с помощью магии `exec`. 🔥 Трюк: заменить текущий процесс на новый:

exec /path/to/new/binary --with --args

📌 Что происходит? - Команда exec заменяет текущий процесс новым — без создания нового PID - Все открытые файловые дескрипторы и сокеты сохраняются - Работает, только если у тебя уже есть нужные права (например, через systemd или под `sudo`) 🛠 Пример в бою: Ты перекомпилировал новый nginx в /usr/local/bin/nginx-new, и хочешь подменить старый:

pidof nginx  # допустим, PID = 1234
sudo nsenter -t 1234 -m -u -i -n -p -- bash
cd /usr/local/bin
exec ./nginx-new -c /etc/nginx/nginx.conf

📌 Готово! Новый бинарь работает в том же PID, открытые сокеты и дескрипторы остались на месте.

👩‍💻 Всем программистам посвящается! Вот 17 авторских обучающих IT каналов по самым востребованным областям программирования: Выбирай своё направление: 👩‍💻 Python — t.me/python_ready 🤔 InfoSec & Хакинг — t.me/hacking_ready 🖥 SQL & Базы Данных — t.me/sql_ready 🤖 Нейросети — t.me/neuro_ready 👩‍💻 C/C++ — https://t.me/cpp_ready 👩‍💻 C# & Unity — t.me/csharp_ready 👩‍💻 Linux — t.me/linux_ready 📖 IT Книги — t.me/books_ready 👩‍💻 Frontend — t.me/frontend_ready 📱 JavaScript — t.me/javascript_ready 👩‍💻 Backend — t.me/backend_ready 📱 GitHub & Git — t.me/github_ready 👩‍💻 Java — t.me/java_ready 👩‍💻 Весь IT — t.me/it_ready 👩‍💻 Bash & Shell — t.me/bash_ready 🖼️ DevOps — t.me/devops_ready 🖥 Design — t.me/design_ready 📌 Гайды, шпаргалки, задачи, ресурсы и фишки для каждого языка программирования!

Как узнать, кто последний редактировал любой файл в Linux — даже если это не git Оказывается, можно выяснить, какой пользователь последний модифицировал файл, даже если это обычная файловая система и никакой системы контроля версий нет. Секрет — в auditd, который отслеживает события уровня ядра. Вот как включить отслеживание изменений для конкретного файла:

# Включаем слежение за изменениями файла
auditctl -w /etc/nginx/nginx.conf -p w -k nginx_watch

# Потом можно посмотреть, кто и когда его правил:
ausearch -k nginx_watch

🧠 Кто редактировал файл — точно и с логами 📌 Работает с любыми файлами: конфиги, скрипты, ключи 📌 Видно: кто, когда, чем, с каким PID 📌 Отлично для отладки, расследований, CI/CD и безопасных систем Идеальный инструмент, если "что-то сломалось, но никто ничего не трогал. Видео @linuxkalii

🧠 GitHub раскрывает планы по следующей эволюции Copilot — от помощника к полноценному агенту. 🔗 В новом посте GitHub делится видением agentic workflows — когда Copilot становится не просто ассистентом, а полноценным участником команды, который умеет: • понимать задачу целиком, • планировать шаги, • писать и менять код, • создавать PR и даже инициировать обсуждение. 📌 Что важно: — Copilot теперь работает в рамках цепочек действий (tasks → plans → code) — Появляются memory и context-aware агенты — Идея — не просто "автодополнение", а делегирование работы: от заведения ишью до его закрытия — Акцент на безопасную, контролируемую автоматизацию ⚙️ Пример: вы создаёте issue → Copilot планирует, как решить → предлагает PR → вы ревьюите и мёрджите. 🛠 Уже сейчас GitHub тестирует: - Copilot Workspace (автогенерация изменений по issue) - GitHub Agents (task‑oriented агенты для DevOps и beyond) 📎 Читайте подробнее: Copilot перестаёт быть просто AI‑другом в редакторе — он становится сотрудником, который понимает задачи, работает в контексте проекта и помогает двигать код вперёд.

Знакомьтесь: Nova Special Edition, первая полнофункциональная платформа контейнеризации с сертификатом ФСТЭК ИТ-компания Orion soft выпустила новую редакцию платформы контейнеризации Nova, соответствующую 4 уровню доверия. Это первый оркестратор контейнеров в реестре ФСТЭК, сохраняющий в себе все функции базовой редакции.  15 июля в 11:00 специалисты Orion soft проведут вебинар, на котором расскажут все о Nova Special Edition: —  Сценарии использования для АСУ ТП, ГИС, КИИ и компаний, обеспечивающих безопасность персональных данных — Ключевые функции безопасности Nova Special Edition — Встроенные модули для обеспечения защиты: StarVault, NeuVector и др. — Как мы перестраивали процессы разработки под требования ФСТЭК — Планы по развитию сертифицированной редакции 📌Регистрация Кстати, недавно Nova Container Platform возглавила рейтинг «Информационная безопасность платформ Kubernetes 2025»

🎓 Комьюнити Cursor собрало огромную библиотеку гайдов и инструментов для вайбкодеров. Тут есть всё, чтобы работать с ИИ было проще и эффективнее: — Готовые промты под разные задачи — MCP-серверы для общения с внешними приложениями — И самое крутое: генератор уникальных промт-правил под ваш проект Налетай — всё это бесплатно и уже доступно. 🔗 https://cursor.directory/

Как перенести прод в Kubernetes on Bare Metal? 24 июля | 12:00 Selectel проведет вебинар для DevOps-инженеров, системных администраторов и техлидов. Приходите, чтобы узнать: - про новые возможности сервиса Managed Kubernetes на выделенных серверах, - как сократить расходы на 35% и повысить производительность сервисов. Вебинар бесплатный, достаточно только зарегистрироваться: https://slc.tl/d9rta Чтобы не пропустить вебинар и узнавать о других мероприятиях, воркшопах и бесплатных курсах Selectel, подписывайтесь на @selectel_events Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2VtzqxS3Nxf

💡Принес вам крутую шпаргалку по шаблонам проектирования на русском Паттерны (шаблоны) проектирования — это способы построения программ, которые считаются хорошим тоном для разработчиков. 📦 Сохрани себе, чтобы не потерять #шпаргалка

Первый открытый Call for Papers на IT Elements 2025 — last call! 10–11 сентября ИТ-сообщество традиционно соберется на большой осенней конференции для тех, кто делает ИТ в России. Готовьтесь к новым трекам, новым спикерам и новой грандиозной площадке! Если у вас есть сильный кейс, нестандартный опыт или нешаблонное решение — пришло время предложить свой доклад. Главное требование — экспертность и новизна темы. Рассматриваются доклады по ключевым направлениям: ▪️ИТ-инфраструктура ▪️Сетевые решения ▪️Кибербезопасность ▪️Прикладные решения, AI и ML Станьте главным элементом IT Elements 2025! Узнать больше и подать заявку можно до 20 июля.

📦 Fluent Bit теряет логи в Kubernetes? Вот как это пофиксили в ArteraAI Команда ArteraAI столкнулась с загадочным исчезновением логов: job успешно выполнялся, Fluent Bit читал логи… но они не доходили до DataDog. Почему? 🔍 Оказалось, что Fluent Bit не справлялся с нагрузкой: - логи буферизуются в памяти (по 2МБ чанки), - при переполнении mem_buf_limit входные плагины ставятся на паузу, - данные теряются, особенно при всплесках активности. 💡 Решение: включили файловую буферизацию. Теперь логи сначала пишутся в память, потом на диск — никаких пауз и потерь. ‼️ Но даже после фикса… логи не находились в DataDog. Почему? 🔥 Проблема была в отсутствии Kubernetes-метаданных. Fluent Bit не всегда корректно добавлял поля pod, namespace, cluster, и логи оказывались в слепой зоне мониторинга. 📌 Вывод: 1. Следите за backpressure (`paused (mem buf overlimit)`). 2. Включайте файловую буферизацию при высоких нагрузках. 3. Проверяйте, что Kubernetes Filter добавляет все нужные метаданные. Подробности: https://arteraai.medium.com/optimizing-kubernetes-log-aggregation-tackling-fluent-bit-buffering-and-backpressure-challenges-fb3129dc5031 @DevOPSitsec

🌀 Эмулятор старого ЭЛТ-терминала, как в 80-х cool-retro-term — это терминал с рябью, изгибами экрана и ламповым визуалом, как на старых мониторах. 🖥 Никакой практической пользы — только чистый ретровайб. 🎛 Работает на Linux и macOS ⚙️ Построен на QML + qtermwidget (как в Konsole) 📎 GitHub: https://github.com/Swordfish90/cool-retro-term

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pro_python_code Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Базы данных: t.me/sqlhub Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat SQL: t.me/databases_tg Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🖥 Chatgpt для кода в тг: @Chatgpturbobot - 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

✔️ Google столкнулась с антимонопольной жалобой в ЕС из-за функции AI Overviews. Коалиция независимых издателей подала антимонопольную жалобу на Google в Еврокомиссию. Они утверждают, что новая функция AI Overviews отбирает у них трафик и рекламные доходы, используя их контент без разрешения и компенсации. Основная претензия заключается в том, что издатели не могут запретить использование своих материалов для обучения нейросетей и создания саммари, не рискуя при этом полностью исчезнуть из результатов поиска. Google же заявляет, что AI Overviews лишь помогает пользователям находить контент. reuters.com ✔️ Индийский инженер-программист совмещал работу сразу в нескольких стартапах. Сохам Парекх оказался в центре скандала, когда выяснилось, что он тайно занимал фултайм-позиции сразу в нескольких стартапах. Все началось с поста основателя Playground AI, который рассказал, что Парех умудрялся работать на 3-4 компании сразу. К обсуждению быстро подключились другие компании, подтвердившие, что тоже собеседовали или нанимали его. Схема была проста: Парех впечатлял на технических интервью и имел активный профиль на GitHub, это и помогало ему получать офферы. Но после найма он срывал сроки и не выполнял задачи. Поймали его, заметив коммиты в репозитории другой компании во время его предполагаемого «больничного». Сам инженер объяснил свои действия тяжелым финансовым положением. Сейчас Парекх работает в стартапе Darwin Studios, стартапе по ремикшированию видео с использованием ИИ. theverge.com ✔️ ИИ помог создать нейтрализатор радиоактивного йода. Команда исследователей из Кореи использовала машинное обучение для решения проблемы утилизации ядерных отходов. Их целью был радиоактивный I-129, изотоп с периодом полураспада 15,7 млн лет, крайне опасный для живых организмов. С помощью ИИ ученые нашли новый адсорбент на основе меди, хрома, железа и алюминия, который удаляет более 90% радиоактивного йода из воды. Это значительно эффективнее существующих методов. Главное преимущество ИИ было в скорости. Вместо полного перебора комбинаций модель предсказывала самые перспективные составы, что позволило протестировать лишь 16% от всех возможных вариантов для нахождения оптимального. Команда уже патентует технологию для коммерческого применения. phys.org ✔️ Команда ZLUDA отчиталась о прогрессе в запуске CUDA на сторонних GPU. Проект ZLUDA, позволяющий запускать код CUDA на видеокартах AMD и Intel, поделились важными обновлениями после спасения от закрытия. Проект теперь ведут два фултайм-разработчика, один из которых сфокусирован на поддержке ИИ-нагрузок. Главный фокус - запуск GPT-2 в рамках тестового проекта llm.c. Это необходимый шаг к поддержке фреймворков наподобие PyTorch. Также разработчики повышают точность вычислений, стремясь к побитовому соответствию с результатами на железе Nvidia с помощью PTX-тестов. vosen.github.io ✔️ Skywork-Reward-V2: обновление семейства открытых reward-моделей. Китайская компания Kunlun Wanwei выпустила вторую версию своих открытых reward-моделей, которые помогают «объяснить» LLM, какие ответы считать хорошими, а какие — плохими. Новая серия V2 обучена на огромном датасете из 26 миллионов пар оценок и включает 8 моделей разного размера. По заявлениям разработчиков, флагманская версия на 8 млрд. параметров превосходит все существующие аналоги на ключевых бенчмарках, а самая компактная, 600 по производительности почти догнала их старшую модель прошлого поколения на 27 млрд. параметров. Новое семейство уже доступно на HuggingFace. github.com @ai_machinelearning_big_data #news #ai #ml