DevOps Portal | Linux

Как нейросети изменили выдачу кредитов 🧠 Качество моделей машинного обучения в рейтинговых системах отвечает за точность оценки кредитоспособности потенциальных заемщиков. Для определения кредитоспособности заемщика банк собирает информацию о клиенте из хранилища данных. После этого дата-сайентисты обучают модель на этих данных, которая выдает число - показатель надежности заемщика. Это число и есть рейтинговый балл - основной критерий при одобрении заявки на кредит. Банки активно используют их уже более десяти лет.

Работает? Не трогай! История о том, как мир стал зависим от кода 60-летней давности, о котором больше никто не знает 🤷‍♂️ В мире ежедневно обрабатываются финансовые транзакции на сумму в 3 триллиона долларов с помощью 64-летнего языка программирования COBOL, который почти никто уже не изучает. Несмотря на то, что большинство учебных заведений прекратили его преподавание десятилетия назад, COBOL остается одним из ведущих языков программирования для мэйнфреймов, широко используемых в банковском секторе, автомобилестроении, страховании, государственной сфере, здравоохранении и финансах. Согласно Международному журналу передовых исследований в области науки, коммуникаций и технологий, 43% всех банковских систем до сих пор используют COBOL, который обрабатывает эти транзакции на сумму 3 триллиона долларов в день, включая 95% всех операций в банкоматах США и 80% всех транзакций с кредитными картами. Основная проблема заключается в том, что сейчас мало кто интересуется изучением COBOL. Программирование на нем считается громоздким и неэффективным, а код читается как урок английского языка. Более того, формат кодирования требует тщательности и не гибок, а компиляция занимает гораздо больше времени по сравнению с конкурентами. Из-за этого специалисты, умеющие работать с COBOL и поддерживать его, становятся все более редким явлением. Казалось бы, в такой ситуации разумным кажется переход на что-то более современное. Например, так поступил Австралийский банк Содружества. Но даже у него - крупнейшего банка страны - переход занял пять лет. Обошлась такая перестройка примерно в 750 млн долларов. Поэтому в отношении COBOL все чаще слышна мысль, вынесенная в заголовок этого поста: если работает, то не трогай. Но что делать, когда работать перестанет… 😏

Первым, что бросилось в глаза при настройке KDE Plasma 6 - панель управления (обычно, она самая первая подвергается воздействию при первом запуске системы) Разработчики вынесли настройки на видное место и сгруппировали их так, чтобы было удобно переключить панель в тот формат, который удобен пользователю. Стало ли удобнее? Несомненно! Особенно, если вы часто меняете настройки панели управления (размер, положение и пр.)

KDE Neon Unstable с KDE Plasma 6.0 все же поселился на моем ноутбуке и уже настроен для полноценной работы. Прежних проблем, связанных с темным экраном при загрузке нет, обновления приходят стабильно каждые два дня, значит разработчики что-то там добавляют, исправляют и улучшают. Времени, чтобы сравнить новую версию KDE с 5.27 не было, да и думаю, что смысла в этом до момента официального релиза никакого нет. Среда рабочая, не подлагивает, практически не крашится, если не вытворять с ней какого-либо непотребства. В общем, пользуемся.. Естественно, нельзя брать и рекомендовать кому-либо переходить со своего рабочего дистрибутива на эту версию DE, так как недаром она входит в состав дистрибутива с приставкой Unstable. Максимум, что можно: поставить все это дело в виртуальную машину. Кстати, перечень дистрибутивов, в которых появляются тестовые версии KDE Plasma 6 пополняется: помимо KDE Neon и Fedora Kinoite туда недавно попал и openSUSE Krypton.

Работаем с архивами ZIP и RAR в Linux 🗄 Привычным для Linux-дистрибутивов форматом архивов является tar.gz. При этом практически в каждой среде рабочего окружения из коробки идет поддержка всех популярных архивов: условно говоря, используя тот же KDE Plasma вы можете быть уверенными, что архив, отправленный другом-виндузятником, откроется без проблем. Но что делать если дистрибутив установлен с нуля (например, Archlinux) или вы используете серверный вариант? У меня бывало так, что разработчики или клиент заливал на сервер архив, сделанный в Windows и имеющий формат ZIP или RAR. Чтобы извлечь из них нужные файлы, необходимо вначале установить нужные пакеты. Покажу пример для дистрибутивов на основе DEB-пакетной базы и дистрибутивов, основанных на Archlinux. Debian/Ubuntu

sudo apt install unzip

sudo apt install unrar

Archlinux

sudo pacman -S unzip

sudo pacman -S unrar

После установи нужной утилиты для работы с архивами, извлечь их не составит труда:

unzip/unrar <имя_архива>

Естественно, у данных утилит имеются ключи, узнать которые вы можете при помощи команды man:

man unzip/unrar

Часто ли вы работает с архивами и если да, то в каких форматах?

Без всякой политики, просто интересно... 🇷🇺🇺🇦🇩🇪 Есть такая альтернатива MS Office, как SoftMaker Office. Ребята на рынке давно и помнится, что когда я только начинал знакомство с Linux, их офисный пакет существовал. Видимо когда-то я пробовал их продукт и почтовый адрес остался в базе для рассылок. Причем сразу отмечу: рассылки на русском языке, сайт на русском языке (в том числе), нигде нет никаких плашек "несогласия" и слов поддержки Украине, как любят делать некоторые разработчики. Ну дай, думаю, зайду посмотреть сколько стоит версия 2024 офисного пакета. Перехожу в магазин и вижу, что SoftMaker Office Standard 2024 стоит 1 999 ₴. Значок после цифр точно не обозначал рубли и я вначале подумал, что это может тенге казахские. Но нет.. Украинская гривна. Возникли два вопроса: 1. Не зазорно ли разработчикам иметь все на русском и брать у русских деньги? 2. Куда потом идут (кроме расходов на содержание компании) полученные в гривнах средства? Причем сайт открывается в России без проблем, то есть со стороны российских властей и органов все нормально. Небольшой поиск в интернетах показал, что разработчики сидят в Германии, в небезызвестном городе Нюрнберг. Получается довольно странная ситуация: немецкая компания продает свою разработку за украинские гривны через сайт, где поддержки украинского языка даже в помине нет. Либо это какое-то непонимание со стороны тех, кто сайт разрабатывал, либо попытка какого-то тонкого троллинга... Какие есть идеи у сообщества на счет такой вот интересной ситуевины?

Мой опыт знакомства с KDE Plasma 6 закончился, не успев начаться 🙈 Напомню, что релиз новой версий KDE Plasma 6 намечен на февраль 2024 года. Разработчики активно продолжают улучшать рабочее окружение и отчитываются о изменениях каждую неделю или даже чаще. Смелые пользователи уже могут пощупать кеды в действий. Сделать это можно установив один из двух дистрибутивов: KDE Neon Unstable или Fedora 39 Kinoite. Ваш покорный слуга решил попробовать KDE Neon и накатил нестабильную версию на ноутбук. Ну, подумал я, наделаю постов в телегу про новую версию плазмы! Но не тут-то было... После первого обновления что-то слетело в районе Plasma Shell: происходил вход в систему и черный экран, причем рабочий стол вокруг подгружался и был активен (загружался терминал, через него можно было стартануть любую другую программу). На то это и нестабильная версия дистрибутива, чтобы такие вот моменты встречались, это понятно. Так как эксперименты я решил почему-то проводить за день до конца выходных, то времени на попытку понять, что не так с системой уже не было и я ушел на привычный Archlinux с KDE Plasma версии 5.27. Но может быть, что-то выйдет в эти выходные, как знать. Да, можно все это дело поставить через виртуалку, но я привык трогать что-то интересное на живом железе, а не вот эти все эмуляции-хремуляции. Напишите в комментариях, хотели бы вы попробовать KDE Plsama 6 до официального релиза и хотели бы видеть материалы по этой версии в телеграмме?

Экранная лупа в KDE Plasma 🔍 С возрастом зрение лучше не становится, это факт. К тому же не стоит забывать про индивидуальные особенности каждого пользователя. Поэтому иногда полезно иметь под рукой софтинку, которая позволит увеличить то, что показывается на экране. В KDE Plasma утилита эта называется Экранная лупа или Kmag. Если в вашей версии системы ее нет из коробки, но она очень нужна, установить можно либо через менеджер программ, либо через терминал:

sudo pacman -S kmag

После установки можно настроить быстрый запуск и адаптировать программу под свои потребности. Согласитесь, что лучше иметь под рукой такую вещь и пусть она не понадобится, чем не иметь, когда будет нужна 🤔

Что делать, когда в Archlinux KDE нет программы для создания скриншотов из коробки? Любите делать скриншоты в среде рабочего стола KDE Plasma? Но почему-то при установке Archlinux с этим DE из коробки не идет никакой утилиты для создания снимков экрана 😱 Все решается при помощи одной команды:

sudo pacman -S spectacle

После установки в системных настройках появится раздел с настройками Spectacle, где вы сможете легко поменять горячие клавиши под себя. При этом никто не мешает иметь в системе скриншотелку под названием Flamseshot, которой я пользуюсь уже очень давно. Если вы не читали статью на Дзене про две самых любимых мои программы для создания скриншотов, то самое время сделать это. Каким софтом для создания скринов пользуетесь вы и какая программа является вашим фаворитом? Напишите об этом в комментариях 💬

Установили вы Archlinux с KDE на борту при помощи скрипта Archinstall. И вроде бы все нормально, но вот при запуске менеджера программ Discover видите то, что на скрине. Что делать? Открываем терминал и вводим туда команду:

sudo pacman -S packagekit-qt5

После просто перезапускаем Discover и радуемся тому, как все работает.

Коды завершения в Linux 🚪 Обратили внимание на такую вот конструкцию в предыдущем посте:

echo $?

Команда echo, думаю, понятно что делает. Но что за значок доллара и вопросительный знак после? Это обозначение для вывода кода завершения команды. Логика простая: если вернется 0, то ошибок нет, команда отработала как нужно. Если получили 1, то что-то пошло не так. Все просто 🤷‍♂️ Использовать удобно все в тех же скриптах для проверки успешности того, как этот скрипт отработал. Например, нужно выполнить какое-то действие только после того, как будете уверены, что конфигурация верная. Вначале выполняем валидацию конфига (допустим, веб-сервера Nginx):

nginx -t

После проверяем, что вернулся 0 и если да, то выполняем команду на рестарт конфига:

nginx -s reload

Если получили 1, то нужно проверить конфигурацию веб-сервера на ошибки. Обычному пользователю такое никогда может и не пригодится, но если вы любите скрипты и автоматизацию работы с системой, то коды завершения сильно упростят жизнь. Профи об этом уж точно знают, новичкам будет полезно 👍

Работаем с блочными устройствами Linux через скрипты 💿 Давненько что-то ничего не постил. Даже как-то стыдно стало 🤷‍♂️ В качестве реабилитации расскажу про две очень полезные утилиты Linux, с помощью которых удобно в скриптах делать проверки наличия подключенных и примонтированных блочных устройств и файловых систем. Это утилиты findmnt и findfs. 1️⃣ Findmnt удобна и полезна сама по себе, без привязки к скриптам. Просто запустите её и посмотрите вывод. Она выводит в консоль подробную информацию о всех точках монтирования. А ключ -x ещё и позволяет проверить отредактированный файл fstab на наличие в нём ошибок. Рекомендую запомнить эту возможность и использовать:

# findmnt -x 
Success, no errors or warnings detected

Если в чём-то ошибётесь, то получите ошибку:

# findmnt -x 
/mnt/backup 
[E] unreachable on boot required source: UUID=151ea24d-977a-412c-818f-0d374baa5012

2️⃣ Findfs сама по себе ничего не выводит. Она умеет искать файловые системы по заданными параметрами В качестве аргумента принимает значение LABEL, UUID, PARTLABEL и PARTUUID. Например так:

# findfs "UUID=151ea24d-977a-412c-818f-0d374baa5013" 
/dev/sda2

Нашли файловую систему на /dev/sda2 с заданным UUID. При этом код выхода будет 0:

# echo $? 
0

Если файловая система не будет найдена, код будет 1:

# findfs "UUID=151ea24d-977a-412c-818f-0d374baa5012" 
findfs: unable to resolve 'UUID=151ea24d-977a-412c-818f-0d374baa5012' 
# echo $?

3️⃣ Соответственно, подобную проверку можно использовать в скриптах перед тем, как выполнять какие-то действия. Это актуально для каких-нибудь бэкапов или синхронизаций на сетевых или внешних дисках. Делаем простую проверку, типа такой:

if findfs "UUID=$1" >/dev/null; then 
echo "$1 connected." 
else 
echo "$1 not connected." 
fi

Вместо echo можно сразу выполнять какое-то действие. Оно будет выполнено, если указанный скрипту UUID подключен. То есть сам скрипт работает так:

# ./check-fs.sh 151ea24d-977a-412c-818f-0d374baa5013 
151ea24d-977a-412c-818f-0d374baa5013 connected.

Точно так же по аналогии можно сделать проверку точек монтирования с помощью findmnt:

if findmnt -rno TARGET "$1" >/dev/null; then 
echo "$1 mounted." 
else 
echo "$1 not mounted." 
fi

Проверяем:

# ./check-mnt.sh /mnt/extbackup 
/mnt/extbackup not mounted.

Внешнее хранилище для бэкапов не смонтировано, ничего не делаем. Очень важно делать такие проверки, когда копируете что-то на примонтированные устройства. Если запустить процесс копирования при отмонтированном устройстве, то вы просто забьёте весь диск локальной системы, так как все файлы польются на неё. Если информация оказалась полезной, то поставьте лайк этой заметке👌 Надо возвращаться к регулярному постингу, так как число подписчиков растет и негоже оставлять людей без полезностей.

Любите ли вы читать? 📚 Раньше я очень много читал. Благодаря этому, кстати, имеется некоторая начитанная грамотность, хотя правил русского языка, честно говоря, не помню. Сейчас книги реже попадаются в качестве источника информации, тем более бумажные. Подвергся современной моде потреблять контент в формате видео 🤷‍♂️ Но! Все же, думаю, что нужно возвращать практику чтения, чтобы мозг окончательно не заржавел (хотя с моей работой это ему вряд ли грозит). Поэтому удачно оказалось, что всего за 100 рублей в месяц (плюсом к тем 350, которые я плачу за подписку Яндекс Плюс) можно получить подписку на сервис Букмейт. Его, кстати, купил Яндекс, поэтому подписка доступна через Плюс. Пока что, добавил Пелевина, решив повторить путь по его библиографии. Туда же добавлен Оруэлл, а еще в аудиоформате самое любимое произведение - Мастер и Маргарита. Ее слушаю через Станцию Мини по утрам перед началом работы. Так что и для любителей аудио найдется чего послушать. Если у вас еще нет подписки Яндекса, то вот приглашение ее приобрести: https://plus.yandex.ru/gift?promoName=referral&promocode=A7WDGCLL5F При регистрации по ней вы получаете 60 дней бесплатной подписки Яндекса и другие плюшки. Хватит с лихвой, чтобы все попробовать. Воспользоваться ссылкой смогут до 10 человек. Расскажите в комментариях о том, любите ли вы читать или слушать книги, что читаете/слушаете сейчас и какое произведение или произведения готовы перечитывать постоянно 💬

Firefox включает поддержку Wayland 🦊 Начиная с версии 121 веб-браузер Mozilla Firefox при запуске в сеансе Wayland будет задействовать «родную» поддержку новой оконной системы. Это сделает работу пользователей Linux в интернете безопаснее, улучшит отзывчивость интерфейса программы, исправит масштабирование в многомониторных конфигурациях и позволит использовать жесты на сенсорных экранах. Ранее браузер полагался на слой совместимости XWayland, а нативная поддержка Wayland считалась экспериментальной и скрывалась за флагом MOZ_ENABLE_WAYLAND. Выпуск Firefox 121 запланирован на 19 декабря. У меня пока что 119 версия огнелиса, а какой браузер и какой версии используете вы?

Всегда говори "ДА": зачем нужна команда yes и как ее грамотно использовать в Linux? 👌 Команда yes в Linux используется для того, чтобы направить в стандартный поток вывода (stdout) символ y (или любой другой символ, который будет указан после нее). Кстати, если вы еще не читали материал про ввод/вывод и их перенаправление в Linux, то самое время сделать это. Получается, если в терминале ввести команду:

yes no

То консоль заполнится множеством выводов слова no, пока вы не остановите это безобразие сочетанием клавиш Ctrl + C. Как это дело применять на практике? Возьмем, к примеру, сервера, на которых установлена BitrixENV - это оболочка, которая упрощает установку, настройку и обслуживание порталов на CMS Bitrix. Если на сервере, где установлен BitrixENV ввести команду на удаление файла, то вас обязательно спросят о том, уверены ли вы в своих действия, попросив ввести y. Понимаете, теперь, как можно использовать команду yes? Представим, что вам нужно удалить несколько сотен файлов. Будете на каждый вводить y в консоль? Неее, намного удобнее будет использовать команду yes:

yes | rm *.log

В результате все файлы с расширением log будут удалены без дополнительных телодвижений с вашей стороны. Удобно? Ну еще бы! Ну а что если нужно, например, имитировать нажатие клавиши Enter? Команда yes и тут поможет:

yes "" | <команда>

Казалось бы, в приведенной выше команде мы ничего не передаем и даже слово Enter не написали, почему же должно сработать? Все потому, что суть работы yes состоит в том, чтобы не просто вывести y, она добавляет ее переносом строки (каретки, как бы выразились олды), то бишь, имитирует нажатие Enter. Поэтому в кавычках ничего нет. Естественно, больший простор для использования yes открывается при написании BASH-скриптов, поэтому команду стоит запомнить и использовать в случае необходимости. Как думаете, если есть команда yes, то будет ли в Linux команда no, которая дает отрицательный ответ на запросы консоли? Свои идеи на сей счет оставляйте в комментариях 💬

Рефакторинг сайта проекта и проблема большого пазла 🧩 Давненько ничего не писал про сайт, правда? Все потому что решил готовить его к выпуску и как это часто бывает, вначале попробовал взглянуть например то, что получилось издалека. И ужаснулся… Все же помнят, что я не профессиональный разработчик? Поэтому текущий проект представляет собой пазл, собранный из разных кусков. Вывод категорий и постов, которые с ним связаны - один кусок, лайки - другой, комментарии собрал из чего-то еще. Оно вроде и работает, но до поры определенной. Запуская любой проект, на мой взгляд, автор должен задать себе вопрос: что буду делать, если оно сломается? За какие ниточки дергать? Вот и я задался недавно этим вопросом… В разработке есть такое понятие, как рефакторинг. Это когда вы меняете внутреннюю часть проекта, не меняя функционала. То есть, внешне работает все также, но внутри переделано в лучшую (чаще всего) сторону. Я посмотрел на текущий вариант сайта и понял, что внутри нужно все изменить так, чтобы было проще дальше что-то улучшать, изменять и исправлять. Говоря проще, сделать рефакторинг. Думаю, что проблема пазла свойственна всем проектам, где авторы делают первые шаги. Не имея достаточно опыта, мы дергаем готовые решения из разных источников, приматываем изолентой к своей идее и радуемся, как дети, когда оно работает в локальной среде. Но стоит только выпустить проект в массы… Поэтому работаю сейчас над изменением внутренней структуры сайта. Основной функционал реализован, поэтому нужно лишь привести все это к некому общему знаменателю, чтобы не сесть в лужу, когда пойдут первые читатели.

Как не профукать свой проект на Python? 🐍 Конец этой недели выдался интересным в плане рабочих задач. У одного клиента отвалился Airflow - это инструмент, который используется для управления потоками обработки данных. Реализован он на Python с использованием фреймворка Flask. Почему отвалился? После неудачной попытки обновления этого самого Airflow. Апгрейд самого инструмента прошел успешно, ну а дальше начались проблемы с зависимостями. Оказалось, что проект не был установлен изолировано и обновление одного пакета затронуло много чего на уровне системы. Избежать подобного можно при помощи виртуального окружения или virtual environment. Попробую по простому объяснить что это такое. Замки из песка и проекты в Python 🏰 У вас есть дистрибутив Linux, в котором много где используется Питон. И вы решили на этом дистрибутиве развернуть питонячий проект. Чтобы состояние проекта не влияло на зависимости Питона на уровне системы или на другие проекты (существующие или которые только появятся) проект нужно разместить в том самом виртуальном окружении - изолированной среде в пределах системы, которая не связана с системными пакетами Python и с пакетами других проектов. Проекты и разработчиков в такой ситуации можно представить детьми, которые в песочнице строят замки. Одно неловкое движение и твой замок рухнет, но при этом есть риск обрушить еще и замки других детей. Мы ведь этого не хотим, правда? Поэтому свой замок мы обнесем оградой, закрывшись от других замков изолированной средой. После нас хоть потоп 🌊 Оградившись от других детей и замков мы можем делать со своим творением все, что душа пожелает. Даже если что-то сломается, то это никак не повлияет на других. И наоборот, ошибки других не смогут повлиять на наш замок. Можем сделать несколько таких изолированных песочниц и пробовать в них любые варианты. Что в такой ситуации может произойти страшного? Только что-то глобальное - например, по городу, где расположены наши песочницы прилетит метеорит и разнесет все к черту. Но в таком случае уже будет не до спасения каждого отдельно взятого замка, нужно будет решать проблемы болшего масштаба. Семь раз отмерь… и сделай виртуальное окружение 🧠 Проблемы с Airflow могло вообще не возникнуть, если бы изначально он крутился в виртуальном окружении. И даже если бы трудности после обновления возникли, то при решении все было бы проще, чем работа с зависимостями и пакетами Питона на уровне системы, когда любые манипуляции с ними грозят тем, что отвалится что-нибудь еще. Потому, если вы новичок в программировании на Питоне, то виртуальное окружение должно стать вашим лучшим спутником при работе. Изолируйте все по максимуму, чтобы потом не оказаться у разбитого корыта.

Разницы между DoS и DDoS атаками 💀 Когда-то здесь я публиковал небольшую заметку про то, что такое DDoS-атаки и чем они опасны. Но знали ли вы, уважаемые подписчики, что есть также DoS-атаки, причем разница между двумя этими видами состоит не просто в двойной D. Ниже об этой разнице и поговорим. DOS (Denial of Service): DOS атака – это попытка ограничить доступ к ресурсу, делая его недоступным для пользователей. В основе такой атаки лежит перегрузка системы, которая не способна обработать все запросы, поступающие от злоумышленников. Пример: посылка большого количества запросов от одного источника к серверу, что приводит к его перегрузке и отказу в обслуживании. DDoS (Distributed Denial of Service): DDoS атака – это эволюция DOS, где атакующий использует ботнет (сеть зараженных компьютеров), чтобы координированно атаковать цель. Это делает атаку более мощной, трудной для выявления и преследования. Пример: синхронизированная атака с тысяч компьютеров по всему миру, направленная на один сервер, что делает его недоступным для легитимных пользователей. Вы наверняка слышали как правительства различных стран или отдельные корпорации периодически заявляются о том, что отбили очередную DDoS-атаку какой-либо группы хакеров. Про DoS-атаки слышно гораздо меньше, даже в интернетах при запросе о самых известных атаках этого вида, большая часть результатов поиска будет посвящена DDoS. Выходит, что именно этот тип атак теперь популярен больше всего и выше вероятность получить такую на свой сервис. Если же вы думаете, что мало кто будет обращать внимание на малоизвестные и непопулярные сервисы, то стоит помнить, что у них гораздо хуже защита, поэтому такие сервисы являются гораздо более привлекательной целью, чем что-то крупное и хорошо защищенное.

Мы не верили в Uncom OS, а она смогла 💪 Помните про такую российскую систему на базе ядра Linux, как Uncom? Если нет, то на канале есть статья про нее (и не одна). Так вот, думал, что система загнулась, но нет. Она теперь в реестре отечественного ПО. Интересно, сколько стоит попасть в этот реестр и кому деньги передать? 🤔

Как в терминале Linux отобразить ход выполнения операции копирования или удаления? 🗑 📄 Бывает что вы вводите команду cp или rm для копирования или удаления чего-либо и после нажатия Enter курсор просто повисает в терминале. Согласитесь, что было бы приятнее видеть какой-то прогресс в выполнении этой команды. Чтобы сделать это используется ключ --verbose или -v. В контексте Linux и других UNIX-подобных систем, указанные опции обычно относятся к режиму вывода подробной информации о выполняемых командах. Например, вот так можно работать с копированием:

cp -v <исходные_файлы_или_каталог> <целевой_каталог>

Или удалением:

rm -rf -v <каталог>

Выхлоп будет содержать подробности совершаемых операций. И станет наглядно видно, что происходит и когда это закончится. Согласитесь, что в определенных моментах это удобно? Естественно, ключ --verbose или -v будет работать не только с копированием или удалением.