Make. Build. Break. Reflect.

#ai #devops Раз в 2-3 недели гоняю команду /insights в claude code. Она парсит все мои сессии за последние дни и выкатывает наглядный html-отчёт без лишней воды: сильные стороны, где я реально эффективен, где просаживаюсь, что можно заавтоматизировать, какие бэд-практисы проскакивают. Отдельно подскажет, чем обогатить CLAUDE.md, как лучше структурировать контекст, где утекают токены и время, и какие паттерны повторяются из сессии в сессию, какие скиллы новые запилить на повторяющиеся задачи. Научит новым промптам. Подсветит боли и фрустрации как на скрине 😀. Смотрю, где стал лучше, где наоборот деградировал, и по итогу подкручиваю промпты, сетап и подход к работе. Реально держит систему в тонусе, а не работу по инерции. Если с английским не очень - гугл-переводчик отчёт нормально осилит. Рекомендация - 10 из 10. Для кодекса и курсора есть НЕ нативные аналоги, но я сам их не тестировал, лишь видел в чатах обсуждение: - https://github.com/tim-hilde/opencode-insights - https://github.com/rapidrabbit76/OpenCodeInsights - - - Всегда стрёмно такое постить - сейчас вокруг все дохера умные, что ни напиши - "я и так знаю".😬 А простейшая нативная фича - никто не в курсе среди моих знакомых (на работе, я уверен, все в курсе). Тонкая грань между "база-базная" и "о, а я не знал" 🦍

Дуров тоже молодец. Захотел я поправить ссылки некрасиво отправленные выше.. Если править через "новый редактор макрдаун в телеграме" - текст заметки просто уничтожается без права восстановления. 😬

Амазон такой несколько дней назад: "а давайте уволим инженеров и заменим на ИИ, что может произойти". - https://www.reddit.com/r/jobs/comments/1uwdxs9/amazon_replaced_a_50person_team_with_5_guys_and/ . .. ... Да в целом ничего необычного: - https://health.aws.amazon.com/health/status?path=open-issues - https://www.reddit.com/r/aws/comments/1uyuaw7/help_my_bill_skyrocketed_from_around_5_cents_per/ - https://www.reddit.com/r/aws/comments/1uyud65/insanely_high_aws_bill_22557921016483/

#devops #troubleshooting #база #одинденьизжизни Иногда появляются проблемы, которые нельзя быстро решить. Они неожиданные и вступаешь в ступор "а как какать?". У нас много подключенных SaaS и интеграций. Время от времени приходят разные коллеги и просят добавить/обновить DNS записи. Например интеграция с каким-нибудь chargebee  или hubspot чем бы это не было. Да тысячи их, я даже не знаю чо они делают. В основном задача состоит из двух типов записи: - добавить новый CNAME _E2E2BURMALDADZHIGURDA SOMEDOMAIN.COM - обновить существующий TXT добавив туда новый хост "v=spf1 include:outlook.com include:hubspotemail.net include:chargebee.com ~all\"" В общем-то ничего сложного, Стек на тераформе и легко пилю MR, где добавляю, получаю аппрув, качу в мейн и ..а всё отлично, какие ещё и. Спустя время прибегают сейлзы/саппорт с большими глазами, говорят не доходят часть почты, а это критикал. 🔥🔥🔥 Бежишь смотришь пайплайн - всё ок, тераформ всё раскатал, валидация прошла, все чеки тоже прошли - всё чисто. nslookup, dig - базовые привычные команды проверки показывают, что всё ок. Ну магии не существует, пошли на https://mxtoolbox.com/ Пацаны не даром свою зарплату получают (в отличии от меня, лол), и сайт показывает ошибки нарушения контракта.😞 Ошибка, что адресов уже много и пррривет, RFC, и его лимиты. Дальнейший поиск меня приводит к неизвестному мне ранее https://datatracker.ietf.org/doc/html/rfc7208 Оказывается есть лимиты и тут. Сука. RFC 7208 (спека на SPF) прямо говорит: суммарно можно использовать не больше 10 механизмов, которые дёргают DNS - include, a, mx, ptr, exists, redirect. И считается это не построчно, а рекурсивно - если внутри одного include спрятан ещё include, он тоже идёт в зачёт. Круто, да? Я сам в охере. То есть в самой записи можно хоть 100 include понаписать - терраформ смолчит, все валидации пройдут, все провайдеры (клаудфлер в данном случае) скажут ок, MR смержится, ревьюер поставит approve, всё ок. Даже на клаудфлер появится. А хлебнёшь ложку говна уже на проверке письма: получатель досчитывает до 10го lookup и такой "аригато, дальше не считаю" - permerror. Причём не сразу и не у всех - где-то письма улетают в спам, где-то тихо дропаются. Полный рандом, сука. Предполагаю из-за разных политик корректных МТА. Ок, причину мы нашли, быстро ревертаем коммит, проверяем через https://mxtoolbox.com/ и нам показывают, что всё хорошо. Ок, мы вернули как было, успокаиваем продажников и саппорт и думаем - "а как быть дальше?" Задачу надо решить. Вот так сходу есть две мысли - узнать каким-то образом - все те SPF записи в TXT нужны ли нам - не можем ли мы что-то удалить, чтобы добавить нужное? 😏 - как-то эээ по сабдоменам уровнем ниже разнести записи, ну типа того Слава вселенной - всё в гите и можно узнать по каждому добавлению SPF кто и когда добавлял. Есть название таски, автор. Идём в личку в слак всем людям, спрашиваем "а эта запись ещё нужна? Модем ли мы дропнуть или ещё используем?". К счастью в этом случае нашли 1 запись, которая 100% не нужна и больше не используется, дропнули её и добавили новую по задаче. Как быть при следующем добавлении следующей SPF записи и все они нужны? А хз, я там уже не работаю 😬 Я и правда честно - не знаю, варианты те же в голове: - развести интеграции по поддоменам со своим SPF (типа mail.PARTNER.SOMEDOMAIN.СOM), а не тащить всё в основной домен Тогда, предполагаю, каждый поддомен считает свои 10, а не делит один лимит на всех, но это надо проверять. - завести привычку прогонять запись через mxtoolbox перед каждым новым includ - тупорылые танцы со статикой IP, но это статика, шанс инцидента при смене адреса возрастает в 10 раз Итоги: - иногда подстава откуда не ждёшь, никакие штатные валидаторы тебе не покажут потенциальную ошибку. В этом случае нам даже впаяли инцидент 😔 - RFC это боль, сколько раз я уже в своей практике упирался в какие-либо лимиты - если бы не гит-блейм по таскам - чистили бы SPF вслепую. Инвестируй в IAC - трейсинг "кто и зачем добавил" окупается на все 100% ровно в такие моменты. Git+IaC=❤️ и да, иногда никакого куберентиса 😀

#aws #azure Синергия близко. ☑️»☁️ https://aws.amazon.com/about-aws/whats-new/2026/06/aws-security-hub-supports-monitoring-microsoft-azure/ AWS Security Hub теперь мониторит Azure. Не шутка, судя по всему. Как я понял оно пока мониторит: Azure VMs, ACR-образы, Function Apps и Azure identities. SH сам находит эти ресурсы, гоняет их по CIS Benchmark, складывает в единый инвентори и подключает к существующим EventBridge-автоматизациям. То есть findings по AWS и Azure - в одной консоли, в одном формате! Нечто невероятное как по мне. Из минусов - не работает в ОАЭ ❔, Бахрейне и Новой Зеландии, ну да не в первый раз с региональными огрызками сталкиваемся. Так же у них появился новый функционал. https://aws.amazon.com/about-aws/whats-new/2026/07/aws-security-hub-network-scanning/ Самое забавное тут не факт фичи, а то, что Амазон в принципе полез мониторить чужое облако. Обычно multi-cloud security продают Wiz, Orca и другие - потому что у самих вендоров конфликт интересов "зачем нам следить за конкурентом". А тут AWS такой: "сейчас наведём порядок и в вашем Ажуре всё будет в ажуре" Перекраивание рынка идёт уже сейчас. Прямо вот уже сейчас идёт. Выстоят только самые крепкие. Ждём радости пользователей и горькие слёзки нескольких компаний в этой нише индустрии, куда лезет Амазон.

#devops #troubleshooting #opensource Понадобилось мне тут на работе проверить есть ли троттлинг ЦПУ. Причём без создания, тупо взять квери, проверить в explore на графане с датасорса виктории метрикс и всё. Это новый проект, там ещё обсервабилити не готов, мне чисто проверить. Зашёл я на свой любимый сайт, откуда пиз ворую алерты https://samber.github.io/awesome-prometheus-alerts/rules/ А там красота - всё зарефактили, всё по-другому. Зашёл в раздел кубера - а там этого алерта нет. Command+f тоже не находит по ключевым словам. Поискал на главной - тоже нет. Самая большая тупость рефакторинга - нет поля для поиска по сайту.🚬 Это же опенсорс, а давай я это заклонирую, это быстрее, чем искать другие ресурсы. Клонирую гит репо, ищу поиском - нахожу. Во-первых, там теперь там теперь рейт вместо инкрис,во-вторых, добавили проверку деления на ноль и в-третьих перенесли в раздел Кадвизор. Хм, в целом логично, хер ли я в кубере его искал. Ок, взял квери - проверил на работе по задаче - всё ок, троттлинга не было. И тут мне стало интересно, а чо поиск не показывал? Чего поиска нет на сайте. С плейврайт я уже работал, а теперь захотелось поработать с аддоном для браузера Крома. https://github.com/ChromeDevTools/chrome-devtools-mcp В конфиге MCP серверов это всё выглядит просто

    },
    "chrome-devtools-my": {
      "command": "npx",
      "args": [
        "-y",
        "chrome-devtools-mcp@latest",
        "--autoConnect"
      ]
    }

Со стороны браузера Кром надо просто галочку включить

chrome://inspect/#remote-debugging

Как это работает в двух словах: - запускаю клодкод в терминале - прошу чот проверить/поменять - включаю галочку дебаггинга в браузере - клод спрашивает разрешения, открывает либо отдельную сессию/профиль браузера, либо в моей же сессии (смотря как настроить!!!). У меня это отдельная сессия-профиль, Он открывает вкладку, спрашивает разрешение на управление браузером и работает - сам через нативный developers tools видит ошибки в консоли, в нетворкинге, латенси запросов, все url бэкенда и всё! - делает виртуальные скриншоты, ищет поля, и исправляет поля - он буквально за меня кликает все элементы страницы и видит весь дебаг - галочку потом можно снять для успокоения паранойи Буквально за минуты получаю ответ, что "а тут херово навайбкожено в слоях провалился поиск 😎", пилю исправление, прошу нейронку проверить исправление, проверяется так же через девелопертулс. Потом ещё сам проверяю - поиск работает, несчастный троттлинг показывает, даже по всем разделам. Ого, у опенсерч тоже есть троттлинг. Прошу запилить МР на гитхаб с минимальнейшими исправлениями и скриншотами "до/после". https://github.com/samber/awesome-prometheus-alerts/pull/590 На выходных автор смержил, правда потом поправил поиск - не в центре экрана, а аккуратнее в углу справа. Итоги: - поправить простые(!) фронт штуки с помощью нейронки, Кром браузера и мсп девелоперс тулс - достаточно легко в 2026. QA, фронтенд - тут не нужны😢, можно самому делать мелкие исправления БАГОВ. Фичи пилить я бы не решился. - по токенам подобные мелкие штуки недорогие - специально посчитал, около 7000 токенов вышло - девелопертулс мне понравился больше, для дебаггинга он прям топ - для СЕБЯ(!) я определил так: - - - https://playwright.dev - автоматизированные тесты, кросс браузеры - - - https://github.com/ChromeDevTools/chrome-devtools-mcp - сила в дебаггинге нативного девелоперс тулс Это похожие, на первый взгляд, инструменты, но с разными задачами как по мне. - а, ну да, теперь на сайте снова можно юзать поиск и воровать алерты🤡

CV мальчика: - "мы сократили time-to-market с 2 дней до 5 минут 🚀" CV мужчины: - "For a period of approximately 20 minutes, ~96% of GitHub Actions runs on GitHub-hosted runners were failing to start, with start delays exceeding 5 minutes" Мы разные. https://www.githubstatus.com/incidents/cstx3v63mklm

#aws #AWScommunity #kubernetes #eks #troubleshooting #база Дефолты. Однажды прилетает алёрт. Чот поломалось. Захожу в слак прочитать. Сперва поднялся трафик бизнес нагрузки. Затем поднялся лаг на топиках кафки. Был рост SQS очередей. Какие-то алерты по куберу. В общем всё выглядело, как "чот сломалось, но совершенно не понятно что". Полез я в oncall канал, а там уже бурное обсуждение, пока я кушонькал. Какая была основная гипотеза до меня: - прилетело большое количество клиентов (спасибо сейлзам, никогда не предупреждают о наплыве х5 новых кастомеров) - это провоцировало трафик, по графике графаны примерно х4 от вчеращнего в то же время - кубернетис поды, которые обрабатывают входящий трафик, начали скейлится и упёрлись в максимум 100 - карпентер начал скейлить ноды в нод группах, упёрся в максимум 60 нод на группу (для этих типов пода было так) - всё пошло по половому органу и начало дальше копиться со всех сторон Чего же решили коллеги в этот момент траблшутинга? Конечно же "а давайте заскейлим побольше! Нагрузка просто большая и надо дать больше ресурсов!". Да чо я душню, я так же сделал бы. Поменяли максимум нод в нод группе до 200, а количество проблемых подов до 250 (вроде бы). Ну штош, а лучше и не стало. Сразу же перестал работать интернал сервис, не мог подключится к редису. Потом посыпались алерты, что поды в пендинге, нехватка капасити нод на одной нод группе. Редис коннекшны 5000+. Потом макс коннекшн в РДС. Потом про нехватку инстансов в us-east-1 регионе. Потом было что-то ещё, но уже было и не важно. Нас просто завалило алёртами. По-моему мы всем сервисом уныло прилегли и прилегли надолго. Когда я подключился к инциденту, как раз было море алёртов, и я честно не понимал с чего начать. У каждого была своя гипотеза, каждый пытался что-то делать и менять, отчасти неверно. Например для одного из сервисов меняли макс реплики у HPA, но ресурс управлялся KEDA и ващет надо было менять sclaedobject. "Алекс, у нас ещё и HPA не работает!" 😢 Куда бы я не тыкнулся - везде были ошибки и везде было плохо. Спустя полчаса я понял, что проблема в скейлинге - всё стало хуже, когда начали всё скейлить. Мои коллеги копали в основную гипотезу, что "не хватает капасити, не хватает нод, не хватает подов, потому везде очереди". Мне же показалось странным, а почему увеличение подов и нод не помогло? Там же банальная арифметика, как так-то?! Ну ладно, упало и упало, а чего по логами то у нас? Коллеги побежали смотреть логи приложений и сказали из нового и необычного: - таймауты подключения к редису - таймауты подключения к базе РДС (ну да, положили мы базу несколькими сотнями тысячами подов) - таймауты подключения к SQS - таймауты.. стоп, смысле мы не можем к sqs подключится? Он, в отличии от RDS/Redis не может ругаться на нехватку ресурсов. А что за ошибки? Благо сервисы были ок и писали более детальные ошибки. Быстренько рапарсив десяток микросервисов я понял, что у всех проблема с ресолвом хоста. Ещё один нырок в гит - там и лайвнесс пробы так же проверяют всякие ElastiCache/RDS/MSK. Бл, ну значит чот с днс. Быстро свичусь в kube-system неймспейс, смотрю что по логам в CoreDNS и метрикам в виктории метрикс. Сука. Нагрузка большая по CPU. Стоп, погодите-ка, а почему там всего две реплики?! Быстро делаю скейл реплик до 10 штук (вот так просто, не глядя),прям через kubectl. Через минуту ошибки ДНС в логах прекращаются. Ещё через минуту все очереди SQS/MSK начинают разбираться с неимоверной скоростью. Ещё через минут 5 падают все нагрузки по коннекшнам ко всем эндпойнтам и алёрты стремительно зеленеют. За 15 минут инцидент был потушен. Пилю постмортем, таски себе как экшн айтемс: - поставить алертинг кластервайд и на сам корднс - поставить гибкий конфиг/скейлинг подов корднс (ну там кеда или чо) Так а почему же был инцидент? Всё очень просто: - прилетело большое количество трафика - начались ошибки ДНС из-за скейлинга подов и нод (ну типа регулярно было 150 подов, стало 600, цифры из головы) - корднс не успевал всё обработать - вместо скейлинга корднс подов мы обосрались и заскейлили бизнес нагрузку, добавив новые реплики и ноды, нагрузив днс ещё больше, поломав флоу теперь уже у всех микросервисов, задев редисы, базы данных, положив все базы макс коннешнами и так далее Стало интересно, а потому всего 2 реплики? Оказывается CoreDNS ставился из аддонов (такая внутренняя штука в Амазон ЕКС). И дефолтное значение мин/макс - 2.🤡 Самое странное (на момент инцидента) - все эти параметры нельзя было изменить. Сейчас 100% знаю, что можно, но тогда было нельзя. Аддон ставился терраформом, а тот не позволял изменять ЦПУ/Мемори лимиты/реквесты и количество реплик. Просто тупость. На память там либо баг терраформа был, либо не позволяла апишка авс. А может мы просто не разобрались 😬 Пришлось вместо терраформ аддона просто запилить хелм чарт, в котором прописали и автоскейлинг и реплики и реквесты с лимитами. Формула расчёта была типа

The default proportional scale is to add an additional replica for every 256 cores or 16 nodes in the cluster—​whichever happens first.

Украл сейчас с документации. Понятно, что при скейлинге плюс +80 новых (в пике) нод, 2 реплики было недостаточно. Какая же мораль: - увеличение капасити не всегда есть решение, а иногда и крайне сильное ухудшение, которым можно вообще весь сервис уложить полностью - ну камон, как можно было работать без node-local-dns - без алертов ДНС никуда - дефолты AWS аддонов подходят не всем Если говорить про то, что мне запомнилось, для себя я вынес мысль

проблема не в скейлинге как таковом, а в том, что скейлили не то узкое место

#apple #devops #tools и снова #всратость

Деградация и вайбкодинг.

Не так давно я пересел на новые для себя вещи: - раздельная клавиатура (там ничего нового, минимальные различия с обычной клавиатурой) - для редких случаев отдельный magic touchpad - макбук - дополнительный большой монитор Потому все свои рабочие процессы строю по принципу "не трогать тачпад, минимум движений". Учу много шоткатов. Пока не всё получается. Между тем считаю, что операционная система Тахо весьма ужасна. К сожалению в макбуке нет многих очевидных вещей, которые хотелось бы видеть. Каждый раз надо что-то менять в настройках через терминал, то ставить какие-то утилиты. Работа с окошками - rectangle. Биндинг клавиш - Karabiner-Elements. Особенно спасает с проклятыми раскладками в ЕС (Германия). Менеджер пакетов - Homebrew. Ланчеры типа Raycast. Ну и так далее, ну в общем штатно мак ну не совсем готов для работы инженера. И так я привык к этому, что изначально воспринимал, что "в маке многого нет".😬 Идём к моей микрозадачке. Все стандартные шоткаты всем известны: - command+tab - между самими программами - ctrl+tab - между табами внутри программы А вот если, например, открыто несколько VSCode или несколько окон браузера Кром - такой комбинации нет. Мишн контрол тут мне просто не очень подходит с дополнительным монитором. Мне сперва показалось "да кому это надо", но нет, у меня несколько окон браузера открыто - от MCP Developer Tools для разработки до браузера для себя. Редактор кода - под каждую репу (да, иногда мне так удобнее, чем флипать воркспейсы). Такая же фигня с terminal раньше была (сейчас с cmux неактуально). Что сделал я? Конечно же спросил какую-то нейронку (не помню уже кто) - какая есть для моей задачи утилита?🤡 Нейронка честно выполнила свою работу и сказала, что есть крутой проект - reef. Они взяли и навайбкодили (я уверен) новый продукт. - https://getreef.app/ (тут попросят денежку, но можно поставить 0) - https://github.com/gouwsxander/reef (сразу бесплатный архив) Не пересекаются по логике и хоткеяи с ректанглом. В общем одни плюсы. Как это работает: - просто качаешь и ставишь программу - затем в самой программе биндишь цифру 0, например, на VSCode - открываешь свои 15 VSCode - жмёшь ctrl+0 - появляется прозрачное окно посредине экрана и выбираешь нужный экземпляр - всё Я недаром говорил, что это "навайбкожено", потому как оно не свичится, если один экземпляр Кром браузера открыт на фуллскрин, а второй нет, но там решается через другие шоткаты и меня это не аффектит. Подходит только и исключительно для тех, кто одновременно запускает несколько копий браузера/терминала/редактора кода и не хочет прикасаться к тачпаду. Сижу, значит, уже почти привык к новой утилите и работе, решил затащить статью для моих читателей. Пишу всё это и думаю, а что у них ещё есть. Поиск выдал замечательный ролик на ютубе, с чего всё начиналось. Где, собственно, у автора такие же мысли/проблемы возникли с окошками https://www.youtube.com/watch?v=niRCi5zJvHU Думаю вложу-ка я его в этот пост, так как стараюсь каждый раз при каждой публикации, чтобы было интересно. И тут мои глаза цепляют комменты к видео.. Господи, стыд-то какой.🤡🤡🤡🤡🤡 Оказывается всё в маке есть для этой задачи. - command + ` (ноут из Германии, на США раскладке вроде command + >) - ctrl + стрелка вниз Прикиньте какая у нас меня сейчас деградация. - двое ребят пилят целое приложение, потому, что не захотели ПОГУГЛИТЬ блд - я, пользуюсь ответами нейронки по изначально неверно составленному запросу (утилита, а не нативный шоткат), ставлю этот софт и занимаюсь никому не нужной настройкой. Ну не жопа ли. Да, конкретно их софт поможет, если открыто 50+ программ с 10+ реплик каждый, но у меня такой задачи и не стоит, лол, мне между 2-3 флапаться. Ну или нужен строгий альттаб шоткат на конкретное приложение. Потому пока себе его оставил, вдруг для некоторых случаев нужно будет 😬 Что наш ждёт через лет пять.. 🫣 - - - Кстати само видео - интересное, слушать чужие размышления при разработке и проблемах это классно.

#всратость #devops #ai Очередные размышления.

Мы автоматизировали общение и написание кода, но не процессы

Везде и всюду "ИИ", агенты, и много "ИИ нейтив трансформаций". Работодатель хочет многого, сокращает издержки, верит в автоматизацию, в несуществующий ИИ, а мы теперь трудимся за пятерых. Ну вот это вот всё все итак знают. Однако никто не рассказывает "а чо по процессам?". Я чот не вижу, чтобы кто-то транформировал процессы. Во всяком случае у нас на это забили болт, как мне кажется. Пример: прилетает девелопер, пишет "не работает релиз в прод". Стоп. Не так. А, мы ж теперь ЗА ИИ ТРАНСФОРМАЦИЮ! 12:28 прилетает мне в слак сообщение, клодом написанное, с красивым форматированием и полной подробной информацией, что перестал работать релиз в прод. С путями, текстом ошибки, предполагаемой проблемой. 12:35 мой агент агента агента агентный агент пишет в ответ "Спасибо за обращение! сейчас вернусь с обеда! Сделаю!" обратно в слак. пу-пу-пу 13:22 возвращаюсь к лэптопу, ныряю в проблему при помощи Claude code ненаглядного, запускаю несколько mcp и cli tools, дергаю там skills, получаю reports - все по ии-трансформационному! 13:28 понимаю суть проблемы с пруфами: argocd не может синкнуть git репозиторий - протух токен, при помощи которого он обращается для гит пулл синка 13:36 при помощи клода пишу и отправляю не менее красивое отформатированное сообщение в слак канал для девопс команды "парни, проверьте, плиз, в этом проекте/группе есть ли деплой токены? не протухло ли чего?" - планируя, что следующим вопросом попрошу просто рефрешнуть а никто не отвечает 13:41 агентный агент пингует devops duty дежурного в треде "хелп спасити памагити" 13:52 девопс отвечает мне, что "PAT у нас почти год уже нет, токенов у тебя тут нет" 13:53 агент быстро делает ресёрч, говорит пойдем посмотрим что за токен, иду в волт сам, копирую токен - а там, мать его, glpat- и правда персональный токен. Ну, вероятно, кто-то это сделал год назад, пока было разрешено и это попало в прод и так работало год". 14:04 сам пишу девопсу "можешь ли ты создать токен новый?" 14:08 получаю ответ "мы не создаем/менеджим токены, расскажи свою боль и мы поможем тебе" 14:13 пилю кулстори с подробным пояснением, что тупо токен протух и все подробности проекта/путей и тп тадам 15:24 отвечают мне, что могут запилить ssh key, есть ли у нас сервис аккаунт? 15:25 разбираюсь чо там настроено (я не основной инженер на этом проекте) 15:35 честно отвечаю, что меня устроит любой ПРОСТОЙ и БЫСТРЫЙ вариант без переделок, вообще любой вариант устроит, хоть деплой токен на 7 дней - за неделю успею переделать все нормально по любым вашим требованиям, мне лишь бы прод поднять 15:41 мне делают деплой токен - с временем протухания, а так же сервис аккаунт без времени протухания и кладут логин/токен в Vault. Два варианта - что первое подойдёт. 15:42 я руками, не доверяя агенту, делаю патч externalsecret, добавляя туда новый логин и новый путь до токена, дергаю форс-рефреш экстерналсекрет, патчу арго аппликейшн на ре-синк - всё руками в терминале 15:45 - сервис задеплоен, проблемы нет, синк работает 15:46 - агентном создаю в беклог таску, чтобы терра модуль аргошки поменять на новый формат логина/пароля с новыми путями в волте Бл, ну камон. Два девопса* два часа решают проблему протухшего токена, ну камон.🤡🤡 Итого: 6 минут на диагностику, 2 часа на согласование токена, 4 часа невозможности задеплоить релиз от момента обнаружения проблемы до фикса. Много вопросов, мало ответов**: - почему сразу не дать право создавать деплой/сервис-аккаунт с токеном? В чём проблема? Чем помогает такой вахтеризм? - в чём проблема быстро выдать PAT на 7 дней с техдолгом переделки вместо двух часов пинг-понга? Мы прод, бл, чиним, алё, ребята. - мы всё автоматизируем, но час можем не отвечать в слаке. Кто тогда отвечает за аптайм? - где алерт на экспайред токенов? Где борда? ИИ инструменты реально помогают - диагноз за 6 минут это предел мечтаний пару лет назад - красивенькие понятные сообщения в слаке, чтобы любой быстро понял суть треда Однако никакой клодкод и ИИ трансофрмация не заменит нормальные процессы , в том числе сакральные тайны ротации секретов и понятную матрицу доступов. Никакой ИИ не поможет, если час нет ответа. Пока этого нет – AI трансформация это просто новая обёртка поверх старого бардака. Мы ускорили всё, кроме принятия простейших, сука, решений. Мы сделали ответы красивее, но не быстрее. Мы автоматизировали действия, но не договорённости. И пока это так - мы ни-хе-ра не становимся эффективнее. Мы просто делаем тот же самый бардак, только быстрее, дороже и с более красивыми лозунгами. - - - * Я девопс на отдельных проектах, есть лишь часть прав. А есть эээ я хз как называется, ну пусть будут Глобальные девопсы, они и гитлабом управляют и рутом организаций в амазоне/ажуре и многое другое. Права нам дают как утяткам, не понимаю в чём смысл, если честно. ** все претензии только к процессам, а не к девопсам. Свою роль в этом бардаке я так же чётко вижу, как и многие слабые места.

#всратость Очередной раз листая бесконечные чатики, наткнулся на интересный вопрос. https://t.me/linkmeup_podcast/11014

Чатик, а кто что думает касательно того факта, что каждый второй проект на гитхабе предлагает установить результаты своей плодотворной деятельности через curl -fsSL https://точнонепалево.ком/install.sh | bash? Как это потом удалить? Как это обновить? Что делать, если пайп баша икнёт? Как объяснить адептам «Ну ты скачай и посмотри, что там, а не сразу запускай», что 99% народонаселения не испытывает никакого желания читать несколько сотен строчек спагетти-кода? А даже если и читают, то есть такой неудобный нюанс, который забывают многие, что как только curl скачал первые строки, пайп их сразу отдаёт в баш, а не ждёт, когда скачается весь файл?

А и правда, насколько это хреново? На личной свежей тачке запустил анализ чего я вообще ставил через curl | bash за последнее время. Нашёл 5 штук.

cat ~/.zsh_history | strings | grep -E 'curl.*\|.*(bash|sh)' | head -100

curl -fsSL https://claude.ai/install.sh | bash
curl https://cursor.com/install -fsS | bash
curl -fsSL https://openinterpreter.com/install | sh
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
curl -fsSL https://pi.dev/install.sh | sh

Результат неоднозначный: - Open Interpreter образцово: SHA-256 верификация, мутекс блокировка при установке (признаюсь сам узнал про это при изучении скрипта, знал лишь частично), маркированные блоки в .zshrc чтобы потом легко убрать. Вообще ок, хоть и беда с башкой при хелл депенденси. - Claude тоже хорошо: скачивает бинарь, верифицирует чексам, запускает и удаляет временный файл. Чисто. Хотя я думал там больше всего лулзов будет. - Cursor норм, но чексам не проверяет вообще. Просто качает архив и распаковывает. Конечно же не ок. - Hermes - вот тут началось. Ставит питон 3.11, ноджс, playwright, хромиум (~300MB, лол), может попросить sudo и доставить системные пакеты через brew/apt. После rm -rf ~/.hermes/ следы всё равно остаются. Я не смог полностью удалить все следы.🤡 - Pi - просто npm install -g, удаляется одной командой. Зачем вообще нужен был скрипт с анимациями - загадка, лол. Главная первая проблема: да, я запускаю говно, не проверяя. 🦍 Исправлюсь. Главная вторая проблема: если я запустил скрипт и не сохранил его - я никогда не узнаю точно что именно было установлено, потому что скрипт по URL живой и меняется. В целом можно отследить по гиту и коммитам, но всё же, зачем себе сложности пилить. Если есть публичный репо 😀. Наверное правильно было бы делать:

curl -fsSL https://example.com/yet-another-zalupa-install.sh | bash -x 2>&1 | tee ~/yet-another-zalupa-install.log

Так хоть есть что читать потом, чтобы почистить. Хотя не, если там подпроцессы, то ничего не запишется, да? Ну решил ради интереса посмотреть что там в инсталлерах у других продуктов - взял первые попавшиеся из истории слака и телеги:

curl -fsSL https://mimo.xiaomi.com/install | bash
curl -fsSL https://opencode.ai/install | bash
curl -fsSL https://install.determinate.systems/nix | sh -s -- install
curl -fsSL https://get.jetify.com/devbox | bash

- Мимо без чексам, качает с закрытого CDN. Никакого публичного репо, никакого способа проверить что там. Просто доверяй Xiaomi, да.😬 - OpenCode делает редирект на GitHub. Звучит норм? Ан нет: редиректит прямо на ветку dev. Продакшн инсталлер с dev-ветки, без тегов, меняется при каждом коммите. Чот я чайкой крикнул как это забавно выглядит. - Nix единственный из четырёх кто хотя бы TLS 1.2+ с нормальными шифрами форсит и ретрай делает. Сам бутстрап скрипт - просто качает раст бинарь который уже всё и делает. И у них есть нормальный uninstaller как я понял. - Devbox качает бинарь без верификации, кладёт через sudo в /usr/local/bin. Без подтверждения, без чексам. И как бонус - если никс не стоит, поставит сам. Получаешь девбокс, а в нагрузку прилетает весь никс стор. Но я плохой никс инженер, может чего не понимаю и это норма. Да, можно сказать, что "да это же софт для изолированных песочниц! какая разница?". Ну не все ставят тот хермес в песочницу. Как и курсор агент. Этот паттерн установки у многих же, для основных рабочих машин и серверов. Проблема больше и глубже, как по мне. Ну а вообще да, дрянная практика, ещё один вектор атаки с сотней вариативных способов нагнуть ленивых инженеров. А эта лень обязательно кого-то невероятно больно ударит. Печаль.

#aws #TIL Век живи, век учись. Сегодня на работе узнал об ещё одном ограничении Амазона. Всегда знал, что их много, но каждый раз как новый. При попытке обновить инлайн полиси у роли "всё поломалося!" с текстом ошибки

Maximum policy size of 10240 bytes exceeded for role RoleName

И старая уже не работает и новую ещё не залить.🤡 Встало ракообразно. Из забавного (иначе я не могу назвать): - это именно инлайн полиси на IAM Role, а не managed полиси - лимит на суммарный размер всех инлайн политик роли, а не только одной 😬 Ну штош, придется оптимизировать, а как ещё. Либо резать джейсон, либо выносить правила в менеджед полиси. - https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_iam-quotas.html

#пятница Похоже цепочка замыкается. 😬 anykey 🦍 sysadmin devops devsecops sre platform mlops aiops agentops anyops .. anykey 🦍

#kubernetes Допустим, есть задача поработать одновременно с двумя кластерами кубера. Исторически я делал это так: - для работы с несколькими кластерами использовал ключ контекста у кубконтрол

kubectl describe pod --context prod-1
# а в другом табе/шелле
kubectl describe pod --context stage-2

- для переключения контекстов kubectx (когда с одним кластером работал) - в одном терминале открывал несколько табов: в одном прод, в другом стейдж Жить с этим было можно, но пздц раздражало, что контексты нельзя нормально "разнести". Хотелось, чтобы в одном табе был прод, в другом стейдж, и при этом не приходилось постоянно прописывать --context руками. Потом я узнал про утилиту kubie, и жизнь заметно упростилась. Контекст стал привязан к конкретной шелл сессии, а не глобально, и стало намного удобнее параллельно работать с несколькими кластерами. Особенно в связке с cmux и его воркспейсами+табами+пинами это вообще топ. Я всегда на 100% знаю где какой кластер и не ошибусь с продом. Мастхэв любого инженера, у кого больше двух кластеров. Там какие-то ещё есть фичи, но именно эта для меня наиболее топовая. Вчера в одном из чатов кинули ссылку на репозиторий, я зашёл посмотреть, что у них нового, и наткнулся на эту ишшую: - https://github.com/kubie-org/kubie/issues/385 Похоже, у проекта не всё гладко, что немного грустно - тулза реально удобная.🚬 Ну и вдруг кто не знал: - https://github.com/kubie-org/kubie

С одной стороны мне бы не хотелось стать тем самым "вахтёром" (с негативной коннотацией), который всем и всё запрещает. Моё, не пущаю тут никого! Нет, совсем нет. Работа в айти это постоянное развитие, и если современные парадигмы требуют подхода "каждый может писать код!", то почему бы и нет. Да, и, возможно, видеть MR от продакта, СЕО или тестировщика в репозиторий с даталейком или основным продуктом - это уже нормально. С другой стороны я начинаю быть против, так как если спросить любого, кто "может писать код", идут отсылки в сам пулл реквест, в описание к нему и почему-то отсылка на клодкод. Братан, ну своими словами хоть поясни что ты тут добавил, ну я дальше разберусь. Ну хоть как-то поясни, что там, ну. Однако основная претензия даже не этому, а к тому, что в вопросе "а кто будет это саппортить?" и "кто будет ответственным?". Ведь это именно я сижу на регулярных онколл дежурствах и именно мне дебажить новую отвалившуюся фичу или сломанный старый функционал. "ИИ"-агенты? Конечно же они есть у нас. Есть регулярное их использование, скиллы и многое другое. Так а кто ответственный и кто фиксить будет?) Если прод упал, то клод виноват?)) Вот ночью отвалилась фигнянейм, я на онколле. А что мне делать? Я не понимаю как это овно работает и как/кто/когда фиксить будет? В обычной связке мне понятно: - программист пишет фичу/патч - он за неё ответственный -я могу ночью либо роллбекнуть, либо быстро зафиксить (жаль не на текущем проекте) и утром ответственный программист возьмёт в работу А какой, бл, флоу с ИИ? Я ночью что делаю? Через ИИ дебажу? Через ИИ фикшу? А качу ли сразу патч или не имею права? Как настраивать в таком случае кодовнерс и флоу с гитом? Внезапно утром это фиксит непонимающий уже ничего программист, который вообще эту фичу впервые видит? Или я жду продакта, чтобы он, как автор, при помощи ИИ фиксил, тогда имеет ли смысл его ждать, я тогда и сам с ИИ могу, лол. Но опять же должен ли я это делать, моя задача на онколле это чинить, а не код новый хуярить при помощи ИИ, ещё больше зарываясь в этом "ИИ" слопе. Или мне СЕО дергать, если он автор мимолётного MR, написав ему с утра "дядь, чини своё там"?) Тут даже не в рамках правил в моей нынешней компании или проекта вопрос, больше вопрос вслух как размышления. Как мне кажется это глобально становится. Сами практики и методологии DevOps появились, чтобы решить проблемы между Dev и Ops. Сейчас нам уже надо решать проблемы между Dev, CEO, CTO, QA, TL, DA, Ops, PM, DS/ML. Между всеми, кто теперь может писать код. И пока это выглядит весьма печально и хаотично. Денег то за это не дают 😬. Знаете, если подумать, у нас ведь было всё. Правда, у нас было буквально всё. Don't Look Up (2021)

#devops #ai Захотел я тут поставить себе на новую железку локального агента. Полуавтономного такого, для микрозадач. Почитал что сейчас есть, посмотрел на модели, харнессы, потыкал всё мышкой. Остановился на Open Interpreter + Ollama + qwen3.5:9b. Звучало просто, логично и работало в голове идеально. Запустил установку. Прошло 25 минут. Висит, гнида. Начинаю разбираться. Оказывается TUI завис на онбординге с пустым экраном и жрёт 98% CPU в бесконечном рендер-луп. 🤡 Убил, запускаю снова, указываю модель. Модель не найдена. Потому что новый standalone использует опенаи респонс апи, который ollama не поддерживает. Хорошо, ставлю питон-пакет. Не собирается какой-то tiktoken - python 3.14 слишком новый для pyo3 0.20.3. Переключаю на 3.12. Устанавливается. Запускаю - запускается старый standalone из ~/.local/bin, который раньше в PATH. Да бл. Убираю, запускаю снова. Падает с pkg_resources not found. Откатываю setuptools ниже 71 версии. И так ещё полчаса-час сношений вприсядку в противогазе в гамаке. В итоге заработало, фуф. Отличный онбординг для тех, кто хочет в агенты, в первый раз питон и "просто попробовать". 😀 Депенденси хелл на каждом шагу, три конфликта версий, два разных бинаря в PATH и одна пустая туи которая молча жрёт процессор. Сделано збсь, ставлю класс. 😬 Ладно, поныл и хватит. Протестировал на самом деле я несколько локальных моделей, штук 15. Ну что я могу сказать. Для конкретно меня, конкретно моих задач, моих хотелок, моих требований и ожиданий. - всё, что ниже 9В, выбрасывать в помойку - 9B-30B вполне годный локальный автономный неторопливый агент для рутинных микро задач - 30В+ потребляет слишком много ресурсов, где-то на грани "братаааан, а нужно ли тебе оно? может лучше сабскрипшн клауд за пять баксов в месяц?" Выше не тестировал. Пока оставил qwen3.5:9b. Он, конечно, ну ннннннннникак не может сравниваться с любой облачной моделью, это просто бессмысленно даже думать о сравнении. Для хоум фан-задач очень даже ок. Потом поигрался с пи агентом и хермесом. Без проблем не обошлось, так же депенденси хелл и проблемы с правами, но завелось. Хермес для меня полная херня, в помойку для меня не подошёл. Пи агент просто топ для интересных задач, очень понравилось. Погонял полуавтономно несколько дней - ну ожидания совпали с реальностью. Пока очень доволен. Оба агента назвал Бабушка и Вахтёр. Неторопливые, словно старички, но исправно делающие свою простую работу. Кому делать нехер, вот ссылки: - https://www.openinterpreter.com/docs/terminal/quickstart - https://ollama.com/library/qwen3.5 - https://pi.dev/ - https://github.com/nousresearch/hermes-agent

#ai #claude #размышления Инженеры всего мира десятилетиями бились над величайшей архитектурой в истории. Лучшие умы планеты сожгли себе жизнь, глаза и нервы, чтобы родить M5: процессор, который, кажется, считает быстрее, чем я успеваю передумать. Немыслимые объёмы оперативки, в которые раньше влезала бы вся инфраструктура небольшой компании. Идеальные экраны: 4K, 120 герц, цветопередача такая, что закатное небо на обоях выглядит живее, чем за окном.... ....и вот всё это великолепие, весь этот труд человечества, нужно мне ровно для одного. Чтобы запустить десяток агентов на чёрном экране терминала 😬. С полным управлением через консоль, цветопередачей на гордые 16 цветов, где вся анимация это псевдографика и крутящийся писюн |/-\ в углу. Топовое железо планеты гоняет писюны-ASCII-спиннеры, спасибо, инженеры, вы старались не зря😬. - - - Ладно, это всё хихоньки да хахоньки. А если серьёзно, то по будням по вечерам вместо отдыха и игор я в последнее время сидел и разбирался со всеми свежими фичами Claude Code. Сначала полез в официальные доки. И каждый раз ловлю одно и то же ощущение: что-то новое там появляется буквально каждый день, сука. То, что месяц-два назад было опенсорсом с 34к звёзд или хаком из чьего-то твита или постом в телеге, сегодня уже встроенная фича с отдельной страницей в документации. Клодкод своими фичами нехило так убивает целые сотни и тысячи опенсорс проектов и именитые платные SaaS продукты. Скиллы, хуки, сабагенты, малтиэйдженси, чекпойнты, саббраузеры e2e, headless-режим для CI - читаешь и понимаешь, что половину ты или пропустил, или не успел, или просто не знал, что оно так умеет.🚬 Потом пошёл по сторонним ресурсам. - https://github.com/luongnv89/claude-howto - https://github.com/hesreallyhim/awesome-claude-code

❗️Половина там уже чертовски устарела, так что имеет смысл читать это только если у вас, как у меня, есть какой-никакой опыт, но чего-то пропустили. Депрекейтед вещи будут видны сразу, пропускайте. Как быть тем, у кого опыта не - не знаю 😬 ❗️

Из нового, что понравилось, попробовал cmux - нативный терминал, заточенный прямо под мультиагентные воркфлоу: вертикальные табы, кольца-нотификации, когда агент ждёт ответа, встроенный браузер (вырубил сразу, лол). Макоёбы онли. - https://cmux.com/ "зумеры открыли для себя tmux" (с) загиенили где-то вдалеке пользователи tmux Пока этой мой основной сетап: cmux + claude cli +MCP + linux cli tools + куча плагинов и экстеншнов + omyzsh и его плагины. Интересно, конечно, всё это. И ещё интереснее, с какой скоростью оно развивается. Не успеваю дочитать сраный маркдаун файл, а там уже новый релиз и половина того, что ты выучил, переехала или переименовалась. И вот тут начинается часть менее весёлая.🚬 На работе я откровенно не успеваю за коллегами. Все так быстро и так глубоко влетают во всё это ИИ-добро, что я на их фоне ощущаю себя каким-то слоупоком из мезозоя🦍. Люди идут семимильными шагами, а ты вроде и бежишь, и читаешь по вечерам, и пробуешь, а всё равно отстаёшь. Догоняющий по жизни. Ещё и отставший и уставший от этих агентов. Интересно, придумали ли в твиттерах или на IT конференциях новые термины типа agent fatigue как это было с алёртами? 🤔 К чему это всё в итоге приведёт - а хер его знает. Куда катится индустрия, останемся ли мы все при деле или будем сидеть нажимать кнопку "approve" у роя агентов, пуская слюну, имитируя последний и умный рубеж согласований - честно, без понятия. Но я рад одному: что мои мозги пока ещё работают, что мне всё ещё любопытно ковыряться в новом по вечерам, и что деменции пока нет)

#бытовое #ai #пятница В эпоху ИИстерии, агентов и "умных" ассистентов. Всем, кто сейчас с энтузиазмом прикручивает чат-ботов, AI-саппорт и "интеллектуальных помощников" к своим продуктам, искренне желаю однажды оказаться в ситуации, где вам самим нужно решить проблему через ваш же сраный бот. Пройти весь этот проклятый путь: от "опишите вашу проблему" до "я вас не понимаю, попробуйте переформулировать". Через бесконечные кнопки - к магическому "мы передали ваш запрос команде" (bruh, нет, конечно же). И особенно прекрасно будет, если в какой-то момент не сработает фича "позвать человека". Побудьте с этим, поговорите со своим конченым ИИ, доверьтесь ему - он же у вас умный, правда? Может, тогда внезапно окажется, что "AI-powered support!!11!" - это не совсем про помощь, а про аккуратное высоко интеллектуальное автоматизированное игнорирование клиентов. - - - Саппорт у Claude Code наглухо отбитый: решить что-либо невозможно, на почту не отвечают. Чат-ассистент уже создал 11 заявок - все без ответа три недели. Три недели, господа. В 2026 году. Ну а что - нищеброду можно и не отвечать, не корпорат же, всего-то платит 200 баксов в месяц. 🚬

#mcp #ai #devops #troubleshooting Погулил что за буква t. Буква t это free-threaded сборка, тот же Python, но без GIL. У неё другой ABI, cp314t. И колёс под cp314t у grpcio нет ни одного. Поэтому uv честно говорит, что готового бинаря под мой экзотический питон не завезли, и идёт собирать из исходников. На всех ядрах. Дважды. Самое обидное: будь у меня обычный 3.14, взялось бы готовое колесо cp314 и ничего бы не грелось. Меня наказала именно free-threaded сборка, которую я когда-то поставил глобально. Когда и зачем именно её, я вспомнил не сразу, но к этому вернёмся в самом конце. Лечение. Снёс нагрузку через pkill по билд-процессам, CPU сразу в ноль. Дальше, чтобы не повторялось, пинаю opensearch нормальный, не-free-threaded питон прямо в ~/.cursor/mcp.json:

"opensearch-homelab": {
  "command": "uvx",
  "args": [
    "--python", "3.13",
    "opensearch-mcp-server-py"
  ],
  ...
}

Проверяем, что под 3.13 всё ставится из готовых колёс:

uvx --python 3.13 --from opensearch-mcp-server-py python -c "import grpc; print(grpc.version)"
 Downloaded grpcio
Installed 61 packages in 107ms
grpc 1.81.0 on 3.13.12

107 миллисекунд вместо двадцати минут компиляции. Ни одного clang. Вот и вся разница между есть колесо под твой ABI и нет колеса под твой ABI. Маленькая засада на сладкое. После того как я убил билд, курсор его тут же воскресил, но по старому конфигу, потому что новый mcp.json он ещё не перечитал. И я снова увидел компиляцию под 3.14t. Лечится тривиально: выключить-включить MCP-серверы в настройках Cursor или рестартнуть его, чтобы он подхватил python 3.13. После этого opensearch стартует на 3.13 мгновенно, кэш уже тёплый. Первый подозреваемый, тот, что висит живым и на виду, почти никогда не виновник. mcp-grafana чуть не сел за чужое. Обнуляй факты и иди по цепочке зависимостей до конца. Транзитивные зависимости умеют больно бить. Ты ставишь MCP для опенсёрча, а получаешь сборку gRPC из исходников через два промежуточных пакета, про которые ты даже не знал. Я вообще блять ничего не понимаю почему такая реализация. Экзотика в окружении, free-threaded питон глобально, аукается там, где не ждёшь. ABI cp314t это не cp314, и весь мир пакетов, у которых нет колёс под no-GIL, начинает собираться из сорцов прямо у тебя на коленке. Проблема найдена, объяснена на 100%, пофикшена и закрыта. Кулеры выдохнули. Но остаётся ворпос: а откуда вообще взялся питон с буквой t. Раз уж вся боль из-за free-threaded сборки, логичный вопрос: кто и когда вхерачил её мне глобально. Тут я снова не стал гадать, а пошёл по следам в файловой системе и в истории шелла. Дата рождения каталога сборки в asdf:

stat -f '%SB' ~/.asdf/installs/python/3.14.3t
Mar 17 20:56:52 2026

То есть поставлено 17 марта 2026, вечером. А кто. Да я же сам, руками, в своём терминале. Вот честный след из ~/.zsh_history того же вечера:

asdf plugin add python
asdf install python latest
asdf global python latest
asdf set -u python 3.14.3t

Последовательность красивая: добавил плагин, поставил latest, а потом отдельной командой явно прибил глобально именно 3.14.3t. Буква t стоит прямо в команде, то есть это был осознанный выбор конкретной no-GIL сборки, а не случайный дефолт. И в asdf с тех пор так и живёт ровно одна версия питона, вот эта. Почему? Да хер его знает, не удивлюсь, если это агент ставил, а я тупо копипастил.🦍 - - - Так что же там у нас с бобиной? А, ну да, там же есть полное продолжение.

Мы сидели и вникали, Разбирали, собирали, Замеряли, вычисляли, Днями, сутками, ночами. Умножали и делили, Выбирали "или-или", Но машина всё ж не едет. Что за козни? Что за бредни? Мы по новой за расчёты: Может, там у нас просчёты, Может, что-то упустили, Не нашли, не уследили... Вдруг не то мы вычисляли Днями, сутками, ночами. Но машина вновь не едет, Инженер наш главный бредит. Снова мы на путь тернистый Должен быть расчёт уж чистый. Умножаем, вычисляем, алгоритмы составляем. Только было всё напрасно Лишь потом нам стало ясно: Дело было не в бобине Долбоёб сидел в кабине.