Типичный Сисадмин

😎 Как комьюнити спасало Телегу от РКН и как Дуров примазался к чужому коду. Еще одна детективная история. Несколько дней как по всем профильным каналам форсится копипаста о том, что гениальная команда Павла героически обновила десктопный клиент до v6.7.2, закрыла уязвимость в ClientHello и в соло победила Роскомнадзор 😗 Спойлер: это наглый, эталонный маркетинговый звиздёж. На Хабре вышло эпичное расследование, где видна истинная работа цифрового сопротивления... официальная команда Telegram не сделала для обхода блокировки ровным счетом НИ-У-Я, пока энтузиасты не принесли им готовое решение. Слухи о том, что ТСПУ начнут душить MTProxy по TLS-фингерпринтам, ходили еще с начала года. У разрабов ТГ было минимум 3 месяца на аудит. Но они забили болт. А 1 апреля товарищ майор дернул рубильник, и FakeTLS отвалился. Как выяснилось, невероятно топовая маскировка под браузер в клиенте Телеги была написана левой пяткой. Во-первых, клиент слал расширение с несуществующим кодом 0xFE02 (древний мусор), тогда как современные браузеры юзают стандартный 0xFE0D для ECH (Encrypted Client Hello). Во-вторых, публичный ключ X25519 по всем законам математики обязан занимать ровно 32 байта. А код Телеги почему-то генерировал 20 байт. Для DPI-фильтра это даже не сигнатура, это как огромный неоновый билборд над пивнушкой вечером... но с вывеской "Я НЕ БРАУЗЕР, ДРОПАЙ МЕНЯ! Я ХОЧУ ЧТОБ ТЫ ЛОМАЛ МЕНЯ!" 🎧 Пока Дуров молчал и собирал по 3к рублей за Премиум-подписки на два года вперед 💰, суровые безымянные опенсорсники (из проекта telemt) расчехлили Wireshark. Они побайтово сравнили пакеты Хрома и Телеги, нашли кривые оффсеты, переписали код, оттестировали всё на живых сетях разных провайдеров РФ и принесли официальному мейнтейнеру (john-preston) готовый, разжеванный Pull Request за номером 30513. А теперь вкусное... Что делает мейнтейнер? Он молча вмердживает минимальный кусок кода из PR с отпиской... Inspired by wide internet discussions. А на следующий день с двух ног на танцпол влетает 💃Павел Дуров в белом пальто и выкатывает пафосный пост про 65 миллионов россиян, про банковский коллапс и главное... "С нашей стороны, МЫ будем адаптироваться и усложнять детекцию". Мы?! Ваша сторона, чуваки, просто скопипастила два байта, которые за вас запилили и отладили анонимы из чатов. Инженерный процесс - ноль из десяти, маркетинг - десять из десяти 🎩 Главный фейл в том, что этот хайповый патч 6.7.2 выкатили только на Десктоп. А в основе мобильных iOS и Android-клиентов лежит ядро tdlib, в котором зашиты ровно те же самые кривые 20 байт вместо 32! То есть миллионы мобильных юзеров продолжали сосать лапу и ловить таймауты, пока комьюнити не пошло пилить отдельные PR-ы и для мобилок. Вот и получается, что настоящее цифровое сопротивление - это не пафосные посты миллиардеров из Дубаев. Это безымянные инженеры, которые после работы по ночам реверсят правила DPI и пишут патчи за тех, кто получает за это ЗПшку. Никакого Viva la resistance. Люди просто хотят, чтобы их бабушки могли отправить им картинку с котиком 😐. Сообществу telemt респект за аптайм 🤗 Типичный 🥸 Сисадмин

😬 РКН перевел стрелки за падение банков на кривой деплой Сбера. Продолжение недавнего поста про эпичное падение, когда легла СБП, терминалы в магазинах и банков страны. Многие тогда дружно (и вполне логично) подумали про Роскомнадзор, который своими ТСПУ пытался задушить VPN-трафик. Эту же версию публично озвучила и глава InfoWatch Наталья Касперская, пояснив, что нельзя рубить туннели, не сломав при этом интернеты. Но не прошло и суток, как случился былинный сеанс переобувания в воздухе 🎩 После поста Касперской на личный телефон позвонил глава РКН. И после задушевной беседы риторика резко поменялась. Официальным козлом отпущения торжественно назначили Сбербанк. По версии РКН, зеленый банк просто выкатил на прод обновление своей антифрод-системы. Патч оказался настолько кривым, что намертво положил ядро эквайринга. А так как Сбер это монополист, на чьей биллинговой инфраструктуре плотно сидит куча других банков, то по принципу домино в небытиё улетели и они, прихватив с собой СБП. Чтобы добавить хаоса в этот ИТ-детектив, события пояснила контора Vendista (вендор терминалов бесконтактной оплаты). Поданным их логов... оказывается, 4 апреля в 4 утра по Москве в питерском ДЦ Миран тупо моргнуло электричество 🙂 Из-за обесточки отвалились сразу 4 магистральных провайдера и сервера платежного агрегатора, который обслуживал ВТБ, Т-Банк и Альфу. Касперская справедливо жалуется, что Минцифры вообще забило болт на коммуникацию с бизнесом... но если абстрагироваться от поиска виноватых, вырисовывается интересная архитектурная картина. Даже если РКН реально ни при чем, то вся отечественная финтех-инфра имеет гигантскую единую точку отказа. Один кривой коммит в антифрод Сбера или один не заведшийся дизель-генератор 😮 в питерском ЦОДе способны парализовать банковский сектор страны на N часов. Регуляторы и корпорации играют в горячую картошку, перекидывая ответственность друг на друга 🤝 Типичный 🥸 Сисадмин

Linux / Линукс 🥸

«Я вроде что-то знаю, но цельной картины нет» 🧩 Мы знаем, что путь в управление надежностью (SRE) может быть непростым — нужно разбираться и в коде, и в железе, и в процессах, и даже в психологии. Становится особенно трудно, когда не понимаешь, что от тебя требуется и с чего начать. Если вы готовы реально потрудиться, чтобы сделать большой шаг в направлении SRE, то приходите на обучение. 📌 Старт уже 6 апреля, но вы еще успеваете в группу! Вы получите: — Не гугловскую теорию, а рабочий опыт инженеров из российских компаний. — Не фантазийные задания, а практику в условиях, максимально имитирующих реальность SRE-инженера. — Не фрагментарные знания, а целый набор необходимых скиллов для того, чтобы развиваться в SRE. 🔥 Набор в группу закроется на днях. Изучите программу и оставляйте заявку — ТУТ 👈🏻

Этот запах в серверной 🤮 Типичный 🥸 Сисадмин

💊 Столлман был прав. Вся эта возня с легальным шпионажем банков и маркетплейсов за твоим VPN вскрывает глубокий экзистенциальный факап. Давайте смотреть правде в глаза... ты отвалил ~100к деревянных за кусок стекла и кремния, но по факту ты на нем даже не root. Твой девайс тебе не принадлежит. Это просто арендованный корпоративный зонд, где проприетарная ОС разрешает любой коммерческой приложухе парсить твои системные API, читать состояние сетевых интерфейсов и сливать телеметрию на сторону. В этой архитектуре пользователь - просто бесправная кормовая база для любой бигдаты 👦 Мы окончательно оказались внутри матрицы, где закрытый проприетарный код решает, можно ли тебе зайти в интернет или пора сдать твой IP. Истинный контроль возвращается только через разлоченный бутлоадер, кастомные прошивки, выпиленные Гугло-сервисы и тотальный FOSS на всех уровнях, а если совсем невмоготу - песочницы. Красная или синяя таблетка? 👾 Типичный 🥸 Сисадмин

Помните недавний пост о том, как Минцифры планирует обязать Сбер, Яндекс, Ozon и прочих гигантов вычислять и сливать в РКН айпишники пользовательских VPN? В сети появились детали методички для разрабов этих сервисов. Препарируем 😮 Регулятор нарисовал красивый план деанона... сначала чекаем IP на нестыковки по гео (был в Москве, через секунду в Нидерландах), затем лезем в системные API самого смартфона и проверяем наличие активного туннеля. И всё бы ничего, но на втором этапе есть проблема корпоративных политик Apple (да и с шелтером Android). В методичке Минцифры признало... выявлять VPN на iOS существенно ограничено и почти невозможно. Архитектура iOS жестко изолирует приложения. А вот в неподготовленном Android есть прекрасные штатные классы ConnectivityManager и NetworkCapabilities. Любое приложение (от банка до доставки еды) может дернуть этот API (если всё по дефолту) и система выдаст данные. После этого кастомный IP отправляется в базу блокировок РКН. В методичке подсветили и слепые зоны, почему алгоритм может не сработать ✍️: 🟢Вы подняли тоннель прямо на домашнем роутере. Для смартфона это выглядит как чистый Wi-Fi. 🟢Вы используете Split Tunneling. Если трафик маркетплейса идет напрямую через провайдера, а в туннель завернута только Телега. 🟢Вы обмазались виртуалками или контейнерами. 🟢Полный список на картинке к посту. Дедлайн внедрения - 15 апреля 🙂 Типичный 🥸 Сисадмин

Трассировка маршрута от дома до работы 🎩 #предложка Типичный 🥸 Сисадмин

Андрюха, по коням! У него TTL пакета подозрительный! - кричит корпоративный файрвол и дропает сессию собственного удаленщика из соседнего отдела 😁 @itmemas

IT-компании заморозят госпроекты из-за новых правил Минцифры 🤨 Так вышло, что государственный крестовый поход против VPN выстрелил в ногу импортозамещению. После закрытых ультиматумов от Минцифры российские IT-компании начали массово ставить проекты на паузу. Как оказалось, львиную долю критической инфраструктуры и госзаказов до сих пор тянут на себе сеньоры, работающие из-за рубежа, которые отвалятся, если платформы по указке сверху начнут глушить зашифрованный трафик. Чтобы вычислять крамольный трафик, IT-гигантам (от Сбера до Ozon) придется за свой счет разворачивать тяжелые скоринговые модели. Система должна будет в реальном времени анализировать кучу параметров устройства и угадывать, реально ли человек сидит через VPN или просто улетел в командировку в условный Казахстан. Стоить это будет десятки миллионов рублей в месяц на железо и поддержку, а в нагрузку сервисы получат неизбежное замедление работы и шквал ложных блокировок легальных клиентов. Но если не согласиться на это, то можно лишиться аккредитации Минцифры или вылететь из белого списка. По сути, государство решило проблему нехватки ресурсов на цензуру, просто переложив все расходы и репутационные риски на плечи самого бизнеса 😕 Типичный 🥸 Сисадмин

Зато никто не отвлекает! Уютная гермозона, куда не проникает дневной свет и крики детей 😬 #предложка Типичный 🥸 Сисадмин

😮 Кто-то задеплоил в пятницу и уронил банковский сектор РФ. Сегодня, примерно с 10 утра по Москве графики мониторингов (Detector404, Сбой_рф) улетели в стратосферу. Лежит вообще ВСЁ, где крутятся деньги... Сбербанк, ВТБ, Альфа, Т-Банк и СБП. Официалы из НСПК (тот что оператор карт Мир) уже открестился... типа, наши сервера работают штатно, это на стороне банков сбой. Но если одновременно падает весь топ-5 банков, СБП и рандомные внешние сервисы, то это ниразу не локальный баг. Пахнет классическим ковровым бомбометанием на магистральном уровне. Варианта два: 🟢 Кто-то из крупнейших магистралов эпично пролюбил анонсы маршрутов или обновил зоны так, что API-шлюзы банков потеряли связность друг с другом и с интернетом. 🟢 РКН опять выкатил на железки ТСПУ новые боевые правила фильтрации. В итоге DPI-коробки не вывезли регулярок, поперхнулись и начали дропать ВООБЩЕ ВСЕ защищенные TCP-сессии подряд, включая межбанковский эквайринг. Лес рубят - транзакции летят в /dev/null 😱 Возвращаемся в эпоху наличных и никогда не пушьте на прод перед выходными. Типичный 🥸 Сисадмин

Помните это чувство? ☹️ Типичный 🥸 Сисадмин

Почему 1 апреля массово сломался MTProxy, при чём тут фингерпринт Telegram и как с этим жить 1 апреля (и это не шутка) в РФ выкатили новый алгоритм фильтрации, от которого массово полегли MTProxy и telemt. Причем полегли хитро... прокси вроде коннектится, но сообщения не уходят, медиа висит в вечной загрузке, а потом всё отваливается с концами. В чатах начались бурления. Если расчехлить Wireshark и посмотреть на TCP-дамп, открывается занимательная картина. Соединение успешно устанавливается, клиент отправляет пакет TLS ClientHello (приветствие, начало защищенной сессии)... и всё. Дальше глухо. Вместо ответа от сервера клиент получает либо молчание и уходит в TCP Retransmission (пытается достучаться снова и снова), либо ему прилетает фейковый RST (Reset) пакет. Что любопытно, этот RST пакет походу подделывает оборудование ТСПУ... оно спуфит IP, порт и sequence number, заставляя железо думать, что это сервер разорвал коннект. Но никакого тотального DPI-анализа всего трафика (как многие боялись) пока нет. РКН тупо бьет по TLS-фингерпринту клиента ТГ. Немного про фингерпринт... это набор параметров в ClientHello (порядок cipher suites, extensions, supported groups и т.д.), который уникален для каждого софта. Как оказалось, у Телеги этот отпечаток весьма специфичный. ТСПУ просто видит этот характерный набор байт и дропает пакеты или шлет RST. Энтузиасты уже провели эксперимент... взяли исходники Telegram Desktop, слегка поменяли параметры ClientHello, пересобрали бинарник - и случилось чудо! Все заблокированные прокси (даже с ee префиксом) моментально ожили и начали работать без единого обрыва на разных провайдерах. Ситуация сводится к классической игре в кошки-мышки, когда РКН пилит сигнатуру -> ТГ выпускает патч, меняющий отпечаток клиента -> РКН будет искать новую сигнатуру. Тех, кто сидит на своих тоннелях это не зацепило... остальные ждут обнову Телеги, ну а самые красноглазые попробуют собрать клиент из исходников со своими параметрами TLS. Типичный 🥸 Сисадмин

Минцифры привлекает Сбер, Яндекс, Ozon (и остальной крупняк) сообщать на людей, кто юзает VPN 👮‍♂️ Походу вычислительных мощностей ТСПУ не хватает и борьба с обходом блокировок ложится на плечи бизнеса... Топ-менеджмент 20+ крупнейших российских площадок (Яндекс, VK, Ozon, Wildberries, Авито, Сбер, etc) получил сообщение. К 15 апреля им необходимо внедрить у себя блокировку юзеров, которые заходят на их платформы через VPN. Забыл выключить туннель перед тем, как заказать корм коту на ВБ или проверить баланс в банке? Лови заглушку... Доступ запрещен 😶 Но самая вкуснятинка в другом. Корпорациям раздали методички, как с помощью их корпоративного антифрода (анализ отпечатков браузера, утечек WebRTC, TTL пакетов, нестыковок таймзон и геолокации) вычислять новые, еще не заблокированные узлы. Вычислив твой личный, свежеподнятый VLESS-сервер где-нибудь в Нидерландах, условный маркетплейс дропнет твою сессию, плюс он будет обязан автоматически слить этот новый IP-адрес регулятору. Тот кто это придумал - гениально превратил ИТ-гигантов в распределенный DPI-зонд, который будет пополнять базу банов руками крупняка. Истинный краудсорсинг цензуры во всей красе 😬 Почему бизнес согласится? Ведь никто в здравом уме не хочет резать себе конверсию и отпугивать живых юзеров с деньгами. Но Минцифры выкатило предложение, от которого невозможно отказаться.... Кто не будет вычислять и сдавать VPN-щиков, тот лишится IT-аккредитации, дропнется из списка обязательной предустановки на смартфоны, а главное - кикнут из белых списков РКН. То есть при следующем ковровом шатдауне интернета вы ляжете вместе со всеми. Выбор без выбора? 🤔 Что будет дальше... во-первых, нас ждет эпичный парад ложных срабатываний, т.к. отличить легитимный корпоративный VPN удаленщика от туннеля для обхода блокировок технически почти нереально. Во-вторых, для простых смертных наступает новая эра. Если раньше они лениво заворачивали весь трафик роутера (или телефона) в туннель и не парились, то теперь это путь к самоубийству твоего личного уютного VPS-сервера. Зашел в Ozon через свой прокси -> Ozon сообщил в РКН -> твой IP в бане по всей стране ⚰️ Бабушки уже начинают разбираться в таблицах маршрутизации 😬 Типичный 🥸 Сисадмин

Google Диск научился откатывать файлы после атаки шифровальщиков ⌨️ Десктопный клиент теперь умеет замечать подозрительное шифрование файлов, останавливать синхронизацию и уведомлять владельца с админом. После этого можно откатить файлы группой к состоянию до атаки, не поштучно, а разом. Алгоритм чуть подкачали и новая версия распознаёт вредоносное шифрование в 14 раз чаще предыдущей. Откат файлов доступен всем, включая личные аккаунты. А вот раннее обнаружение шифрования только для платных тарифов Google Workspace (Business, Enterprise). Шифровальщик всё ещё проникает, всё ещё работает, просто теперь можно вернуть как было. Но если раньше после атаки на Google Диск оставалось только смотреть на зашифрованные файлы, то теперь хотя бы есть план Б. А для платных и план А 😷 Типичный 🥸 Сисадмин

Надёжность и сети, или почему скорость перестроения STP уже очень давно никому не нравится? Открытый урок курса «Сетевой инженер. Продвинутый уровень» Надёжность сети — это не абстрактное «должно работать», а конкретные механизмы, которые определяют, как быстро сеть переживает сбои и насколько безболезненно восстанавливается после изменений. И если раньше медленное перестроение STP казалось допустимым, то в современных сетях такой подход уже давно перестал устраивать инженеров. 📅 На открытом уроке 08 апреля в 20:00 разберём: — Почему тема надёжности в сетях не такая простая, как кажется на первый взгляд. — Как работает один из механизмов повышения надёжности сети, и обсудим, как со временем менялись требования к отказоустойчивости и скорости восстановления. — Как именно работает механизм обеспечения надёжности и почему к нему предъявляют всё более жёсткие требования.

Урок не для тех, кто хочет услышать набор «правильных команд» без понимания причин, почему сеть ведёт себя именно так, и не для тех, кто считает, что надёжность заканчивается на резервном канале.

👉 Записаться: https://otus.ru/lessons/setevoy-inzhener Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🏥 Зачем платить за серверный шкаф, если есть сварочный аппарат и ржавый стальной профиль... отдельно стоит отметить топливный генератор прямо рядом с корзиной дисков. А еще неплоха на систему отвода газов... обычная оцинковка, алюминиевый скотч и вера в хорошую тягу. Кароч, тут прекрасно всё, респектую гению 🥂 Типичный 🥸 Сисадмин

Тот сладкий момент после удачного рейда на корпоративное списание 🎩 Главная проблема сейчас - не как объединить этих стариков в Docker Swarm через Proxmox, а как незаметно пронести весь этот лут мимо жены на балкон. #предложка Типичный 🥸 Сисадмин

DBaaS в Deckhouse: автоматизация управления базами данных Базы данных часто живут своей жизнью: разные движки, ручные операции, обновления «по инструкции», а каждая новая среда собирается немного иначе. Чем больше сервисов, тем больше времени уходит на эксплуатацию и поддержку. На вебинаре покажем, как подход DBaaS в Deckhouse помогает автоматизировать жизненный цикл баз данных и снизить количество ручных операций.

В программе: – почему управление БД усложняется в современных инфраструктурах; концепция DBaaS в Deckhouse; – жизненный цикл сервиса: build → deploy → run → update → optimize; – как автоматизация снижает количество ручных операций; – экспресс-демо пользовательского сценария.

3 апреля в 12:00, онлайн 👉 Зарегистрироваться