Будни сетевика

Для истории 15.10.2026 Linkmeetup v9.0 aka Связь встречаться. Для чего лично я туда хожу • Linkmeetup - площадка, где я в 2023г первый раз в жизни решил выступить/что-то рассказать. Понравилось, подсел, вчера был 4-й раз. • Разнообразие докладов - от реальной инфры и жесткой теории до «космических кораблей». Много активностей вне докладов, на которые я обычно конечно не попадаю, но мне нравится, что они есть. • Место проведения тимбилдинга нашей команды Network и CDN. 1-2 раза в год встречаем почти полным составом, все на удаленке в разных городах. • Без преувеличения, после каждого доклада «в кулуарах» возникают дискуссии с умными людьми, которые порождают новые идеи. Мы их потом идем и внедряем. 🎤 Будни сетевика 😊

Мониторим BGP и RPKI средствами BGPalerter Ранее писал, что мы внедрили RPKI-валидацию. Добрались до мониторинга, решили использовать BGPalerter - инструмент с открытым исходным кодом для мониторинга BGP-префиксов и RPKI в реальном времени, разработанный компанией NTT. Теперь получаем алерты примерно такого вида:

A new upstream of AS211609 has been detected: AS1299. Top 3 most used AS paths: 835,1299,211609 36924,1299,211609 199524,1299,211609

Полный список, что можно мониторить

• any of your prefixes loses visibility; • any of your prefixes is hijacked; • your AS is announcing RPKI invalid prefixes (e.g., not matching prefix length); • your AS is announcing prefixes not covered by ROAs; • any of your ROAs is expiring; • ROAs covering your prefixes are no longer reachable; • RPKI Trust Anchors malfunctions; • a ROA involving any of your prefixes or ASes was deleted/added/edited; • your AS is announcing a new prefix that was never announced before; • an unexpected upstream (left-side) AS appears in an AS path; • an unexpected downstream (right-side) AS appears in an AS path; • one of the AS paths used to reach your prefix matches a specific condition defined by you.

Полезные ссылки • Официальный репозиторий: GitHub - BGPalerter • Руководство на RIPE Labs: Easy BGP Monitoring with BGPalerter • Видео с LACNIC 33: Easy BGP monitoring with BGPalerter 🎤 Будни сетевика 😊

Полезная шпаргалка по настройке экспорта NetFlow Внутри собраны примеры конфигурации практически для всех вендоров и моделей сетевого оборудования. P.S. Лучше просматривать с компа (вкладка Configuring Flow Exports): на телефоне не отображается все меню, найти можно только через поиск на сайте. 🎤 Будни сетевика 😊

I Added a CDN Cache to My Site and It Got Slower. Here's the Math I Should Have Done First. История про попытку ускорить статический сайт через кэширование на CDN. Автор показывает интересный кейс, когда добавление кэширования не только не ускоряет, а наоборот замедляет. Причина в двух вещах. Во-первых, промах по кэшу(miss) стоит дороже, чем полное его отсутствие, потому что запрос всё равно пойдет к origin серверу, но по дороге тратит время на промежуточные узлы. Во-вторых, краулеры/поисковые роботы и новые посетители заходят на каждую страницу впервые, т.е. по сути никогда не попадают в кэш(hit). Автор выводит простую формулу безубыточного hit rate и показывает, что для маленького сайта с 9 посетителями в день нужный порог в принципе недостижим, а решением может быть просто перенос origin-сервера ближе. 🎤 Будни сетевика 😊

Итак, результаты опроса. Большинство (32%, 84 из 265) ответило, что 1 публичный IPv4-адрес будет стоить больше 100$ за штуку. Каюсь, исходные требования были сформулированы плохо. Стоило добавить полные условия задачи: • Купить нужно в РФ • Купить возможно только через электронную торговую площадку (ЭТП/тендер) • Адреса нужны Provider Independent (PI), не Provider Aggregatable (PA). Про разницу можно почитать тут. Под наши условия стоимость одного IP-адреса оказалась ~45$. Без тендера, напрямую можно найти за ~30$. P.S. На Avito продаются по 40€ за штуку 😅 🎤 Будни сетевика 😊

CDN Tsunami: Exploiting HTTP/3-HTTP/1.1 Conversion for DoS Attacks Опубликовано исследование CDN Tsunami, описывающее новые DDoS-атаки на CDN инфраструктуру. Здесь выжимка на русском. Если кратко, описываются два вида атак: 1. HTTP/3 Bandwidth Amplification - усиление по трафику до 350 раз. Пользователь обращается к CDN по HTTP/3, а CDN обращается к origin (где находится исходный контент) уже по HTTP/1.1, соответственно CDN нужно преобразовать запросы из одного протокола в другой. HTTP/3 сжимает заголовки с помощью QPACK и может передавать короткие индексы, а в HTTP/1.1 этого нет, отсюда и рост трафика. Максимум x350 достигается с динамической таблицей, со статической около x66. 2. HTTP/3 Connection Amplification - атака на доступные соединения. HTTP/3 позволяет передавать несколько потоков внутри одного соединения, и если CDN сразу открывает соединения к origin-серверу по HTTP/1.1, как только получит заголовки, то, медленно передавая оставшиеся данные, можно в теории исчерпать допустимое количество соединений. 🎤 Будни сетевика 😊

🩺 Network Doctor - TUI инструмент для анализа работы сети на разных уровнях. От многих подобных отличается подходом к проверке и выдаче результатов. Netdoc последовательно проверяет каждый этап подключения, фиксирует результат проверки каждого этапа и присваивает ему соответствующий статус. После диагностики утилита показывает на каком из этапов возникла проблема. https://github.com/heymaikol/network-doctor #tui #network #будничное

А еще у PTX дефолтные полисеры сильно меньше. Juniper ARP Policer on PTX

Протокол | MX | QFX | PTX ---------|--------|-------|------ ARP | 20,000 | 500 | 500 NDPv6 | 20,000 | N/A | 500 ICMP | 20,000 | N/A | 500 BGP | 20,000 | 3,000 | 5,000

🎤 Будни сетевика 😊

Model: ptx10001-36mr

Тестируем новую (для нас) железку от Juniper, ранее все маршрутизаторы были только MX серии. По архитектуре это совершенно разные устройства, что и объясняет их различия, но сегодня обращу внимание на работу Netflow, т.к. из-за этой особенности потребовалось вносить доработки в Uplink Load Balancer. Основное отличие в реализации Netflow на MX и PTX заключается в архитектуре обработки данных на уровне ASIC(чипсета). ▎Juniper MX Использует классический Flow Cache подход, когда пакет попадает в sampling, чипсет группирует пакеты в потоки непосредственно в аппаратном кеше, т.е. маршрутизатор внутри аггрегирует данные и отправляет их на Netflow-коллектор только при наступлении таймаутов (flow-active-timeout/flow-inactive-timeout). ▎Juniper PTX Каждый сэмпл - отдельный поток, т.е. каждый выбранный пакет мгновенно превращается в Netflow-запись и отправляется на коллектор. Для MX отображаются реальные значения Active Flows и таймеров, для PTX Active Flows и Flows Active Timed Out всегда равны 0.

MX> show services accounting flow inline-jflow fpc-slot 0 Flow information FPC Slot: 0 Flow Packets: 2692382297, Flow Bytes: 3040860359420 Active Flows: 101908, Total Flows: 740827238 Flows Exported: 1744767364, Flow Packets Exported: 437229188 Flows Inactive Timed Out: 306581035, Flows Active Timed Out: 432142384 Total Flow Insert Count: 308684854 IPv4 Flows: IPv4 Flow Packets: 2692382297, IPv4 Flow Bytes: 3040860359420 IPv4 Active Flows: 101908, IPv4 Total Flows: 740827238 IPv4 Flows Exported: 1744767364, IPv4 Flow Packets exported: 437229188 IPv4 Flows Inactive Timed Out: 306581035, IPv4 Flows Active Timed Out: 432142384 IPv4 Flow Insert Count: 308684854

PTX> show services accounting flow inline-jflow fpc-slot 0 Flow information FPC Slot: 0 Flow Packets: 9809092522, Flow Bytes: 14372434625376 Active Flows: 0, Total Flows: 9809092522 Flows Exported: 37824750222, Flow Packets Exported: 1804568425 Flows Inactive Timed Out: 9809092005, Flows Active Timed Out: 0 IPv4 Flows: IPv4 Flow Packets: 9809092522, IPv4 Flow Bytes: 14372434625376 IPv4 Active Flows: 0, IPv4 Total Flows: 9809092522 IPv4 Flows Exported: 37824750222 IPv4 Flows Inactive Timed Out: 9809092005, IPv4 Flows Active Timed Out: 0

На скрине количество Netflow-сообщений, которые коллектор получает от MX и PTX примерно при равном количестве трафика на маршрутизаторах и input rate 1024, т.е. сэмплируется 1 пакет из 1024. 🎤 Будни сетевика 😊

Много каналов про сетевиков не бывает, поэтому сегодня рекомендация группы @Networks_anyone и канала @Network_history_NFA. В группе очень залипательны «Турниры по администрированию» (вопросы не сложные), а в канале публикуют небольшие сетевые заметки и квизы. 🎤 Будни сетевика 😊

Заставляем Pulumi летать: тюнинг параллельности и in‑memory кэширование для VMware Cloud Director Коллега (DevOps) рассказывает про перевод управления VMware Cloud Director на Pulumi и поиск узких мест для ускорения его(IaC’a) работы. 🎤 Будни сетевика 😊

Я опять взялся за старое и в рамках подготовки к полугодовому Performance Review сделал шуточное видео про разницу грейдов. P.S. Во время съемок никто не пострадал. 🎤 Будни сетевика 😊

"Обезопасили" префиксы нашей ASN 211609 средствами RPKI У себя тоже настроили фильтрацию. RPKI (Resource Public Key Infrastructure) - это система безопасности для защиты маршрутизации в Интернете от подмены origin-AS (hijacking). ▎Как это работает 1. Regional Internet Registries (RIPE, ARIN, APNIC и др.) выдают криптографические сертификаты владельцам IP-блоков. 2. Владелец IP-блоков, желающий защитить свои префиксы, создает ROA-запись (Route Origin Authorization), в которой указывает, какая именно автономная система (ASN) имеет право анонсировать конкретный префикс, и подписывает её своим приватным ключом. Пример ROA:

Prefix: 178.18.217.0/24 Max Length: 24 Origin AS: AS211609

3. Все ROA публикуются в RPKI-репозиториях (глобальных хранилищах). 4. Специальный сервер(RPKI Validator) загружает все ROA со всего мира, проверяет их криптографические подписи и сроки действия сертификатов. Из всего, что правильно подписано и не просрочено формирует VRP (Validated ROA Payload). 5. Маршрутизаторы получают VRP через протокол RTR (RPKI-to-Router), при получении BGP update проверяется соответствие origin AS и префикса и в случае несоотвествия такой префикс отбрасывается (но в зависимости от настроек это может быть просто предупреждение в логах). Маршрутизаторы не умеют сами проверять сложные цепочки сертификатов, именно поэтому они получают от валидаторов уже готовые списки (VRP). Так выглядит VRP на Juniper MX:

>show validation database Prefix Origin-AS Session State 1.0.0.0/24-24 13335 10.1.47.36 valid 1.0.0.0/24-24 13335 10.1.47.37 valid 1.0.0.0/24-24 13335 10.77.19.36 valid

🎤 Будни сетевика 😊

Next-generation LLM Inference Network: How ZCube Alleviates Network Bottlenecks? Коллега подкинул свежую статью про сети для LLM. Китайские инженеры из Z.ai, Harnets.AI и университета Цинхуа разработали новую архитектуру ZCube, в которой заменили классический Clos на плоскую топологию и получили: • Экономия: Минус 33% на коммутаторах и оптике. • Скорость: +15% пропускной способности инференса. • Задержка: TTFT (Time to First Token) снизился на 40.6% (P99). ▎В чем магия (коротко) Раньше в ROFT (Rail-Optimized Fat-Tree) трафик KV Cache шел асимметрично, перегружая одни и те же Leaf-коммутаторы. Возникали локальные «заторы» и PFC-паузы. ZCube просто убирает уровень Spine-коммутаторов и использует гибрид single-rail / multi-rail подключения. Диаметр сети - 2 хопа, а балансировка нагрузки практически идеальная. В проде работает уже больше двух недель. Подробней с красивыми схемами - по ссылке выше. 🎤 Будни сетевика 😊

Тут писал про Capirca - Multi-platform ACL generation system. Теперь рассказываю про ее форк - Aerleon. ▎Что нового? 1. Три формата описания правил • Классический Capirca policy • YAML (удобнее на мой взгляд + легко валидировать через yamllint) • Python native 2. Появилось API • aclgen для генерации ACL • aclcheck для проверки • cgrep для поиска различной инфы по политикам 3. Один файл политики на несколько платформ/вендоров • Можно генерировать ACL сразу под разные платформы из одной политики 4. Плагины • Поддержку новых вендоров/платформ можно добавлять через плагины, а не изменяя основной код Capirca 5. Гибкие источники данных • Вместо .net и .svc в Capirca появились Json, CSV, FQDN и возможность подключить к IPAM. 6. Конвертер pol2yaml • Помогает переехать с Capirca на YAML-формат Aerleon. 7. Документация • https://aerleon.readthedocs.io/en/latest/ Capirca - отличный инструмент, который в свое время закрыл большинство наших задач по ACL. Но её главная проблема была в сложности интеграции с другими системами и инструментами. У Aerleon для этого есть всё. И бонус - история названия:

What Does Aerleon Mean? Aerleon is a fork of the Capirca project, which was originally intended to be named after the planet Caprica from Battlestar Galactica. Unfortunately, there was a typo error in the initial release of the project to the public. In recognition of the project's origins, we have chosen a different planet from Battlestar Galactica and made a slight alteration to its spelling, as a respectful nod to the source of this fork.

P.S. Будем планировать переезд с Capirca на Aerleon. 🎤 Будни сетевика 😊

Поступает традиционный частый вопрос про линкмитап – до какого дня идёт приём докладов? Отвечаем всё так же традиционным ответом – у нас нет фиксированной даты. Мы считаем, что инициативу надо поощрять, поэтому, если к нам приходят с хорошим докладом, мы не маринуем его автора в неизвестности, а сразу берём. И вот, кстати, первый доклад есть. Уже несколько раз выступавший у нас знаток сетей для тяжёлого медиаконтента Дмитрий Ипатов из Окко снова в деле и выступит с докладом о том, как они разработали свой балансировщик аплинков. Программу будем собирать тут – https://linkmeetup.ru/neindoklady Билет покупать здесь – https://linkmeetup.ru/#tickets

inspect-cert-chain - утилита для просмотра цепочки сертификатов. Удобно, не нужно возиться с командами OpenSSL. 🎤 Будни сетевика 😊

DUO мы не используем, но при обновлении на 23 версию Junos поймали аналогичную ошибку на keycloak-radius-plugin. Воркэраунды рабочие. P.S. Без подключения к виртуальной частной сети страничка не откроется. 🎤 Будни сетевика 😊