Саша пытается в SRE
Открыть в Telegram
"Оставь надежду всяк сюда входящий..." Пишу об IT и образовании, краду мемы)) Александр Зоркин | SRE Lead | Т-Банк
Больше502
Подписчики
-124 часа
-17 дней
+830 день
Загрузка данных...
Похожие каналы
Облако тегов
Входящие и исходящие упоминания
---
---
---
---
---
---
Привлечение подписчиков
июль '26
июль '26
+1
в 0 каналах
июнь '26
+12
в 1 каналах
Get PRO
май '26
+6
в 0 каналах
Get PRO
апрель '26
+11
в 0 каналах
Get PRO
март '26
+12
в 0 каналах
Get PRO
февраль '26
+35
в 0 каналах
Get PRO
январь '26
+30
в 0 каналах
Get PRO
декабрь '25
+16
в 1 каналах
Get PRO
ноябрь '25
+19
в 0 каналах
Get PRO
октябрь '25
+31
в 0 каналах
Get PRO
сентябрь '25
+33
в 1 каналах
Get PRO
август '25
+16
в 0 каналах
Get PRO
июль '25
+26
в 1 каналах
Get PRO
июнь '25
+18
в 0 каналах
Get PRO
май '25
+7
в 0 каналах
Get PRO
апрель '25
+10
в 0 каналах
Get PRO
март '25
+21
в 0 каналах
Get PRO
февраль '25
+13
в 0 каналах
Get PRO
январь '25
+21
в 1 каналах
Get PRO
декабрь '24
+22
в 0 каналах
Get PRO
ноябрь '24
+24
в 0 каналах
Get PRO
октябрь '24
+25
в 0 каналах
Get PRO
сентябрь '24
+199
в 0 каналах
| Дата | Привлечение подписчиков | Упоминания | Каналы | |
| 08 июля | 0 | |||
| 07 июля | +1 | |||
| 06 июля | 0 | |||
| 05 июля | 0 | |||
| 04 июля | 0 | |||
| 03 июля | 0 | |||
| 02 июля | 0 | |||
| 01 июля | 0 |
Посты канала
| 2 |  Доброе утро
#morning | 243 |
| 3 |  Кстати, вот как выглядят ретрансы ха-ха трансы.
Значений выше >0.1 во внутренней инфраструктуре примерно никогда не увидишь, а тут у нас такое. | 289 |
| 4 | Собсна, если это действительно происходит, то команде SRE предстоит либо ебля с параметрами ядра, либо скалирование кол-ва виртуалок в DMZ для распределения нагрузки. Об этом история умалчивает, потому что коллеги пока не приступили ни к тому ни к другому, но для своих читателей я, конечно же, оставлю материалов по этой теме:
• https://github.com/SergiyBabenkov/linux-network-buffer-tuning
• https://itnext.io/maximizing-tcp-throughput-in-linux-understanding-and-tuning-send-and-receive-buffers-92df654c415f
Печально, что с моим переходом на тимлидскую позицию я всё реже стал заниматься такими интересными вещами.
#network #sre #troubleshooting #кулстори #nginx #highload | 288 |
| 5 | Повесть о response_time > 1 секунды...
...или история о том, как я раскурил почему у нас веб тормозит. Присаживайтесь поудобнее.
Одним прекрасным днем коллеги из Т-Авто пожаловались на неприятно высокие метрики загрузки страниц на вебе по телеметрии NGINX...
Справедливости ради, эти метрики строились на nginx-prometheus-exporter. Хочу заметить, что это один из худших экспортеров в индустрии, потому что он не предоставляет абсолютно никакой детализации происходящего.
То есть если у условных HAProxy или Envoy потрясающая телеметрия, то NGINX невероятным образом отстал в развитии. Возможно, что спустя пять лет после моей последней вменяемой настройки этого балансировщика что-то и поменялось, но я крайне сомневаюсь. Хотя бы по той причине, что в Envoy калькуляция метрик заложена прямо в дизайн, а в NGINX прилеплено как "сбоку припека".
...и это довольно важное лирическое отступление, потому что по метрики NGINX, из-за свойств своего экспорера, рисовали ну просто какой-то космический latency (в районе 8-10 секунд в 95-ом перцентиле), который никак не метчился ни с экспериментальными тестами, но с данными по логам тех же запросов. Почти что какой-то random walk, но в то же время сигнализирующий о проблеме.
—
По метрикам стало бесполезно разбираться, поэтому погрузился в логи — большое спасибо ребятам из веба за настройку модуля nginx-module-vts. Модуль позволяет проливать прямо в логи запросов метрики upstream_response_time_sec, upstream_connect_time_sec и upstream_header_receive_time_sec, что должно было позволить локализовать проблему.
Запросов много, так что сразу фильтрую по медленным запросам. Спойлер: запросы по 8-10 секунд я НЕ нахожу, поэтому продолжаю понижать трешхолд. Вижу немного запросов > 2-3 секунд, но самый большой перцентаж медленных запросов попадает в диапазон ~1 секунды.
При этом, смотрим детальнее:
• upstream_connect_time_sec - в большинстве случаев > 1 секунды
• дельта между upstream_header_receive_time_sec и upstream_connect_time_sec — минимальная (!) — то есть бек всегда отвечает почти моментально!
В конфиге NGINX параметр connect_timeout выставлен в 2s, я заранее проверил. То есть это сразу наводит на мысль о каких-то проблемах с установкой коннекта.
—
Далее, я обращаю внимание на то, что 1 секунда — это дефолтный TCP-таймаут для переотправки потерянного SYN-пакета (бекофф идет по 1s → 2s → 4s → ...), согласно RFC6298. При некоторых параметрах ядра он может быть 200ms, но у нас, скорее всего, он такой и есть.
Ну а дальше у меня возникает вполне логичная мысль: а не проверить ли нам метрики node-exporter тех самых тачек NGINX, где вполне резонно могут возникать TCP-таймауты? Пытаюсь найти нужные дашборды у команды веба — не нахожу. Модифицирую свои, вывожу метрики.
Сразу листаю к секции Network и смотрю ретрансмитты пакетов, и их там туева гора. В здоровой системе ретрансмиттов TCP-пакетов возникать практически не должно, но если у вас хайлоад, то смотреть на их появление вполне резонно, потому что это явный звоночек либо на то, что у вас нестабильная сеть, либо на то что вы не перевариваете сетевую нагрузку.
—
К сожалению, тут мое расследование заканчивается на том, что я репорчу проблему команде SRE веб-сервисов, потому что у меня "не дотягиваются ручки" до виртуалок с NGINX, чтобы запустить там sar, netstat, ethtool или другие утилиты для инструментирования сетевого стека. Единственная гипотеза заключается в том, что на нодах происходит перегрузка входящих/исходящих буфферов — ситуация вполне себе ожидаемая, учитывая то какая у нас нагрузка на вебе www.tbank.ru и примыкающих к нему сервисах. | 258 |
| 6 |  Доброе утро
#morning #memes | 292 |
| 7 |  #durka | 306 |
| 8 |  Доброе утро
Всем хорошей недели
И не спрашивайте почему у меня утро начинается в обед))
#morning | 306 |
| 9 |  #sre #memes | 371 |
| 10 |  Доброе утро
Всем хороших выходных
#morning | 360 |
| 11 | Нагоняю аудиторию для Ани, чтоб не втыкала)) | 567 |
| 12 |  Митап для томских QA-инженеров и тестировщиков
В программе 2 доклада и нетворкинг:
🔵Анна Торгунакова, Т-Банк: «QA как драйвер производительности: от нагрузочного тестирования до оптимизации кода»
🔵Евгений Деркач, ИнфоТеКС: «Манифест осознанной рутины: 6 шагов к устойчивому QA»
🕥Когда: 30 июня, 19:00 Тск
📍Где: ул. Советская 78, 4 этаж (БЦ «The Елань»)
Регистрация и подробная программа: https://l.tbank.ru/tqa3006 | 551 |
| 13 |  #durka | 523 |
| 14 |  Доброе утро
#morning | 534 |
| 15 |  #cheburnet #memes | 548 |
| 16 |  Каждый раз перекрещиваюсь, когда собираюсь новый мем про VPN запостить
#cheburnet #durka | 388 |
| 17 |  Доброе утро
#morning | 430 |
| 18 |  #memes | 567 |
| 19 |  Простите))
#memes | 508 |
| 20 |  Доброе утро
#morning | 475 |
