Backend VK Hub
Ir al canal en Telegram
Комьюнити VK для бэкендеров. Cамые хардовые кейсы, дискуссии в кругу своих и прямой доступ к нашим экспертам 😎
Mostrar más1 161
Suscriptores
+1924 horas
+507 días
+3930 días
Archivo de publicaciones
1 161
📢 28 ноября VK проведёт конференцию VK JT Видео для тех, кто разрабатывает технологии обработки, доставки и воспроизведения видеоконтента.
Инженеры VK, Яндекса, Иви, КИОН и других компаний расскажут о реальных задачах разработки и решениях, которые уже применяются в работе сервисов.
Обсудим:
🔹как в VK оценивают работу алгоритмов адаптивного выбора качества видео
🔹как обучают нейросетевые ABR-модели и собирают для них сетевые данные
🔹как Иви сократил расходы на видеотрафик более чем на 40%
🔹как КИОН добился экономии до 20% на CDN
Откроет конференцию ведущий научный сотрудник Института ИИ МГУ Дмитрий Ватолин с исследованием видеохостингов, онлайн-кинотеатров и кодеков 2026 года.
После докладов — живая подкаст-дискуссия и общение с коллегами.
🗓 28 ноября, сбор гостей с 16:00
Формат — только офлайн, без трансляции.
➡️ Регистрация
#backendvkhub #конференция #видео
20 nov, 04:20
1 161
+5
Переезд с Node.js 24 на 26 LTS «Lithium»: что сломается и что получим
28 октября Node.js 26.13.0 стал LTS под именем «Lithium». Нового кода в релизе нет, поменяли только метаданные. 26 ветка получит обновления до конца апреля 2029 года, а 24 — до конца апреля 2028.
Прыжок с 24 на 26 проходит через нечётную 25 ветку, и её ломающие изменения достаются нам вместе с 26. Главные касаются окружения: Linux-бинарникам теперь нужна libatomic, а Corepack из поставки убрали.
➡️ В карточках разбираем график релизов, образы, удалённые API, новые умолчания и API, а в конце — порядок переезда.
#backendvkhub #lithium #node
19 nov, 04:25
1 161
Первая половина ноября выдалась щедрой на заплатки. В PostgreSQL закрыли сразу 52 уязвимости, в Apache httpd — критическую RCE в HTTP/2, а в Go и Git исправили ошибки, из-за которых чужой код мог выполниться при сборке и при клонировании. Без драмы вышли .NET 11 и юбилейный Rust 1.100.
🔹PostgreSQL: 52 уязвимости и прощание с 14 версией
12 ноября вышли 18.7, 17.12, 16.16, 15.20 и 14.25. Самые опасные уязвимости получили 8,8 балла по CVSS и позволяют выполнить произвольный код, например через вредоносный архив для
pg_restore. После обновления может понадобиться REINDEX для части индексов. Для PostgreSQL 14 этот выпуск последний.
🔹Apache httpd 2.4.71: RCE в mod_http2
11 ноября в Apache закрыли критическую CVE-2026-119618. Гонка в функции assign_headers() повреждает память в куче и может привести к удалённому выполнению кода. Уязвимы версии с 2.4.55 по 2.4.70, то есть все, которые выходили с января 2023 года, если включён mod_http2.
🔹Node.js: 16 уязвимостей, в основном в HTTP/2 и TLS
11 ноября вышли 22.23.5, 24.22.3 и 26.13.1. Одна из семи уязвимостей высокого уровня позволяет любому клиенту уронить HTTP/2-сервер на ветках 24 и 26. Другая при определённом устройстве обработчика заставляет HTTPS-сервер подмешивать в ответ куски своей памяти. Предыдущий такой выпуск был всего три недели назад.
🔹Go: опасная сборка
10 ноября вышли Go 1.27.4 и 1.26.11, закрывающие 12 уязвимостей. Почти все они связаны с cgo: вредоносный пакет мог выполнить код прямо во время сборки через флаги в #cgo, файлы .syso или вызов pkg-config. Тем, кто собирает чужой код в CI, стоит обновиться первыми.
🔹OpenSSH 10.6p2: вход по любому длинному паролю
5 ноября вышло исправление для сборок на musl без PAM, в первую очередь для Alpine. В учётную запись, где вместо хеша пароля стоит звёздочка, можно было войти с любым паролем длиннее 257 символов: функция crypt() из musl возвращала ту же звёздочку, и проверка проходила. Если обновиться сразу не получается, парольный вход лучше отключить через PasswordAuthentication no.
🔹Git 2.56.1: опасное клонирование
10 ноября в Git закрыли шесть уязвимостей. Самая неприятная связана с git clone --recurse-submodules: вредоносный репозиторий мог подменить каталог .git подмодуля символической ссылкой и выполнить код. Уязвимы все версии начиная с 2.27.0, исправления есть для веток с 2.50 по 2.56.
🔹.NET 11
10 ноября вышел .NET 11 — STS-релиз с поддержкой на два года. В C# 15 появились union types, и компилятор проверяет, что switch разбирает все варианты. В тот же день закончилась поддержка .NET 8 и 9.
🔹Rust 1.100: пауза перед свежими зависимостями
12 ноября вышел Rust 1.100, в котором наконец стабилизировали тип !. Бэкендерам полезнее новинка в Cargo: настройка global-min-publish-age = "3 days" заставляет пропускать версии пакетов моложе трёх дней. Это простая защита от части атак через свежие вредоносные релизы.
#backendvkhub #дайджест17 nov, 09:15
1 161
JDK 27: G1 по умолчанию в маленьких подах и рост RSS
➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию во всех окружениях (JEP 523). До JDK 26 включительно JVM выбирала G1, только если видела хотя бы два процессора и 1 792 МиБ памяти, а иначе брала Serial.
В контейнере JVM берёт число процессоров и объём памяти из cgroup. Поэтому поды с лимитом 1 CPU или с лимитом памяти меньше 1 792 МиБ годами работали на Serial, и мало кто это замечал.
Каких подов коснётся переход? Однопроцессорными дело не ограничивается. В нашем тесте под с 2 CPU и 1 ГиБ на JDK 21 тоже получил Serial, на этот раз из-за памяти. Проверить, какой сборщик работает, можно у запущенного процесса через
jcmd <pid> VM.flags или при старте с -Xlog:gc:
java -Xlog:gc -version 2>&1 | grep Using
# JDK 21, 1 CPU / 1 ГиБ: [...][info][gc] Using Serial
# JDK 27, те же лимиты: [...][info][gc] Using G1
Главный эффект перехода — рост RSS. Мы запустили в cgroup на 1 CPU и 1 ГиБ синтетический однопоточный сервис с 80 МиБ живых данных. Xmx по умолчанию был 256 МиБ. На JDK 21 с Serial пиковый RSS был 181 МиБ, на JDK 27 с G1 — 297 МиБ, на 64% больше. JDK 27 с явным -XX:+UseSerialGC уложился в 170 МиБ. По общему времени прогона G1 и Serial на JDK 27 шли почти вровень.
Откуда разница? G1 подбирает размер heap так, чтобы сборка занимала небольшую долю процессорного времени, поэтому в нашем тесте committed heap у него держался почти на уровне Xmx: 245 из 256 МиБ. Serial при тех же данных держал heap в пределах 120–160 МиБ.
Смена сборщика объясняет меньшую часть разницы: JDK 21 с явным G1 в том же тесте показал около 205 МиБ RSS, а изменения в самом G1 между JDK 21 и 27 добавили ещё около 90 МиБ. Тикет JDK-8385348 о росте потребления памяти с JDK 25 до 27 закрыли как Won’t Fix. Флаг -XX:SoftMaxHeapSize не снизил RSS: G1 пока не учитывает его (JDK-8236073).
Выигрыш G1 виден в другом сценарии, где объекты регулярно уходят в старое поколение. Там RSS у G1 был всего на 10% больше, чем у Serial, а максимальная задержка запроса у G1 — 55–65 мс, у Serial — около 100 мс. Полных сборок за прогон у G1 не было, у Serial их было 34.
Подвести при переходе могут и флаги запуска. Некоторые команды включали G1 в маленьких подах через -XX:+AlwaysActAsServerClassMachine. JDK 27 выводит предупреждение и игнорирует этот флаг, а JVM из JDK 28 EA с ним вообще не запускается: Unrecognized VM option 'AlwaysActAsServerClassMachine'. С NeverActAsServerClassMachine то же самое.
➡️ Перед переходом на JDK 27 смотрим, какой сборщик работает в каждом маленьком поде. Если там Serial, а лимит памяти подбирали по фактическому RSS, выбираем сборщик по профилю нагрузки. В подах, где объекты регулярно уходят в старое поколение и важны задержки, переходим на G1 и поднимаем лимит до суммы Xmx и нативной памяти. В остальных задаём -XX:+UseSerialGC. Флаги *ActAsServerClassMachine убираем из манифестов сразу.
#backendvkhub #jdk12 nov, 04:05
1 161
В Go 1.27 после
resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256 KiB и 50 мс на дочитку. У ответа с Content-Length всё тело должно уложиться в 256 KiB, у chunked-ответа — только непрочитанный остаток. До 1.27 Transport закрывал соединение, если тело не было прочитано до конца, и следующий запрос открывал новое TCP-соединение, а для HTTPS ещё и проходил TLS-рукопожатие.
Какого кода это касается? Того, который смотрит только на статус: проверок health-check, вебхуков, обработки ошибок. И самого частого случая, когда json.NewDecoder(resp.Body).Decode(&v) читает объект и останавливается, а в соединении остаётся хвост chunked-ответа. В нашем тесте сервер досылал завершающий chunk через 2 мс. На Go 1.25 каждый из 500 HTTPS-запросов открыл новое соединение, на Go 1.27 соединений было около 170, а среднее время запроса упало с 2,3-2,6 до 0,7-1 мс.
resp, err := client.Do(req)
if err != nil {
return err
}
defer resp.Body.Close() // в 1.27 соединение вернётся в пул
if resp.StatusCode != http.StatusOK {
return fmt.Errorf("status %d", resp.StatusCode)
}
return json.NewDecoder(resp.Body).Decode(&v)
Почему соединений всё же около 170? Дочитка асинхронная: Close() сразу возвращает управление, а фоновый цикл транспорта дочитывает остаток. В пул соединение попадает только после дочитки, и если следующий запрос стартует раньше, он открывает новое. Явная дочитка через io.Copy(io.Discard, io.LimitReader(resp.Body, 64<<10)) в том же тесте обошлась одним соединением, но каждый запрос ждал хвост и занимал 2,6 мс.
Если лимит превышен или хвост не успел прийти за 50 мс, всё остаётся по-старому: соединение закрывается. Отключить механизм через GODEBUG нельзя, он работает в любой программе, собранной тулчейном Go 1.27, независимо от версии в go.mod. Выключить его можно только вместе с повторным использованием соединений: для всего транспорта через Transport.DisableKeepAlives, для отдельного запроса через req.Close = true. На HTTP/2 механизм не распространяется.
В release notes предупреждают тех, кто задаёт Transport.MaxIdleConns равным 0 (без лимита) или создаёт отдельный Client на каждый запрос: простаивающих соединений станет больше, и производительность может упасть. Версию берём не ниже 1.27.2 от 8 октября. В ней исправили дедлок при одновременном вызове Read и Close у тела ответа (#81411) и гонку при доступе к Response.Trailer во время дочитки (#81522). Актуальная версия — 1.27.3 от 19 октября.
Начинать можно с поиска ручной дочитки в клиентах. Дочитку без лимита убираем: на большом теле она читает его целиком, а на медленном потоке зависает. Вариант с io.LimitReader оставляем только там, где соединение должно вернуться в пул до следующего запроса.
А у вас в HTTP-клиентах стоит ручная дочитка перед Close()?
#backendvkhub #go10 nov, 04:37
1 161
JDK 27: JFR сам скрывает секреты в записи, но не все
➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секреты в записи на
[REDACTED] (JEP 536). Под замену попадают значения переменных окружения и системных свойств с подозрительными именами, а также аргументы командной строки, совпавшие с масками.
До версии 27 значения PGPASSWORD, -Djavax.net.ssl.keyStorePassword и --token лежали в файле .jfr открытым текстом и вместе с записью уходили в тикеты.
Как JFR решает, что перед ним секрет? По маскам с * и ? без учёта регистра. Для имён переменных и свойств это *password*, *pwd*, *secret*, *token*, *api*key*, *auth* и ещё несколько. Для аргументов есть и парные маски вроде -*password *: они скрывают опцию вместе со значением, которое идёт следующим аргументом.
Маски проверяют только имена, поэтому секрет под непредусмотренным именем или внутри значения остаётся открытым. В нашем тесте на 27.0.1 открытыми остались DB_PASS, DATABASE_URL=postgres://app:pw@db/app, -Dapp.db.pass и аргумент --db-url postgres://u:pw@h/db. JFR скрыл свойство -Dspring.datasource.url=jdbc:…password=… в списке аргументов JVM, но в событии jdk.InitialSystemProperty оставил его значение открытым. Обратная проблема — лишние срабатывания: *pwd* скрывает PWD и OLDPWD, и рабочий каталог пропадает из записи.
Свои маски добавляем через +, иначе стандартный список заменяется целиком:
printf '*pass\n*_url\n*.url\n' > k.txt
printf '*://*:*@*\n' > a.txt
java '-XX:FlightRecorderOptions:redact-key=+@k.txt,redact-argument=+@a.txt' \
-Xlog:jfr+redact=debug -XX:StartFlightRecording:filename=app.jfr -jar app.jar
redact-key проверяет имена переменных и свойств, redact-argument — аргументы, а маска *://*:*@* ловит URL с логином и паролем. -Xlog:jfr+redact=debug печатает, загрузились ли файлы с масками и какие переменные скрыты. Если файл с масками не читается, JVM завершается при старте. Механизм полностью отключается опцией redact-argument=none,redact-key=none.
JFR не трогает событие jdk.ProcessStart с командами дочерних процессов, а jcmd <pid> VM.command_line и /proc/<pid>/cmdline показывают аргументы без маскировки. Слишком короткая маска для аргумента задевает и переменные окружения: текст скрытого аргумента заменяется на [REDACTED] и в их значениях. С маской -p * и аргументом -p v значение api-pr-preview.example.com превратилось в api[REDACTED]r[REDACTED]re[REDACTED]iew.example.com.
📌 Перед переходом на JDK 27 прогоняем реальный стартовый скрипт с -Xlog:jfr+redact=debug, смотрим запись через jfr print и добавляем маски под имена своих переменных и свойств. Записи JDK до 27 перед отправкой наружу чистим командой jfr scrub, которая есть в JDK 19 и новее. --exclude-events убирает события InitialEnvironmentVariable, InitialSystemProperty, ProcessStart и JVMInformation с аргументами JVM и приложения.
#backendvkhub #jdk #jfr05 nov, 04:44
1 161
Что происходило в бэкенде во второй половине октября 2026
Вторая половина октября выдалась нервной: почти каждая новость сводилась к «обновитесь». Ключи промежуточных сертификатов eMudhra оказались скомпрометированы, в PHP закрыли две RCE с оценкой 9,2 по CVSS, а на PyPI почти два часа лежал litellm с вредоносным кодом. Главные новости собрали в короткий дайджест.
🔵 eMudhra: сертификаты, которым больше нельзя верить
17 октября Google получила сообщение, что ключи восьми промежуточных CA eMudhra скомпрометированы: ими можно подписать поддельный TLS-сертификат для любого домена. Go 1.27.3 и 1.26.10 от 19 октября перестали доверять «небольшому набору промежуточных сертификатов». Какой это CA, в анонсе не сказано. Node.js 21 октября удалил корни eMudhra из хранилища, а Python 3.15.2 от 25 октября отклоняет эти сертификаты в модуле
ssl.
🔵 PHP: две RCE без аутентификации
21 октября вышли PHP 8.5.12, 8.4.27, 8.3.36 и 8.2.35. Обе уязвимости затрагивают любую установку, которая обслуживает веб-запросы, от FPM до FrankenPHP. Для mod_php показали эксплойт, который срабатывает до того, как выполнится код приложения. Надёжно защищает только обновление.
🔵 litellm: почти два часа с вредоносом на PyPI
21 октября атакующие с украденными токенами GitHub выложили на PyPI заражённый litellm==1.107.0, а на Docker Hub и GHCR — образы, включая тег latest. Вредоносный код лежит в cook.pth и запускается при каждом старте Python, даже при вызове самого pip. Окружения с этой версией проще пересобрать, а ключи из них — перевыпустить.
🔵 Node.js: Brotli и обход проверки TLS
Релизы от 21 октября закрывают 10 CVE. Самая неприятная — запись за пределы буфера в декодере Brotli в node:zlib: если сервис распаковывает чужие данные, возможна RCE. Ещё две позволяют обойти проверку hostname: сертификат принимается для чужого IP, если адрес записан полноширинными цифрами или с ведущим нулём вроде 0127.0.0.1.
🔵 JDK 25.0.5: постквантовый TLS из коробки
В обновлении от 20 октября гибридная группа X25519MLKEM768 включена по умолчанию и стала самой предпочтительной в TLS 1.3. Встроенный HttpServer стал строже: на HTTP/1.1-запросы без заголовка Host или с двумя такими заголовками он отвечает кодом 400, и самописные клиенты без Host начнут получать ошибку.
🔵 Redis и Valkey: 4 ГиБ в 32 битах
26 октября раскрыли переполнение буфера в куче в кластерном режиме. При пересылке PUBLISH по шине кластера длина сообщения усекается до 32 бит: под сообщение больше 4 ГиБ выделяется маленький буфер, а копируется оно целиком. Клиент с настройками по умолчанию такое не отправит, но серверный скрипт его соберёт. Исправлено в Valkey 9.1.3 и Redis 8.10.3.
🔵 Kafka 4.4.0: обновиться есть ради чего
Релиз от 22 октября добавил dead-letter queue для share groups и транзакционные state stores в Kafka Streams. А 28 октября раскрыли CVE-2026-112375: брокер разбирал конфигурацию до проверки прав, и аутентифицированный пользователь без прав мог через AlterConfigs прочитать файл или переменную окружения брокера. Исправлено в 4.4.0, 4.3.2 и 4.2.2.
Статья от инженеров VK
➡️ ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух
#backendvkhub #дайджест03 nov, 06:52
1 161
+5
pg_plan_advice в PostgreSQL 19: подсказки планировщику в штатной поставке
➡️ PostgreSQL 19 RC1 вышел 15 октября. Модуль pg_plan_advice описывает решения планировщика на компактном языке подсказок, а расширение pg_stash_advice применяет такие подсказки к запросам по query_id без правки кода приложения. Раньше для этого ставили стороннее расширение pg_hint_plan.
Подсказка работает как запрет: планировщик перебирает варианты и сравнивает их стоимость, но выбирает запрещённые, только когда разрешённых не осталось.
Главный недостаток pg_stash_advice — привязка к query_id: одна подсказка действует при любых значениях параметров, а смена алиаса таблицы её отключает.
#backendvkhub #postgresql29 oct, 04:46
1 161
Jujutsu: система контроля версий нового поколения
Про Jujutsu, или коротко jj, скорее всего, слышали немногие. Это распределённая система контроля версий от Мартина фон Цвейгбергка, бывшего инженера Google. Начать пользоваться ею можно в одиночку, поверх существующего репозитория. Наружу уходят обычные Git-коммиты, поэтому для CI и коллег ничего не меняется.
Проект пока называется экспериментальным, но README уточняет, что Git-совместимость стабильна и многие разработчики используют jj ежедневно. Написан jj на Rust и разделён на библиотеку и CLI, причём библиотека рассчитана и на GUI, и на серверные сценарии. Есть популярный туториал по jj от Стива Клабника, признанного Rust-разработчика.
Как устроена модель
Главная идея Jujutsu касается переписывания истории. В Git коммит — это неизменяемый снимок, и любой
amend или rebase создаёт новый хеш. Преемственность между исходной и обновлённой версиями одного и того же патча нигде не фиксируется, поэтому связь между его итерациями приходится держать в имени веток, Gerrit Change-Id или в памяти разработчика.
В jj у логического изменения есть стабильный Change ID, который переживает amend, split и rebase, а конкретные версии различаются по Commit ID. Когда разработчик доработал патч после ревью, в истории это сохранится как одно изменение, а не набор новых хешей.
Рабочая директория в jj сама является коммитом. Любая команда автоматически делает снапшот изменённых файлов и обновляет этот рабочий коммит, поэтому индекс (staging area) полностью исчезает, а цикл git add, git commit и git stash заменяется работой с графом. Незаконченные правки всегда представлены в истории, и над ними доступны обычные команды:
jj new # начать новое изменение поверх текущего
jj squash # влить текущие правки в предыдущее изменение
jj split # разрезать изменение на два
jj absorb # разложить мелкие правки по старым коммитам
Правка раннего коммита в стеке автоматически переносится на всех потомков. Конфликты при этом не останавливают работу, потому что jj сохраняет конфликт прямо в коммит как состояние, и разрешить его можно позже, когда видны все затронутые потомки.
Если что-то пошло не так, jj позволяет откатить изменения через operation log — журнал атомарных переходов между состояниями всего репозитория. Если reflog в Git помнит движение отдельных веток, то operation log в jj фиксирует репозиторий целиком, поэтому jj undo отменяет последнюю операцию, а jj op restore возвращает любое прошлое состояние.
Ветки в jj называются bookmark и двигаются явно, когда пора что-то публиковать. Локально можно держать стек зависимых изменений вообще без имён, а bookmark поставить только на вершину перед пушем. И таких интересных изменений по сравнению с классическим Git достаточно много, подробнее можно изучить в документации.
Совместимость с Git
Коммиты хранятся как обычные Git-объекты и уходят через обычный Git-транспорт. Git и jj спокойно работают в одной директории и сами синхронизируются при каждой команде. Jujutsu автоматически сопоставляет своё Change ID с Gerrit Change-Id, поэтому повторная отправка изменённого коммита автоматически регистрируется как новая редакция патча.
Что учесть
Поддержка субмодулей ещё не закончена, а на очень больших репозиториях есть проблемы с производительностью. Делать jj командным стандартом пока рано, но вот попробовать лично стоит уже сегодня. В существующем локальном Git-репозитории Jujutsu будет работать как умный и удобный интерфейс поверх обычного гита, который отправляет стандартные коммиты в ваш привычный удалённый репозиторий. Либо новая модель войдёт в ваш воркфлоу, либо вы вернётесь к Git без потерь.
#backendvkhub #jj27 oct, 05:19
1 161
REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы
После массового удаления таблица может занимать на диске в разы больше живых данных. Обычный VACUUM помечает место как свободное, но сам файл почти не уменьшает. VACUUM FULL переписывает таблицу и отдаёт место системе, только всё это время держит
ACCESS EXCLUSIVE, и нельзя ни читать таблицу, ни записывать в неё. Поэтому большие таблицы годами чистили сторонним расширением pg_repack.
В PostgreSQL 19 появилась команда REPACK. Она объединяет VACUUM FULL и CLUSTER (старые команды оставили для совместимости), а с опцией CONCURRENTLY перестраивает таблицу, не блокируя чтение и запись. RC1 вышел 15 октября, релиз запланирован на 29 октября.
-- то же, что VACUUM FULL
REPACK orders;
-- то же, что CLUSTER: переложить строки в порядке индекса
REPACK orders USING INDEX orders_created_at_idx;
-- без блокировки чтения и записи
REPACK (CONCURRENTLY) orders;
Работает это так: таблица копируется в новый файл без мёртвых строк, индексы строятся заново, а изменения, пришедшие за это время, ловятся через логическое декодирование и докатываются отдельной фазой. ACCESS EXCLUSIVE берётся только на подмену файлов, и обычно это ненадолго. Затянуться процесс может, если в таблицу успели много записать, пока команда ждала блокировку: эти изменения применяются уже под ней.
Ограничений у CONCURRENTLY хватает. Опция не работает для партиционированных и UNLOGGED таблиц, материализованных представлений и внутри транзакции. Таблице нужен первичный ключ или replica identity по индексу. Каждый запуск занимает слот репликации, а их число ограничивает max_repack_replication_slots: по умолчанию 5, меняется только с рестартом. Свободного места на диске нужно не меньше суммы размеров таблицы и её индексов.
К тому же REPACK CONCURRENTLY не MVCC-безопасен, как и TRUNCATE. Транзакция, которая взяла снимок до завершения команды и ещё не трогала таблицу, увидит её пустой. Поэтому с отчётами, которые долго читают несколько таблиц в одном снимке, такой запуск лучше не пересекать.
Следить за ходом удобно через новое представление:
SELECT relid::regclass, phase,
heap_blks_scanned, heap_blks_total,
heap_tuples_updated, heap_tuples_deleted
FROM pg_stat_progress_repack;
Счётчики updated и deleted растут только в фазе catch-up, когда докатываются чужие изменения, и по ним видно, сколько записей накопилось за время копирования.
Если bloat сейчас чистят через pg_repack, после перехода на версию 19 можно обойтись встроенной командой. Заранее стоит проверить, что у больших таблиц есть первичный ключ, и заложить место на диске. VACUUM FULL в старых скриптах продолжит работать, а новые задачи обслуживания логичнее писать уже на REPACK.
@backendvkhub @postgresql22 oct, 05:43
1 161
+5
Python 3.15 подробнее: ленивый прокси, снимок зависшего процесса и frame pointers
В обзорном посте мы уже прошлись по главному: ленивым импортам, UTF-8 по умолчанию, профайлеру Tachyon и JIT. В карточках разбираем подробнее то, что в обзор не поместилось:
Ленивый импорт ускоряет старт, но загрузку модуля оплачивает запрос, который первым обратится к имени. Режим
all делает ленивыми не все импорты, а режима none, описанного в PEP 810, в релизе нет.
UTF-8 по умолчанию затрагивает аргументы командной строки, окружение и подпроцессы, Tachyon снимает стек зависшего процесса командой dump, а сборка с frame pointers упрощает работу perf.
➡️ В последней карточке рассказываем про изменения, которые ломают старый код при переезде.
#backendvkhub #python20 oct, 05:05
1 161
Python 3.15 принёс ленивые импорты, UTF-8 по умолчанию и профилировщик Tachyon
Свежий релиз Python 3.15.0 вышел 9 октября. Ленивые импорты поменяли запуск приложений, текстовые файлы на Windows теперь читаются в кодировке UTF-8, а новый встроенный семплирующий профилировщик Tachyon подключается к живому процессу.
Разобрали главное, а подробности доступны в документации.
Ленивые импорты
Ключевое слово
lazy откладывает загрузку модуля до первого обращения к имени (PEP 810).
lazy import json
print("Старт") # json ещё не загружен
data = json.loads("{}") # json загружается здесь
Вместо модуля интерпретатор держит прокси, а ошибка загрузки возникает в точке первого использования. В traceback при этом видны и место обращения, и исходная строка lazy import.
Разрешён такой импорт только на уровне модуля, а режим для всего процесса задают -X lazy_imports и PYTHON_LAZY_IMPORTS. Библиотекам с поддержкой нескольких версий подойдёт переменная lazy_modules, которую старые Python игнорируют.
Авторы PEP обещают сократить запуск CLI на 50–70%, но можно нарваться и на побочные эффекты, поскольку регистрация плагинов при импорте уедет на момент первого использования.
UTF-8 по умолчанию
Теперь open("file.txt") без encoding читает UTF-8 независимо от локали (PEP 686). В локали C и POSIX так было и раньше, поэтому основной удар приходится на Windows. CSV в cp1251, которые раньше читались без указания кодировки, теперь прочитаются как UTF-8.
Авторы PEP предупреждают, что возможна даже тихая порча данных. Найти такие места поможет команда для CI.
python -X warn_default_encoding -W error::EncodingWarning -m pytest
Старое поведение возвращается через PYTHONUTF8=0.
Профилировщик Tachyon
Пакет profiling.sampling читает стеки процесса снаружи, без хуков. Частота доходит до 1 МГц, а нагрузку на процесс авторы называют практически нулевой.
python -m profiling.sampling attach --flamegraph -d 30 -o profile.html <PID>
Команда подключается к работающему процессу и за 30 секунд собирает флеймграф. Режимы wall и cpu помогают отличить вычисления от ожидания, а gil показывает код, который монополизирует интерпретатор.
Среди форматов вывода есть pstats, дифференциальный флеймграф и JSON для Firefox Profiler. Время в отчётах оценивается по семплам, а профилировщик и цель должны работать на одной минорной версии Python.
JIT и free-threading
JIT остаётся экспериментальным и включается переменной PYTHON_JIT=1. Прирост по geomean pyperformance составляет 7–8% на x86-64 Linux и 11–12% на AArch64 macOS. На отдельных бенчмарках разброс велик, а для I/O-bound кода выигрыш незначителен.
На Windows официальные 64-разрядные сборки теперь используют интерпретатор на хвостовых вызовах. Он даёт 15–20% относительно switch-case интерпретатора.
В установщике для macOS пакет с free-threaded сборкой теперь отмечен по умолчанию и ставится рядом с обычной, но команда python3 по-прежнему запускает сборку с GIL.
Free-threaded сборка медленнее на однопоточном коде на 1–8%, но новый abi3t позволяет одному и тому же бинарнику работать и на обычных сборках и на сборках без GIL.
Новый синтаксис
Появились встроенные frozendict и sentinel, а распаковка аргументов заработала в comprehensions. Файлы .start заменяют исполняемые строки import в .pth.
flat = [*li for li in lists] # вместо вложенного цикла
MISSING = sentinel("MISSING") # отличает «не передан» от None
def get(key, default=MISSING):
...
Заключение
Тесты на 3.15 можно гонять в CI уже сейчас, а для продакшена лучше дождаться колёс зависимостей и версии 3.15.1. Начинать миграцию разумнее с EncodingWarning, а lazy и JIT включать только после собственных замеров.
#backendvkhub #python13 oct, 07:12
1 161
ON CONFLICT DO SELECT в PostgreSQL 19: get-or-create одним запросом
Get-or-create в PostgreSQL до сих пор пишется в обход. Задача знакомая: нужен id тега, пользователя или ключа идемпотентности, и если строка уже есть, следует вернуть её, а если нет — создать. Очевидный вариант с
DO NOTHING не подходит, потому что RETURNING отдаёт только вставленные строки, и на существующую запрос ответит пустым результатом.
INSERT INTO tags (name) VALUES ('postgres')
ON CONFLICT (name) DO NOTHING
RETURNING id; -- тег уже есть: 0 строк
Дальше обычно выбирают из двух неудобных вариантов. Второй SELECT означает лишний поход в базу и окно, за которое строку могут удалить. Холостой DO UPDATE SET name = EXCLUDED.name заставляет RETURNING работать, но PostgreSQL выполняет физическое обновление, даже если данные не изменились. Каждый вызов оставляет новую версию строки, мёртвый кортеж для VACUUM и запись в WAL, а если HOT не сработал, ещё и правки во всех индексах. Вдобавок срабатывают триггеры на UPDATE, и аудит фиксирует изменения, которых не было.
В PostgreSQL 19 появилось третье действие при конфликте — DO SELECT. Существующая строка возвращается как есть, без записи:
INSERT INTO tags (name) VALUES ('postgres')
ON CONFLICT (name) DO SELECT
RETURNING id, old.id IS NULL AS created;
Вторая колонка опирается на ссылку old в RETURNING, её добавили в версии 18. У вставленной строки старые значения равны NULL, у найденной заполнены, так что приложение сразу понимает, создало оно запись или получило существующую.
От DO NOTHING конструкция отличается двумя требованиями: RETURNING обязателен, а цель конфликта нужно назвать явно. Арбитром может быть только уникальный индекс или ограничение NOT DEFERRABLE, а exclusion constraints не подходят.
Если найденную строку дальше меняют в той же транзакции, её можно заблокировать в этом же запросе:
INSERT INTO balances (account_id, amount) VALUES (42, 0)
ON CONFLICT (account_id) DO SELECT FOR UPDATE
RETURNING *;
Поддерживаются все четыре режима блокировки, от FOR UPDATE до FOR KEY SHARE, и условие WHERE, по которому отбираются возвращаемые строки. Блокировку получат все конфликтующие строки, в том числе те, что под условие не попали.
PostgreSQL 19 сейчас в четвёртой бете, вышедшей 24 сентября, а релиз-кандидат обещают в начале октября. В этой бете из релиза убрали SQL/PGQ, FOR PORTION OF и операции над партициями, но DO SELECT в документации версии 19 остался. Холостые DO UPDATE в коде стоит пометить уже сейчас: после обновления каждый из них заменяется одной правкой, и таблицы с частым get-or-create перестанут копить мёртвые кортежи.
#backendvkhub #postgresql09 oct, 05:17
1 161
🔊 Джависты, собираем рюкзаки!
Не в школу, конечно, а на Joker 2026 с 14 по 15 октября.
➡️ Егор Леванков, старший разработчик One-cloud, поделится на конференции опытом непрерывного профилирования прода на десятках тысяч хостов. Расскажет, чем отличаются подходы для Java и натива, как устроены форматы профилей и что стоит за готовыми решениями.
В этот раз мы подготовили самый большой стенд: заглядывайте в Java-класс, чтобы проверить инженерную интуицию в «Умниках и ставках», собрать рюкзак Java-разработчика, решать задачи на инциденты с экспертами VK и поиграть в настолки и ретроигры.
📌 14–15 октября
📍 Санкт-Петербург, площадь Победы, 1, Cosmos Saint-Petersburg Pulkovskaya Hotel
💻 Можно участвовать онлайн
➡️ Купить билет
Увидимся на Joker — будем знакомиться, обсуждать технологии и обмениваться опытом.
#backendvkhub #конференция #java
07 oct, 05:34
1 161
Сентябрь в бэкенде вышел плотным. JDK 27 поменял сборщик мусора для маленьких контейнеров, PostgreSQL 19 незадолго до релиза лишился нескольких громких фич, а PgBouncer, PHP и NGINX выпустили исправления уязвимостей, с которыми лучше не тянуть.
🔵JDK 27: G1 везде и компактные заголовки
JDK 27 вышел 15 сентября. Раньше при скромных ресурсах, вроде одного CPU и хипа меньше 1,8 ГБ, JVM по умолчанию брала Serial GC, а теперь по JEP 523 всегда выбирает G1, и сервисы в маленьких подах это заметят.
Компактные заголовки из JEP 534 включены по умолчанию: заголовок объекта сократился с 12 до 8 байт. TLS 1.3 теперь первым предлагает гибридный постквантовый обмен X25519MLKEM768, а JFR сам маскирует похожие на секреты значения в аргументах JVM и переменных окружения.
🔵PostgreSQL 19 Beta 4: откаты перед релизом
Четвёртая бета от 24 сентября убрала из 19 версии SQL/PGQ, включение контрольных сумм на лету,
FOR PORTION OF для UPDATE и DELETE, а также MERGE и SPLIT PARTITIONS.
Большую часть этого списка мы упоминали в августе. На месте остались REPACK CONCURRENTLY, параллельный автовакуум и ON CONFLICT DO SELECT, а релиз-кандидат ждут в начале октября.
🔵PgBouncer 1.26: три DoS-уязвимости
Версия от 23 сентября закрывает CVE-2026-19888, CVE-2026-6668 и CVE-2026-6669, причём две первые эксплуатируются без аутентификации. Онлайн-рестарт через -R удалён, так что скрипты деплоя с этим флагом стоит проверить до обновления.
🔵PHP 8.6 RC2 и патчи четырёх веток
24 сентября вышел второй релиз-кандидат PHP 8.6, первый пропустили из-за ошибки упаковки. Финальная версия запланирована на 19 ноября и меняет умолчания сессий: use_strict_mode и cookie_httponly включены, а cookie_samesite получает значение Lax. В тот же день вышли security-релизы 8.5.11, 8.4.26, 8.3.35 и 8.2.34.
🔵NGINX: переполнение буфера в HTTP/3
Уязвимость CVE-2026-90439 затрагивает ngx_http_v3_module в версиях с 1.29.2 по 1.31.5. Исправление вышло 15 сентября в версиях 1.30.5 и 1.31.6.
🔵Go: мелкие аллокации быстрее
Go 1.27.1 вышел 1 сентября с исправлениями в компиляторе, рантайме и net/http. В блоге Go разобрали изменение из 1.27: аллокации до 80 байт идут через специализированные варианты mallocgc и работают быстрее вплоть до 20–30%, а в масштабе всей программы выигрыш доходит до 1%.
🔵Valkey 9.2 RC1: снапшоты без fork
В первом кандидате 9.2 от 16 сентября появились RDB-снапшоты без fork, они включаются параметром forkless-infrastructure-enabled. EXEC получил условия IFEQ, IFNE, NX и XX для оптимистичной блокировки без WATCH, а большие sorted set теперь хранятся в B+ дереве вместо skiplist.
🔵Rust: секреты в кеше CI
21 сентября команда Rust предупредила, что cargo miri сохранял в target/ все переменные окружения. Если target/ кешировался в GitHub Actions, секреты мог прочитать автор любого pull request. Исправление вошло в nightly от 22 сентября, но кеши стоит очистить, а секреты перевыпустить.
#дайджест #backendvkhub01 oct, 06:40
1 161
HTTP QUERY: почему поиск больше не должен притворяться методом POST
Поисковый фильтр в API давно перестал быть парой простых параметров — это дерево условий, массивы идентификаторов, диапазоны дат и состояние пагинации. В GET всё это пришлось бы кодировать в URI.
Стандарт HTTP советует поддерживать адреса длиной хотя бы 8 000 байт, но лимит у каждого звена свой. Поэтому длинный URL может обрезать браузер, балансировщик или WAF ещё до сервиса. Даже если адрес прошёл всю цепочку, он раздувается от percent-encoding и целиком оседает в логах и истории браузера.
Почти каждый поиск в API живёт как
POST /search. Для протокола это обычный POST: он небезопасный и неидемпотентный, поэтому прокси не имеет права повторить оборванный запрос, кеш — переиспользовать такой ответ, а клиент с retry рискует задублировать операцию.
Что предложил RFC 10008
В июне 2026 года IETF опубликовал RFC 10008 с методом QUERY. Метод объединяет безопасность и идемпотентность GET с телом запроса, как у POST.
QUERY /feed HTTP/1.1
Host: api.example.test
Content-Type: application/json
{
"filter": {
"status": ["published", "scheduled"], # допустимые статусы
"publishedAt": { "gte": "2026-01-01" } # нижняя граница даты
},
"sort": [{ "field": "publishedAt", "direction": "desc" }],
"limit": 50
}
URI здесь задаёт ресурс и область выборки, а filter и sort в теле описывают условия поиска. Называть QUERY «GET с телом» неточно, ведь у тела GET нет определённой семантики, а у QUERY оно определяет всю операцию. Content-Type при этом обязателен: без него сервер отклоняет запрос, а угадывать формат по содержимому запрещено.
Кеширование
Ключ кеша обязан включать URI, тело запроса и Content-Type, поэтому запросы с "page": 1 и "page": 2 не могут делить одну запись. Чтобы построить ключ, кешу сначала придётся прочитать всё тело, и кеширование QUERY выходит дороже, чем GET.
Если запрос тяжёлый, сервер может вернуть Location с адресом сохранённого запроса. Тогда последующие обращения пойдут обычным GET, без повторной передачи тела.
Что с поддержкой?
OpenAPI 3.2 уже описывает query как first-class операцию. Серверные фреймворки подтягиваются с разной скоростью. Spring Framework 7.1 содержит HttpMethod.QUERY, заголовок Accept-Query и привязку тела запроса. В Gin и Fiber поддержка появилась в upstream, а Fastify и NestJS пока остановились на issues.
Инфраструктура отстаёт от фреймворков. NGINX уже проксирует QUERY, но не кеширует его, потому что proxy_cache_methods по умолчанию ограничен GET, HEAD и POST. В браузерах метод не входит в CORS-safelist, поэтому междоменный вызов требует preflight, а HTML-формы method="query" не стандартизированы.
QUERY закрывает старый разрыв между GET и POST, но сам стандарт не заставляет промежуточные звенья его понимать. Перед продом прогоняйте всю цепочку на реальном трафике и держите POST /search как фолбэк.
#backendvkhub #api #поиск29 sep, 08:45
1 161
compact object headers по умолчанию: JDK 27 отдаёт обратно пятую часть кучи
Сервис на Spring держит в памяти десятки миллионов мелких объектов: элементы кеша, DTO из очереди, узлы деревьев. Куча упирается в четыре гигабайта, хотя полезных данных там заметно меньше. Разница уходит в заголовки: каждый объект на 64-битной JVM несёт 96 бит служебной информации, а без сжатых указателей на класс все 128.
Заголовок собран из двух слов. В mark word лежат сведения о блокировке, возраст для сборщика и вычисленный identity hash, в class word лежит указатель на метаданные класса. Для объекта с парой полей сопоставимы с размером самих данных.
JEP 534 в JDK 27, вышедшей 15 сентября 2026, делает компактную раскладку значением по умолчанию: оба слова сливаются в одно 64-битное, а указатель на класс сжимается до 22 бит. Путь у фичи долгий: эксперимент в JDK 24, продуктовая настройка в JDK 25, теперь поведение по умолчанию. Заявленная экономия составляет 10–20% живых данных. То, что раскладка включилась, видно прямо на старте:
$ java -XX:+PrintFlagsFinal -version | grep -i UseCompactObjectHeaders
bool UseCompactObjectHeaders = true {product lp64_product} {default}
➡️ Размер конкретного класса можно глянуть через JOL, он печатает раскладку полей вместе с выравниванием:
System.out.println(ClassLayout.parseClass(CacheEntry.class).toPrintable());
На классе с двумя ссылочными полями заголовок падает с 12 байт до 8, и экземпляр укладывается в 16 байт вместо 24: выравнивание по 8 байт добавляет к экономии ещё четыре.
Ограничение вытекает из тех самых 22 бит: в них помещается около четырёх миллионов классов.
Приложение, которое плодит классы на лету (динамические прокси, скриптовые движки, тяжёлая кодогенерация), способно упереться в предел, и тогда загрузка класса завершится OutOfMemoryError без автоматического отката на старую раскладку.
Сюрпризы приходят и со стороны агентов и нативного кода, если те читают заголовок по фиксированному смещению.
Отключается всё флагом -XX:-UseCompactObjectHeaders, но рассчитывать на него вдолгую не стоит: старую раскладку планируют объявить устаревшей и со временем убрать. В том же релизе поменялся и сборщик по умолчанию: JEP 523 назначает G1 стандартом во всех окружениях, включая маленькие контейнеры, где раньше выбирался Serial.
Сервисам на 25-й ту же экономию даёт -XX:+UseCompactObjectHeaders без смены мажорной версии. Перед включением на проде стоит посмотреть счётчик загруженных классов (jcmd <pid> VM.class_hierarchy или метрика jvm_classes_loaded) и прогнать нагрузочный тест с теми агентами, которые реально работают в бою. Если счётчик держится в десятках тысяч, потолок в четыре миллиона вас не касается.
А вы уже мерили, сколько кучи у вас занимают заголовки объектов?
#backendvkhub #jdk #java24 sep, 06:32
