uz
Feedback

Firibgarlarga uchmang! Telemetrio bunday kanallarni topadi va belgilaydi 👉 Belgini ko‘rmoqchi bo‘lsangiz, obuna bo‘ling

Backend VK Hub

Backend VK Hub

Kanalga Telegram’da o‘tish

Комьюнити VK для бэкендеров. Cамые хардовые кейсы, дискуссии в кругу своих и прямой доступ к нашим экспертам 😎

Ko'proq ko'rsatish
1 161
Obunachilar
+1924 soatlar
+507 kun
+3930 kun
Postlar arxiv
📢 28 ноября VK проведёт конференцию VK JT Видео для тех, кто разрабатывает технологии обработки, доставки и воспроизведения видеоконтента. Инженеры VK, Яндекса, Иви, КИОН и других компаний расскажут о реальных задачах разработки и решениях, которые уже применяются в работе сервисов. Обсудим:    🔹как в VK оценивают работу алгоритмов адаптивного выбора качества видео 🔹как обучают нейросетевые ABR-модели и собирают для них сетевые данные 🔹как Иви сократил расходы на видеотрафик более чем на 40% 🔹как КИОН добился экономии до 20% на CDN Откроет конференцию ведущий научный сотрудник Института ИИ МГУ Дмитрий Ватолин с исследованием видеохостингов, онлайн-кинотеатров и кодеков 2026 года. После докладов — живая подкаст-дискуссия и общение с коллегами. 🗓 28 ноября, сбор гостей с 16:00 Формат — только офлайн, без трансляции. ➡️ Регистрация #backendvkhub #конференция #видео
20 Noy, 04:20

Переезд с Node.js 24 на 26 LTS «Lithium»: что сломается и что получим 28 октября Node.js 26.13.0 стал LTS под именем «Lithium
+5
Переезд с Node.js 24 на 26 LTS «Lithium»: что сломается и что получим 28 октября Node.js 26.13.0 стал LTS под именем «Lithium». Нового кода в релизе нет, поменяли только метаданные. 26 ветка получит обновления до конца апреля 2029 года, а  24 — до конца апреля 2028. Прыжок с 24 на 26 проходит через нечётную 25 ветку, и её ломающие изменения достаются нам вместе с 26. Главные касаются окружения: Linux-бинарникам теперь нужна libatomic, а Corepack из поставки убрали. ➡️ В карточках разбираем график релизов, образы, удалённые API, новые умолчания и API, а в конце — порядок переезда. #backendvkhub #lithium #node
19 Noy, 04:25

Первая половина ноября выдалась щедрой на заплатки. В PostgreSQL закрыли сразу 52 уязвимости, в Apache httpd — критическую RC
Первая половина ноября выдалась щедрой на заплатки. В PostgreSQL закрыли сразу 52 уязвимости, в Apache httpd — критическую RCE в HTTP/2, а в Go и Git исправили ошибки, из-за которых чужой код мог выполниться при сборке и при клонировании. Без драмы вышли .NET 11 и юбилейный Rust 1.100. 🔹PostgreSQL: 52 уязвимости и прощание с 14 версией  12 ноября вышли 18.7, 17.12, 16.16, 15.20 и 14.25. Самые опасные уязвимости получили 8,8 балла по CVSS и позволяют выполнить произвольный код, например через вредоносный архив для pg_restore. После обновления может понадобиться REINDEX для части индексов. Для PostgreSQL 14 этот выпуск последний. 🔹Apache httpd 2.4.71: RCE в mod_http2  11 ноября в Apache закрыли критическую CVE-2026-119618. Гонка в функции assign_headers() повреждает память в куче и может привести к удалённому выполнению кода. Уязвимы версии с 2.4.55 по 2.4.70, то есть все, которые выходили с января 2023 года, если включён mod_http2. 🔹Node.js: 16 уязвимостей, в основном в HTTP/2 и TLS  11 ноября вышли 22.23.5, 24.22.3 и 26.13.1. Одна из семи уязвимостей высокого уровня позволяет любому клиенту уронить HTTP/2-сервер на ветках 24 и 26. Другая при определённом устройстве обработчика заставляет HTTPS-сервер подмешивать в ответ куски своей памяти. Предыдущий такой выпуск был всего три недели назад. 🔹Go: опасная сборка  10 ноября вышли Go 1.27.4 и 1.26.11, закрывающие 12 уязвимостей. Почти все они связаны с cgo: вредоносный пакет мог выполнить код прямо во время сборки через флаги в #cgo, файлы .syso или вызов pkg-config. Тем, кто собирает чужой код в CI, стоит обновиться первыми. 🔹OpenSSH 10.6p2: вход по любому длинному паролю  5 ноября вышло исправление для сборок на musl без PAM, в первую очередь для Alpine. В учётную запись, где вместо хеша пароля стоит звёздочка, можно было войти с любым паролем длиннее 257 символов: функция crypt() из musl возвращала ту же звёздочку, и проверка проходила. Если обновиться сразу не получается, парольный вход лучше отключить через PasswordAuthentication no. 🔹Git 2.56.1: опасное клонирование  10 ноября в Git закрыли шесть уязвимостей. Самая неприятная связана с git clone --recurse-submodules: вредоносный репозиторий мог подменить каталог .git подмодуля символической ссылкой и выполнить код. Уязвимы все версии начиная с 2.27.0, исправления есть для веток с 2.50 по 2.56. 🔹.NET 11  10 ноября вышел .NET 11 — STS-релиз с поддержкой на два года. В C# 15 появились union types, и компилятор проверяет, что switch разбирает все варианты. В тот же день закончилась поддержка .NET 8 и 9. 🔹Rust 1.100: пауза перед свежими зависимостями  12 ноября вышел Rust 1.100, в котором наконец стабилизировали тип !. Бэкендерам полезнее новинка в Cargo: настройка global-min-publish-age = "3 days" заставляет пропускать версии пакетов моложе трёх дней. Это простая защита от части атак через свежие вредоносные релизы. #backendvkhub #дайджест
17 Noy, 09:15

JDK 27: G1 по умолчанию в маленьких подах и рост RSS ➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию в
JDK 27: G1 по умолчанию в маленьких подах и рост RSS ➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию во всех окружениях (JEP 523). До JDK 26 включительно JVM выбирала G1, только если видела хотя бы два процессора и 1 792 МиБ памяти, а иначе брала Serial. В контейнере JVM берёт число процессоров и объём памяти из cgroup. Поэтому поды с лимитом 1 CPU или с лимитом памяти меньше 1 792 МиБ годами работали на Serial, и мало кто это замечал. Каких подов коснётся переход? Однопроцессорными дело не ограничивается. В нашем тесте под с 2 CPU и 1 ГиБ на JDK 21 тоже получил Serial, на этот раз из-за памяти. Проверить, какой сборщик работает, можно у запущенного процесса через jcmd <pid> VM.flags или при старте с -Xlog:gc:
java -Xlog:gc -version 2>&1 | grep Using
# JDK 21, 1 CPU / 1 ГиБ: [...][info][gc] Using Serial
# JDK 27, те же лимиты: [...][info][gc] Using G1
Главный эффект перехода — рост RSS. Мы запустили в cgroup на 1 CPU и 1 ГиБ синтетический однопоточный сервис с 80 МиБ живых данных. Xmx по умолчанию был 256 МиБ. На JDK 21 с Serial пиковый RSS был 181 МиБ, на JDK 27 с G1 — 297 МиБ, на 64% больше. JDK 27 с явным -XX:+UseSerialGC уложился в 170 МиБ. По общему времени прогона G1 и Serial на JDK 27 шли почти вровень. Откуда разница? G1 подбирает размер heap так, чтобы сборка занимала небольшую долю процессорного времени, поэтому в нашем тесте committed heap у него держался почти на уровне Xmx: 245 из 256 МиБ. Serial при тех же данных держал heap в пределах 120–160 МиБ. Смена сборщика объясняет меньшую часть разницы: JDK 21 с явным G1 в том же тесте показал около 205 МиБ RSS, а изменения в самом G1 между JDK 21 и 27 добавили ещё около 90 МиБ. Тикет JDK-8385348 о росте потребления памяти с JDK 25 до 27 закрыли как Won’t Fix. Флаг -XX:SoftMaxHeapSize не снизил RSS: G1 пока не учитывает его (JDK-8236073). Выигрыш G1 виден в другом сценарии, где объекты регулярно уходят в старое поколение. Там RSS у G1 был всего на 10% больше, чем у Serial, а максимальная задержка запроса у G1 — 55–65 мс, у Serial — около 100 мс. Полных сборок за прогон у G1 не было, у Serial их было 34. Подвести при переходе могут и флаги запуска. Некоторые команды включали G1 в маленьких подах через -XX:+AlwaysActAsServerClassMachine. JDK 27 выводит предупреждение и игнорирует этот флаг, а JVM из JDK 28 EA с ним вообще не запускается: Unrecognized VM option 'AlwaysActAsServerClassMachine'. С NeverActAsServerClassMachine то же самое. ➡️ Перед переходом на JDK 27 смотрим, какой сборщик работает в каждом маленьком поде. Если там Serial, а лимит памяти подбирали по фактическому RSS, выбираем сборщик по профилю нагрузки. В подах, где объекты регулярно уходят в старое поколение и важны задержки, переходим на G1 и поднимаем лимит до суммы Xmx и нативной памяти. В остальных задаём -XX:+UseSerialGC. Флаги *ActAsServerClassMachine убираем из манифестов сразу. #backendvkhub #jdk
12 Noy, 04:05

В Go 1.27 после resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256
В Go 1.27 после resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256 KiB и 50 мс на дочитку. У ответа с Content-Length всё тело должно уложиться в 256 KiB, у chunked-ответа — только непрочитанный остаток. До 1.27 Transport закрывал соединение, если тело не было прочитано до конца, и следующий запрос открывал новое TCP-соединение, а для HTTPS ещё и проходил TLS-рукопожатие. Какого кода это касается? Того, который смотрит только на статус: проверок health-check, вебхуков, обработки ошибок. И самого частого случая, когда json.NewDecoder(resp.Body).Decode(&v) читает объект и останавливается, а в соединении остаётся хвост chunked-ответа. В нашем тесте сервер досылал завершающий chunk через 2 мс. На Go 1.25 каждый из 500 HTTPS-запросов открыл новое соединение, на Go 1.27 соединений было около 170, а среднее время запроса упало с 2,3-2,6 до 0,7-1 мс.
resp, err := client.Do(req)
if err != nil {
  return err
}
defer resp.Body.Close() // в 1.27 соединение вернётся в пул
if resp.StatusCode != http.StatusOK {
  return fmt.Errorf("status %d", resp.StatusCode)
}
return json.NewDecoder(resp.Body).Decode(&v)
Почему соединений всё же около 170? Дочитка асинхронная: Close() сразу возвращает управление, а фоновый цикл транспорта дочитывает остаток. В пул соединение попадает только после дочитки, и если следующий запрос стартует раньше, он открывает новое. Явная дочитка через io.Copy(io.Discard, io.LimitReader(resp.Body, 64<<10)) в том же тесте обошлась одним соединением, но каждый запрос ждал хвост и занимал 2,6 мс. Если лимит превышен или хвост не успел прийти за 50 мс, всё остаётся по-старому: соединение закрывается. Отключить механизм через GODEBUG нельзя, он работает в любой программе, собранной тулчейном Go 1.27, независимо от версии в go.mod. Выключить его можно только вместе с повторным использованием соединений: для всего транспорта через Transport.DisableKeepAlives, для отдельного запроса через req.Close = true. На HTTP/2 механизм не распространяется. В release notes предупреждают тех, кто задаёт Transport.MaxIdleConns равным 0 (без лимита) или создаёт отдельный Client на каждый запрос: простаивающих соединений станет больше, и производительность может упасть. Версию берём не ниже 1.27.2 от 8 октября. В ней исправили дедлок при одновременном вызове Read и Close у тела ответа (#81411) и гонку при доступе к Response.Trailer во время дочитки (#81522). Актуальная версия — 1.27.3 от 19 октября. Начинать можно с поиска ручной дочитки в клиентах. Дочитку без лимита убираем: на большом теле она читает его целиком, а на медленном потоке зависает. Вариант с io.LimitReader оставляем только там, где соединение должно вернуться в пул до следующего запроса. А у вас в HTTP-клиентах стоит ручная дочитка перед Close()? #backendvkhub #go
10 Noy, 04:37

JDK 27: JFR сам скрывает секреты в записи, но не все ➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секрет
JDK 27: JFR сам скрывает секреты в записи, но не все ➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секреты в записи на [REDACTED] (JEP 536). Под замену попадают значения переменных окружения и системных свойств с подозрительными именами, а также аргументы командной строки, совпавшие с масками. До версии 27 значения PGPASSWORD, -Djavax.net.ssl.keyStorePassword и --token лежали в файле .jfr открытым текстом и вместе с записью уходили в тикеты. Как JFR решает, что перед ним секрет? По маскам с * и ? без учёта регистра. Для имён переменных и свойств это *password*, *pwd*, *secret*, *token*, *api*key*, *auth* и ещё несколько. Для аргументов есть и парные маски вроде -*password *: они скрывают опцию вместе со значением, которое идёт следующим аргументом. Маски проверяют только имена, поэтому секрет под непредусмотренным именем или внутри значения остаётся открытым. В нашем тесте на 27.0.1 открытыми остались DB_PASS, DATABASE_URL=postgres://app:pw@db/app, -Dapp.db.pass и аргумент --db-url postgres://u:pw@h/db. JFR скрыл свойство -Dspring.datasource.url=jdbc:…password=… в списке аргументов JVM, но в событии jdk.InitialSystemProperty оставил его значение открытым. Обратная проблема — лишние срабатывания: *pwd* скрывает PWD и OLDPWD, и рабочий каталог пропадает из записи. Свои маски добавляем через +, иначе стандартный список заменяется целиком:
printf '*pass\n*_url\n*.url\n' > k.txt
printf '*://*:*@*\n' > a.txt
java '-XX:FlightRecorderOptions:redact-key=+@k.txt,redact-argument=+@a.txt' \
  -Xlog:jfr+redact=debug -XX:StartFlightRecording:filename=app.jfr -jar app.jar
redact-key проверяет имена переменных и свойств, redact-argument — аргументы, а маска *://*:*@* ловит URL с логином и паролем. -Xlog:jfr+redact=debug печатает, загрузились ли файлы с масками и какие переменные скрыты. Если файл с масками не читается, JVM завершается при старте. Механизм полностью отключается опцией redact-argument=none,redact-key=none. JFR не трогает событие jdk.ProcessStart с командами дочерних процессов, а jcmd <pid> VM.command_line и /proc/<pid>/cmdline показывают аргументы без маскировки. Слишком короткая маска для аргумента задевает и переменные окружения: текст скрытого аргумента заменяется на [REDACTED] и в их значениях. С маской -p * и аргументом -p v значение api-pr-preview.example.com превратилось в api[REDACTED]r[REDACTED]re[REDACTED]iew.example.com. 📌 Перед переходом на JDK 27 прогоняем реальный стартовый скрипт с -Xlog:jfr+redact=debug, смотрим запись через jfr print и добавляем маски под имена своих переменных и свойств. Записи JDK до 27 перед отправкой наружу чистим командой jfr scrub, которая есть в JDK 19 и новее. --exclude-events убирает события InitialEnvironmentVariable, InitialSystemProperty, ProcessStart и JVMInformation с аргументами JVM и приложения. #backendvkhub #jdk #jfr
05 Noy, 04:44

Что происходило в бэкенде во второй половине октября 2026 Вторая половина октября выдалась нервной: почти каждая новость свод
Что происходило в бэкенде во второй половине октября 2026 Вторая половина октября выдалась нервной: почти каждая новость сводилась к «обновитесь». Ключи промежуточных сертификатов eMudhra оказались скомпрометированы, в PHP закрыли две RCE с оценкой 9,2 по CVSS, а на PyPI почти два часа лежал litellm с вредоносным кодом. Главные новости собрали в короткий дайджест. 🔵 eMudhra: сертификаты, которым больше нельзя верить 17 октября Google получила сообщение, что ключи восьми промежуточных CA eMudhra скомпрометированы: ими можно подписать поддельный TLS-сертификат для любого домена. Go 1.27.3 и 1.26.10 от 19 октября перестали доверять «небольшому набору промежуточных сертификатов». Какой это CA, в анонсе не сказано. Node.js 21 октября удалил корни eMudhra из хранилища, а Python 3.15.2 от 25 октября отклоняет эти сертификаты в модуле ssl. 🔵 PHP: две RCE без аутентификации 21 октября вышли PHP 8.5.12, 8.4.27, 8.3.36 и 8.2.35. Обе уязвимости затрагивают любую установку, которая обслуживает веб-запросы, от FPM до FrankenPHP. Для mod_php показали эксплойт, который срабатывает до того, как выполнится код приложения. Надёжно защищает только обновление. 🔵 litellm: почти два часа с вредоносом на PyPI 21 октября атакующие с украденными токенами GitHub выложили на PyPI заражённый litellm==1.107.0, а на Docker Hub и GHCR — образы, включая тег latest. Вредоносный код лежит в cook.pth и запускается при каждом старте Python, даже при вызове самого pip. Окружения с этой версией проще пересобрать, а ключи из них — перевыпустить. 🔵 Node.js: Brotli и обход проверки TLS Релизы от 21 октября закрывают 10 CVE. Самая неприятная — запись за пределы буфера в декодере Brotli в node:zlib: если сервис распаковывает чужие данные, возможна RCE. Ещё две позволяют обойти проверку hostname: сертификат принимается для чужого IP, если адрес записан полноширинными цифрами или с ведущим нулём вроде 0127.0.0.1. 🔵 JDK 25.0.5: постквантовый TLS из коробки В обновлении от 20 октября гибридная группа X25519MLKEM768 включена по умолчанию и стала самой предпочтительной в TLS 1.3. Встроенный HttpServer стал строже: на HTTP/1.1-запросы без заголовка Host или с двумя такими заголовками он отвечает кодом 400, и самописные клиенты без Host начнут получать ошибку. 🔵 Redis и Valkey: 4 ГиБ в 32 битах 26 октября раскрыли переполнение буфера в куче в кластерном режиме. При пересылке PUBLISH по шине кластера длина сообщения усекается до 32 бит: под сообщение больше 4 ГиБ выделяется маленький буфер, а копируется оно целиком. Клиент с настройками по умолчанию такое не отправит, но серверный скрипт его соберёт. Исправлено в Valkey 9.1.3 и Redis 8.10.3. 🔵 Kafka 4.4.0: обновиться есть ради чего Релиз от 22 октября добавил dead-letter queue для share groups и транзакционные state stores в Kafka Streams. А 28 октября раскрыли CVE-2026-112375: брокер разбирал конфигурацию до проверки прав, и аутентифицированный пользователь без прав мог через AlterConfigs прочитать файл или переменную окружения брокера. Исправлено в 4.4.0, 4.3.2 и 4.2.2. Статья от инженеров VK ➡️ ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух #backendvkhub #дайджест
03 Noy, 06:52

pg_plan_advice в PostgreSQL 19: подсказки планировщику в штатной поставке ➡️ PostgreSQL 19 RC1 вышел 15 октября. Модуль pg_pl
+5
pg_plan_advice в PostgreSQL 19: подсказки планировщику в штатной поставке ➡️ PostgreSQL 19 RC1 вышел 15 октября. Модуль pg_plan_advice описывает решения планировщика на компактном языке подсказок, а расширение pg_stash_advice применяет такие подсказки к запросам по query_id без правки кода приложения. Раньше для этого ставили стороннее расширение pg_hint_plan. Подсказка работает как запрет: планировщик перебирает варианты и сравнивает их стоимость, но выбирает запрещённые, только когда разрешённых не осталось. Главный недостаток pg_stash_advice — привязка к query_id: одна подсказка действует при любых значениях параметров, а смена алиаса таблицы её отключает. #backendvkhub #postgresql
29 Okt, 04:46

Jujutsu: система контроля версий нового поколения Про Jujutsu, или коротко jj, скорее всего, слышали немногие. Это распределё
Jujutsu: система контроля версий нового поколения Про Jujutsu, или коротко jj, скорее всего, слышали немногие. Это распределённая система контроля версий от Мартина фон Цвейгбергка, бывшего инженера Google. Начать пользоваться ею можно в одиночку, поверх существующего репозитория. Наружу уходят обычные Git-коммиты, поэтому для CI и коллег ничего не меняется. Проект пока называется экспериментальным, но README уточняет, что Git-совместимость стабильна и многие разработчики используют jj ежедневно. Написан jj на Rust и разделён на библиотеку и CLI, причём библиотека рассчитана и на GUI, и на серверные сценарии. Есть популярный туториал по jj от Стива Клабника, признанного Rust-разработчика. Как устроена модель Главная идея Jujutsu касается переписывания истории. В Git коммит — это неизменяемый снимок, и любой amend или rebase создаёт новый хеш. Преемственность между исходной и обновлённой версиями одного и того же патча нигде не фиксируется, поэтому связь между его итерациями приходится держать в имени веток, Gerrit Change-Id или в памяти разработчика. В jj у логического изменения есть стабильный Change ID, который переживает amend, split и rebase, а конкретные версии различаются по Commit ID. Когда разработчик доработал патч после ревью, в истории это сохранится как одно изменение, а не набор новых хешей. Рабочая директория в jj сама является коммитом. Любая команда автоматически делает снапшот изменённых файлов и обновляет этот рабочий коммит, поэтому индекс (staging area) полностью исчезает, а цикл git add, git commit и git stash заменяется работой с графом. Незаконченные правки всегда представлены в истории, и над ними доступны обычные команды:
jj new       # начать новое изменение поверх текущего
jj squash    # влить текущие правки в предыдущее изменение
jj split     # разрезать изменение на два
jj absorb    # разложить мелкие правки по старым коммитам
Правка раннего коммита в стеке автоматически переносится на всех потомков. Конфликты при этом не останавливают работу, потому что jj сохраняет конфликт прямо в коммит как состояние, и разрешить его можно позже, когда видны все затронутые потомки. Если что-то пошло не так, jj позволяет откатить изменения через operation log — журнал атомарных переходов между состояниями всего репозитория. Если reflog в Git помнит движение отдельных веток, то operation log в jj фиксирует репозиторий целиком, поэтому jj undo отменяет последнюю операцию, а jj op restore возвращает любое прошлое состояние. Ветки в jj называются bookmark и двигаются явно, когда пора что-то публиковать. Локально можно держать стек зависимых изменений вообще без имён, а bookmark поставить только на вершину перед пушем. И таких интересных изменений по сравнению с классическим Git достаточно много, подробнее можно изучить в документации. Совместимость с Git Коммиты хранятся как обычные Git-объекты и уходят через обычный Git-транспорт. Git и jj спокойно работают в одной директории и сами синхронизируются при каждой команде. Jujutsu автоматически сопоставляет своё Change ID с Gerrit Change-Id, поэтому повторная отправка изменённого коммита автоматически регистрируется как новая редакция патча. Что учесть Поддержка субмодулей ещё не закончена, а на очень больших репозиториях есть проблемы с производительностью. Делать jj командным стандартом пока рано, но вот попробовать лично стоит уже сегодня. В существующем локальном Git-репозитории Jujutsu будет работать как умный и удобный интерфейс поверх обычного гита, который отправляет стандартные коммиты в ваш привычный удалённый репозиторий. Либо новая модель войдёт в ваш воркфлоу, либо вы вернётесь к Git без потерь. #backendvkhub #jj
27 Okt, 05:19

REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы После массового удаления таблица может занимать на дис
REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы После массового удаления таблица может занимать на диске в разы больше живых данных. Обычный VACUUM помечает место как свободное, но сам файл почти не уменьшает. VACUUM FULL переписывает таблицу и отдаёт место системе, только всё это время держит ACCESS EXCLUSIVE, и нельзя ни читать таблицу, ни записывать в неё. Поэтому большие таблицы годами чистили сторонним расширением pg_repack. В PostgreSQL 19 появилась команда REPACK. Она объединяет VACUUM FULL и CLUSTER (старые команды оставили для совместимости), а с опцией CONCURRENTLY перестраивает таблицу, не блокируя чтение и запись. RC1 вышел 15 октября, релиз запланирован на 29 октября.
-- то же, что VACUUM FULL
REPACK orders;

-- то же, что CLUSTER: переложить строки в порядке индекса
REPACK orders USING INDEX orders_created_at_idx;

-- без блокировки чтения и записи
REPACK (CONCURRENTLY) orders;
Работает это так: таблица копируется в новый файл без мёртвых строк, индексы строятся заново, а изменения, пришедшие за это время, ловятся через логическое декодирование и докатываются отдельной фазой. ACCESS EXCLUSIVE берётся только на подмену файлов, и обычно это ненадолго. Затянуться процесс может, если в таблицу успели много записать, пока команда ждала блокировку: эти изменения применяются уже под ней. Ограничений у CONCURRENTLY хватает. Опция не работает для партиционированных и UNLOGGED таблиц, материализованных представлений и внутри транзакции. Таблице нужен первичный ключ или replica identity по индексу. Каждый запуск занимает слот репликации, а их число ограничивает max_repack_replication_slots: по умолчанию 5, меняется только с рестартом. Свободного места на диске нужно не меньше суммы размеров таблицы и её индексов. К тому же REPACK CONCURRENTLY не MVCC-безопасен, как и TRUNCATE. Транзакция, которая взяла снимок до завершения команды и ещё не трогала таблицу, увидит её пустой. Поэтому с отчётами, которые долго читают несколько таблиц в одном снимке, такой запуск лучше не пересекать. Следить за ходом удобно через новое представление:
SELECT relid::regclass, phase,
       heap_blks_scanned, heap_blks_total,
       heap_tuples_updated, heap_tuples_deleted
FROM pg_stat_progress_repack;
Счётчики updated и deleted растут только в фазе catch-up, когда докатываются чужие изменения, и по ним видно, сколько записей накопилось за время копирования. Если bloat сейчас чистят через pg_repack, после перехода на версию 19 можно обойтись встроенной командой. Заранее стоит проверить, что у больших таблиц есть первичный ключ, и заложить место на диске. VACUUM FULL в старых скриптах продолжит работать, а новые задачи обслуживания логичнее писать уже на REPACK. @backendvkhub @postgresql
22 Okt, 05:43

Python 3.15 подробнее: ленивый прокси, снимок зависшего процесса и frame pointers В обзорном посте мы уже прошлись по главном
+5
Python 3.15 подробнее: ленивый прокси, снимок зависшего процесса и frame pointers В обзорном посте мы уже прошлись по главному: ленивым импортам, UTF-8 по умолчанию, профайлеру Tachyon и JIT. В карточках разбираем подробнее то, что в обзор не поместилось: Ленивый импорт ускоряет старт, но загрузку модуля оплачивает запрос, который первым обратится к имени. Режим all делает ленивыми не все импорты, а режима none, описанного в PEP 810, в релизе нет. UTF-8 по умолчанию затрагивает аргументы командной строки, окружение и подпроцессы, Tachyon снимает стек зависшего процесса командой dump, а сборка с frame pointers упрощает работу perf. ➡️ В последней карточке рассказываем про изменения, которые ломают старый код при переезде. #backendvkhub #python
20 Okt, 05:05

15 Okt, 07:34

Python 3.15 принёс ленивые импорты, UTF-8 по умолчанию и профилировщик Tachyon Свежий релиз Python 3.15.0 вышел 9 октября. Ле
Python 3.15 принёс ленивые импорты, UTF-8 по умолчанию и профилировщик Tachyon Свежий релиз Python 3.15.0 вышел 9 октября. Ленивые импорты поменяли запуск приложений, текстовые файлы на Windows теперь читаются в кодировке UTF-8, а новый встроенный семплирующий профилировщик Tachyon подключается к живому процессу. Разобрали главное, а подробности доступны в документации. Ленивые импорты Ключевое слово lazy откладывает загрузку модуля до первого обращения к имени (PEP 810).
lazy import json

print("Старт")            # json ещё не загружен
data = json.loads("{}")   # json загружается здесь
Вместо модуля интерпретатор держит прокси, а ошибка загрузки возникает в точке первого использования. В traceback при этом видны и место обращения, и исходная строка lazy import. Разрешён такой импорт только на уровне модуля, а режим для всего процесса задают -X lazy_imports и PYTHON_LAZY_IMPORTS. Библиотекам с поддержкой нескольких версий подойдёт переменная lazy_modules, которую старые Python игнорируют. Авторы PEP обещают сократить запуск CLI на 50–70%, но можно нарваться и на побочные эффекты, поскольку регистрация плагинов при импорте уедет на момент первого использования. UTF-8 по умолчанию Теперь open("file.txt") без encoding читает UTF-8 независимо от локали (PEP 686). В локали C и POSIX так было и раньше, поэтому основной удар приходится на Windows. CSV в cp1251, которые раньше читались без указания кодировки, теперь прочитаются как UTF-8. Авторы PEP предупреждают, что возможна даже тихая порча данных. Найти такие места поможет команда для CI.
python -X warn_default_encoding -W error::EncodingWarning -m pytest
Старое поведение возвращается через PYTHONUTF8=0. Профилировщик Tachyon Пакет profiling.sampling читает стеки процесса снаружи, без хуков. Частота доходит до 1 МГц, а нагрузку на процесс авторы называют практически нулевой.
python -m profiling.sampling attach --flamegraph -d 30 -o profile.html <PID>
Команда подключается к работающему процессу и за 30 секунд собирает флеймграф. Режимы wall и cpu помогают отличить вычисления от ожидания, а gil показывает код, который монополизирует интерпретатор. Среди форматов вывода есть pstats, дифференциальный флеймграф и JSON для Firefox Profiler. Время в отчётах оценивается по семплам, а профилировщик и цель должны работать на одной минорной версии Python. JIT и free-threading JIT остаётся экспериментальным и включается переменной PYTHON_JIT=1. Прирост по geomean pyperformance составляет 7–8% на x86-64 Linux и 11–12% на AArch64 macOS. На отдельных бенчмарках разброс велик, а для I/O-bound кода выигрыш незначителен. На Windows официальные 64-разрядные сборки теперь используют интерпретатор на хвостовых вызовах. Он даёт 15–20% относительно switch-case интерпретатора. В установщике для macOS пакет с free-threaded сборкой теперь отмечен по умолчанию и ставится рядом с обычной, но команда python3 по-прежнему запускает сборку с GIL. Free-threaded сборка медленнее на однопоточном коде на 1–8%, но новый abi3t позволяет одному и тому же бинарнику работать и на обычных сборках и на сборках без GIL. Новый синтаксис Появились встроенные frozendict и sentinel, а распаковка аргументов заработала в comprehensions. Файлы .start заменяют исполняемые строки import в .pth.
flat = [*li for li in lists]    # вместо вложенного цикла

MISSING = sentinel("MISSING")   # отличает «не передан» от None
def get(key, default=MISSING):
    ...
Заключение Тесты на 3.15 можно гонять в CI уже сейчас, а для продакшена лучше дождаться колёс зависимостей и версии 3.15.1. Начинать миграцию разумнее с EncodingWarning, а lazy и JIT включать только после собственных замеров. #backendvkhub #python
13 Okt, 07:12

ON CONFLICT DO SELECT в PostgreSQL 19: get-or-create одним запросом Get-or-create в PostgreSQL до сих пор пишется в обход. За
ON CONFLICT DO SELECT в PostgreSQL 19: get-or-create одним запросом Get-or-create в PostgreSQL до сих пор пишется в обход. Задача знакомая: нужен id тега, пользователя или ключа идемпотентности, и если строка уже есть, следует вернуть её, а если нет — создать. Очевидный вариант с DO NOTHING не подходит, потому что RETURNING отдаёт только вставленные строки, и на существующую запрос ответит пустым результатом.
INSERT INTO tags (name) VALUES ('postgres')
ON CONFLICT (name) DO NOTHING
RETURNING id;   -- тег уже есть: 0 строк
Дальше обычно выбирают из двух неудобных вариантов. Второй SELECT означает лишний поход в базу и окно, за которое строку могут удалить. Холостой DO UPDATE SET name = EXCLUDED.name заставляет RETURNING работать, но PostgreSQL выполняет физическое обновление, даже если данные не изменились. Каждый вызов оставляет новую версию строки, мёртвый кортеж для VACUUM и запись в WAL, а если HOT не сработал, ещё и правки во всех индексах. Вдобавок срабатывают триггеры на UPDATE, и аудит фиксирует изменения, которых не было. В PostgreSQL 19 появилось третье действие при конфликте — DO SELECT. Существующая строка возвращается как есть, без записи:
INSERT INTO tags (name) VALUES ('postgres')
ON CONFLICT (name) DO SELECT
RETURNING id, old.id IS NULL AS created;
Вторая колонка опирается на ссылку old в RETURNING, её добавили в версии 18. У вставленной строки старые значения равны NULL, у найденной заполнены, так что приложение сразу понимает, создало оно запись или получило существующую. От DO NOTHING конструкция отличается двумя требованиями: RETURNING обязателен, а цель конфликта нужно назвать явно. Арбитром может быть только уникальный индекс или ограничение NOT DEFERRABLE, а exclusion constraints не подходят. Если найденную строку дальше меняют в той же транзакции, её можно заблокировать в этом же запросе:
INSERT INTO balances (account_id, amount) VALUES (42, 0)
ON CONFLICT (account_id) DO SELECT FOR UPDATE
RETURNING *;
Поддерживаются все четыре режима блокировки, от FOR UPDATE до FOR KEY SHARE, и условие WHERE, по которому отбираются возвращаемые строки. Блокировку получат все конфликтующие строки, в том числе те, что под условие не попали. PostgreSQL 19 сейчас в четвёртой бете, вышедшей 24 сентября, а релиз-кандидат обещают в начале октября. В этой бете из релиза убрали SQL/PGQ, FOR PORTION OF и операции над партициями, но DO SELECT в документации версии 19 остался. Холостые DO UPDATE в коде стоит пометить уже сейчас: после обновления каждый из них заменяется одной правкой, и таблицы с частым get-or-create перестанут копить мёртвые кортежи. #backendvkhub #postgresql
09 Okt, 05:17

🔊 Джависты, собираем рюкзаки! Не в школу, конечно, а на Joker 2026 с 14 по 15 октября. ➡️ Егор Леванков, старший разработчик
🔊 Джависты, собираем рюкзаки! Не в школу, конечно, а на Joker 2026 с 14 по 15 октября. ➡️ Егор Леванков, старший разработчик One-cloud, поделится на конференции опытом непрерывного профилирования прода на десятках тысяч хостов. Расскажет, чем отличаются подходы для Java и натива, как устроены форматы профилей и что стоит за готовыми решениями. В этот раз мы подготовили самый большой стенд: заглядывайте в Java-класс, чтобы проверить инженерную интуицию в «Умниках и ставках», собрать рюкзак Java-разработчика, решать задачи на инциденты с экспертами VK и поиграть в настолки и ретроигры. 📌 14–15 октября 📍 Санкт-Петербург, площадь Победы, 1, Cosmos Saint-Petersburg Pulkovskaya Hotel 💻 Можно участвовать онлайн ➡️ Купить билет Увидимся на Joker — будем знакомиться, обсуждать технологии и обмениваться опытом. #backendvkhub #конференция #java
07 Okt, 05:34

06 Okt, 05:54

Сентябрь в бэкенде вышел плотным. JDK 27 поменял сборщик мусора для маленьких контейнеров, PostgreSQL 19 незадолго до релиза
Сентябрь в бэкенде вышел плотным. JDK 27 поменял сборщик мусора для маленьких контейнеров, PostgreSQL 19 незадолго до релиза лишился нескольких громких фич, а PgBouncer, PHP и NGINX выпустили исправления уязвимостей, с которыми лучше не тянуть. 🔵JDK 27: G1 везде и компактные заголовки JDK 27 вышел 15 сентября. Раньше при скромных ресурсах, вроде одного CPU и хипа меньше 1,8 ГБ, JVM по умолчанию брала Serial GC, а теперь по JEP 523 всегда выбирает G1, и сервисы в маленьких подах это заметят. Компактные заголовки из JEP 534 включены по умолчанию: заголовок объекта сократился с 12 до 8 байт. TLS 1.3 теперь первым предлагает гибридный постквантовый обмен X25519MLKEM768, а JFR сам маскирует похожие на секреты значения в аргументах JVM и переменных окружения. 🔵PostgreSQL 19 Beta 4: откаты перед релизом Четвёртая бета от 24 сентября убрала из 19 версии SQL/PGQ, включение контрольных сумм на лету, FOR PORTION OF для UPDATE и DELETE, а также MERGE и SPLIT PARTITIONS. Большую часть этого списка мы упоминали в августе. На месте остались REPACK CONCURRENTLY, параллельный автовакуум и ON CONFLICT DO SELECT, а релиз-кандидат ждут в начале октября. 🔵PgBouncer 1.26: три DoS-уязвимости Версия от 23 сентября закрывает CVE-2026-19888, CVE-2026-6668 и CVE-2026-6669, причём две первые эксплуатируются без аутентификации. Онлайн-рестарт через -R удалён, так что скрипты деплоя с этим флагом стоит проверить до обновления. 🔵PHP 8.6 RC2 и патчи четырёх веток 24 сентября вышел второй релиз-кандидат PHP 8.6, первый пропустили из-за ошибки упаковки. Финальная версия запланирована на 19 ноября и меняет умолчания сессий: use_strict_mode и cookie_httponly включены, а cookie_samesite получает значение Lax. В тот же день вышли security-релизы 8.5.11, 8.4.26, 8.3.35 и 8.2.34. 🔵NGINX: переполнение буфера в HTTP/3 Уязвимость CVE-2026-90439 затрагивает ngx_http_v3_module в версиях с 1.29.2 по 1.31.5. Исправление вышло 15 сентября в версиях 1.30.5 и 1.31.6. 🔵Go: мелкие аллокации быстрее Go 1.27.1 вышел 1 сентября с исправлениями в компиляторе, рантайме и net/http. В блоге Go разобрали изменение из 1.27: аллокации до 80 байт идут через специализированные варианты mallocgc и работают быстрее вплоть до 20–30%, а в масштабе всей программы выигрыш доходит до 1%. 🔵Valkey 9.2 RC1: снапшоты без fork В первом кандидате 9.2 от 16 сентября появились RDB-снапшоты без fork, они включаются параметром forkless-infrastructure-enabled. EXEC получил условия IFEQ, IFNE, NX и XX для оптимистичной блокировки без WATCH, а большие sorted set теперь хранятся в B+ дереве вместо skiplist. 🔵Rust: секреты в кеше CI 21 сентября команда Rust предупредила, что cargo miri сохранял в target/ все переменные окружения. Если target/ кешировался в GitHub Actions, секреты мог прочитать автор любого pull request. Исправление вошло в nightly от 22 сентября, но кеши стоит очистить, а секреты перевыпустить. #дайджест #backendvkhub
01 Okt, 06:40

HTTP QUERY: почему поиск больше не должен притворяться методом POST Поисковый фильтр в API давно перестал быть парой простых
HTTP QUERY: почему поиск больше не должен притворяться методом POST Поисковый фильтр в API давно перестал быть парой простых параметров — это дерево условий, массивы идентификаторов, диапазоны дат и состояние пагинации. В GET всё это пришлось бы кодировать в URI. Стандарт HTTP советует поддерживать адреса длиной хотя бы 8 000 байт, но лимит у каждого звена свой. Поэтому длинный URL может обрезать браузер, балансировщик или WAF ещё до сервиса. Даже если адрес прошёл всю цепочку, он раздувается от percent-encoding и целиком оседает в логах и истории браузера. Почти каждый поиск в API живёт как POST /search. Для протокола это обычный POST: он небезопасный и неидемпотентный, поэтому прокси не имеет права повторить оборванный запрос, кеш — переиспользовать такой ответ, а клиент с retry рискует задублировать операцию. Что предложил RFC 10008 В июне 2026 года IETF опубликовал RFC 10008 с методом QUERY. Метод объединяет безопасность и идемпотентность GET с телом запроса, как у POST.
QUERY /feed HTTP/1.1
Host: api.example.test
Content-Type: application/json
{
  "filter": {
    "status": ["published", "scheduled"],   # допустимые статусы
    "publishedAt": { "gte": "2026-01-01" }  # нижняя граница даты
  },
  "sort": [{ "field": "publishedAt", "direction": "desc" }],
  "limit": 50
}
URI здесь задаёт ресурс и область выборки, а filter и sort в теле описывают условия поиска. Называть QUERY «GET с телом» неточно, ведь у тела GET нет определённой семантики, а у QUERY оно определяет всю операцию. Content-Type при этом обязателен: без него сервер отклоняет запрос, а угадывать формат по содержимому запрещено. Кеширование Ключ кеша обязан включать URI, тело запроса и Content-Type, поэтому запросы с "page": 1 и "page": 2 не могут делить одну запись. Чтобы построить ключ, кешу сначала придётся прочитать всё тело, и кеширование QUERY выходит дороже, чем GET. Если запрос тяжёлый, сервер может вернуть Location с адресом сохранённого запроса. Тогда последующие обращения пойдут обычным GET, без повторной передачи тела. Что с поддержкой? OpenAPI 3.2 уже описывает query как first-class операцию. Серверные фреймворки подтягиваются с разной скоростью. Spring Framework 7.1 содержит HttpMethod.QUERY, заголовок Accept-Query и привязку тела запроса. В Gin и Fiber поддержка появилась в upstream, а Fastify и NestJS пока остановились на issues. Инфраструктура отстаёт от фреймворков. NGINX уже проксирует QUERY, но не кеширует его, потому что proxy_cache_methods по умолчанию ограничен GET, HEAD и POST. В браузерах метод не входит в CORS-safelist, поэтому междоменный вызов требует preflight, а HTML-формы method="query" не стандартизированы. QUERY закрывает старый разрыв между GET и POST, но сам стандарт не заставляет промежуточные звенья его понимать. Перед продом прогоняйте всю цепочку на реальном трафике и держите POST /search как фолбэк. #backendvkhub #api #поиск
29 Sen, 08:45

compact object headers по умолчанию: JDK 27 отдаёт обратно пятую часть кучи Сервис на Spring держит в памяти десятки миллионо
compact object headers по умолчанию: JDK 27 отдаёт обратно пятую часть кучи Сервис на Spring держит в памяти десятки миллионов мелких объектов: элементы кеша, DTO из очереди, узлы деревьев. Куча упирается в четыре гигабайта, хотя полезных данных там заметно меньше. Разница уходит в заголовки: каждый объект на 64-битной JVM несёт 96 бит служебной информации, а без сжатых указателей на класс все 128. Заголовок собран из двух слов. В mark word лежат сведения о блокировке, возраст для сборщика и вычисленный identity hash, в class word лежит указатель на метаданные класса. Для объекта с парой полей сопоставимы с размером самих данных. JEP 534 в JDK 27, вышедшей 15 сентября 2026, делает компактную раскладку значением по умолчанию: оба слова сливаются в одно 64-битное, а указатель на класс сжимается до 22 бит. Путь у фичи долгий: эксперимент в JDK 24, продуктовая настройка в JDK 25, теперь поведение по умолчанию. Заявленная экономия составляет 10–20% живых данных. То, что раскладка включилась, видно прямо на старте:
$ java -XX:+PrintFlagsFinal -version | grep -i UseCompactObjectHeaders
bool UseCompactObjectHeaders = true  {product lp64_product} {default}
➡️ Размер конкретного класса можно глянуть через JOL, он печатает раскладку полей вместе с выравниванием:
System.out.println(ClassLayout.parseClass(CacheEntry.class).toPrintable());
На классе с двумя ссылочными полями заголовок падает с 12 байт до 8, и экземпляр укладывается в 16 байт вместо 24: выравнивание по 8 байт добавляет к экономии ещё четыре. Ограничение вытекает из тех самых 22 бит: в них помещается около четырёх миллионов классов. Приложение, которое плодит классы на лету (динамические прокси, скриптовые движки, тяжёлая кодогенерация), способно упереться в предел, и тогда загрузка класса завершится OutOfMemoryError без автоматического отката на старую раскладку. Сюрпризы приходят и со стороны агентов и нативного кода, если те читают заголовок по фиксированному смещению. Отключается всё флагом -XX:-UseCompactObjectHeaders, но рассчитывать на него вдолгую не стоит: старую раскладку планируют объявить устаревшей и со временем убрать. В том же релизе поменялся и сборщик по умолчанию: JEP 523 назначает G1 стандартом во всех окружениях, включая маленькие контейнеры, где раньше выбирался Serial. Сервисам на 25-й ту же экономию даёт -XX:+UseCompactObjectHeaders без смены мажорной версии. Перед включением на проде стоит посмотреть счётчик загруженных классов (jcmd <pid> VM.class_hierarchy или метрика jvm_classes_loaded) и прогнать нагрузочный тест с теми агентами, которые реально работают в бою. Если счётчик держится в десятках тысяч, потолок в четыре миллиона вас не касается. А вы уже мерили, сколько кучи у вас занимают заголовки объектов? #backendvkhub #jdk #java
24 Sen, 06:32

22 Sen, 06:30