fa
Feedback

فریب کلاهبرداران را نخورید! تل‌متریو این کانال‌ها را شناسایی و برچسب‌گذاری می‌کند 👉 برای مشاهده برچسب، اشتراک تهیه کنید

Backend VK Hub

Backend VK Hub

رفتن به کانال در Telegram

Комьюнити VK для бэкендеров. Cамые хардовые кейсы, дискуссии в кругу своих и прямой доступ к нашим экспертам 😎

نمایش بیشتر
1 161
مشترکین
+1924 ساعت
+507 روز
+3930 روز

در حال بارگذاری داده‌ها

کانال‌های مشابه
هیچ داده‌ای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
نوامبر '26
نوامبر '26
+61
در 10 کانال‌ها
اکتبر '26
+6
در 1 کانال‌ها
Get PRO
سپتامبر '26
+9
در 1 کانال‌ها
Get PRO
اوت '26
+12
در 1 کانال‌ها
Get PRO
ژوئیه '26
+12
در 0 کانال‌ها
Get PRO
ژوئن '26
+7
در 1 کانال‌ها
Get PRO
مه '26
+17
در 1 کانال‌ها
Get PRO
آوریل '26
+21
در 1 کانال‌ها
Get PRO
مارس '26
+8
در 0 کانال‌ها
Get PRO
فوریه '26
+25
در 2 کانال‌ها
Get PRO
ژانویه '26
+40
در 1 کانال‌ها
Get PRO
دسامبر '25
+427
در 21 کانال‌ها
Get PRO
نوامبر '25
+154
در 0 کانال‌ها
Get PRO
اکتبر '25
+770
در 20 کانال‌ها
تاریخ
رشد مشترکین
اشارات
کانال‌ها
21 نوامبر+3
20 نوامبر+19
19 نوامبر+12
18 نوامبر+18
17 نوامبر+8
16 نوامبر0
15 نوامبر0
14 نوامبر0
13 نوامبر0
12 نوامبر0
11 نوامبر0
10 نوامبر0
09 نوامبر0
08 نوامبر0
07 نوامبر0
06 نوامبر0
05 نوامبر0
04 نوامبر0
03 نوامبر0
02 نوامبر0
01 نوامبر+1
پست‌های کانال
📢 28 ноября VK проведёт конференцию VK JT Видео для тех, кто разрабатывает технологии обработки, доставки и воспроизведения видеоконтента. Инженеры VK, Яндекса, Иви, КИОН и других компаний расскажут о реальных задачах разработки и решениях, которые уже применяются в работе сервисов. Обсудим:    🔹как в VK оценивают работу алгоритмов адаптивного выбора качества видео 🔹как обучают нейросетевые ABR-модели и собирают для них сетевые данные 🔹как Иви сократил расходы на видеотрафик более чем на 40% 🔹как КИОН добился экономии до 20% на CDN Откроет конференцию ведущий научный сотрудник Института ИИ МГУ Дмитрий Ватолин с исследованием видеохостингов, онлайн-кинотеатров и кодеков 2026 года. После докладов — живая подкаст-дискуссия и общение с коллегами. 🗓 28 ноября, сбор гостей с 16:00 Формат — только офлайн, без трансляции. ➡️ Регистрация #backendvkhub #конференция #видео
20 نوامبر, 04:20

2
Переезд с Node.js 24 на 26 LTS «Lithium»: что сломается и что получим 28 октября Node.js 26.13.0 стал LTS под именем «Lithium+5
Переезд с Node.js 24 на 26 LTS «Lithium»: что сломается и что получим 28 октября Node.js 26.13.0 стал LTS под именем «Lithium». Нового кода в релизе нет, поменяли только метаданные. 26 ветка получит обновления до конца апреля 2029 года, а  24 — до конца апреля 2028. Прыжок с 24 на 26 проходит через нечётную 25 ветку, и её ломающие изменения достаются нам вместе с 26. Главные касаются окружения: Linux-бинарникам теперь нужна libatomic, а Corepack из поставки убрали. ➡️ В карточках разбираем график релизов, образы, удалённые API, новые умолчания и API, а в конце — порядок переезда. #backendvkhub #lithium #node
291
3
Первая половина ноября выдалась щедрой на заплатки. В PostgreSQL закрыли сразу 52 уязвимости, в Apache httpd — критическую RC
Первая половина ноября выдалась щедрой на заплатки. В PostgreSQL закрыли сразу 52 уязвимости, в Apache httpd — критическую RCE в HTTP/2, а в Go и Git исправили ошибки, из-за которых чужой код мог выполниться при сборке и при клонировании. Без драмы вышли .NET 11 и юбилейный Rust 1.100. 🔹PostgreSQL: 52 уязвимости и прощание с 14 версией  12 ноября вышли 18.7, 17.12, 16.16, 15.20 и 14.25. Самые опасные уязвимости получили 8,8 балла по CVSS и позволяют выполнить произвольный код, например через вредоносный архив для pg_restore. После обновления может понадобиться REINDEX для части индексов. Для PostgreSQL 14 этот выпуск последний. 🔹Apache httpd 2.4.71: RCE в mod_http2  11 ноября в Apache закрыли критическую CVE-2026-119618. Гонка в функции assign_headers() повреждает память в куче и может привести к удалённому выполнению кода. Уязвимы версии с 2.4.55 по 2.4.70, то есть все, которые выходили с января 2023 года, если включён mod_http2. 🔹Node.js: 16 уязвимостей, в основном в HTTP/2 и TLS  11 ноября вышли 22.23.5, 24.22.3 и 26.13.1. Одна из семи уязвимостей высокого уровня позволяет любому клиенту уронить HTTP/2-сервер на ветках 24 и 26. Другая при определённом устройстве обработчика заставляет HTTPS-сервер подмешивать в ответ куски своей памяти. Предыдущий такой выпуск был всего три недели назад. 🔹Go: опасная сборка  10 ноября вышли Go 1.27.4 и 1.26.11, закрывающие 12 уязвимостей. Почти все они связаны с cgo: вредоносный пакет мог выполнить код прямо во время сборки через флаги в #cgo, файлы .syso или вызов pkg-config. Тем, кто собирает чужой код в CI, стоит обновиться первыми. 🔹OpenSSH 10.6p2: вход по любому длинному паролю  5 ноября вышло исправление для сборок на musl без PAM, в первую очередь для Alpine. В учётную запись, где вместо хеша пароля стоит звёздочка, можно было войти с любым паролем длиннее 257 символов: функция crypt() из musl возвращала ту же звёздочку, и проверка проходила. Если обновиться сразу не получается, парольный вход лучше отключить через PasswordAuthentication no. 🔹Git 2.56.1: опасное клонирование  10 ноября в Git закрыли шесть уязвимостей. Самая неприятная связана с git clone --recurse-submodules: вредоносный репозиторий мог подменить каталог .git подмодуля символической ссылкой и выполнить код. Уязвимы все версии начиная с 2.27.0, исправления есть для веток с 2.50 по 2.56. 🔹.NET 11  10 ноября вышел .NET 11 — STS-релиз с поддержкой на два года. В C# 15 появились union types, и компилятор проверяет, что switch разбирает все варианты. В тот же день закончилась поддержка .NET 8 и 9. 🔹Rust 1.100: пауза перед свежими зависимостями  12 ноября вышел Rust 1.100, в котором наконец стабилизировали тип !. Бэкендерам полезнее новинка в Cargo: настройка global-min-publish-age = "3 days" заставляет пропускать версии пакетов моложе трёх дней. Это простая защита от части атак через свежие вредоносные релизы. #backendvkhub #дайджест
367
4
JDK 27: G1 по умолчанию в маленьких подах и рост RSS ➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию в
JDK 27: G1 по умолчанию в маленьких подах и рост RSS ➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию во всех окружениях (JEP 523). До JDK 26 включительно JVM выбирала G1, только если видела хотя бы два процессора и 1 792 МиБ памяти, а иначе брала Serial. В контейнере JVM берёт число процессоров и объём памяти из cgroup. Поэтому поды с лимитом 1 CPU или с лимитом памяти меньше 1 792 МиБ годами работали на Serial, и мало кто это замечал. Каких подов коснётся переход? Однопроцессорными дело не ограничивается. В нашем тесте под с 2 CPU и 1 ГиБ на JDK 21 тоже получил Serial, на этот раз из-за памяти. Проверить, какой сборщик работает, можно у запущенного процесса через jcmd <pid> VM.flags или при старте с -Xlog:gc: java -Xlog:gc -version 2>&1 | grep Using # JDK 21, 1 CPU / 1 ГиБ: [...][info][gc] Using Serial # JDK 27, те же лимиты: [...][info][gc] Using G1 Главный эффект перехода — рост RSS. Мы запустили в cgroup на 1 CPU и 1 ГиБ синтетический однопоточный сервис с 80 МиБ живых данных. Xmx по умолчанию был 256 МиБ. На JDK 21 с Serial пиковый RSS был 181 МиБ, на JDK 27 с G1 — 297 МиБ, на 64% больше. JDK 27 с явным -XX:+UseSerialGC уложился в 170 МиБ. По общему времени прогона G1 и Serial на JDK 27 шли почти вровень. Откуда разница? G1 подбирает размер heap так, чтобы сборка занимала небольшую долю процессорного времени, поэтому в нашем тесте committed heap у него держался почти на уровне Xmx: 245 из 256 МиБ. Serial при тех же данных держал heap в пределах 120–160 МиБ. Смена сборщика объясняет меньшую часть разницы: JDK 21 с явным G1 в том же тесте показал около 205 МиБ RSS, а изменения в самом G1 между JDK 21 и 27 добавили ещё около 90 МиБ. Тикет JDK-8385348 о росте потребления памяти с JDK 25 до 27 закрыли как Won’t Fix. Флаг -XX:SoftMaxHeapSize не снизил RSS: G1 пока не учитывает его (JDK-8236073). Выигрыш G1 виден в другом сценарии, где объекты регулярно уходят в старое поколение. Там RSS у G1 был всего на 10% больше, чем у Serial, а максимальная задержка запроса у G1 — 55–65 мс, у Serial — около 100 мс. Полных сборок за прогон у G1 не было, у Serial их было 34. Подвести при переходе могут и флаги запуска. Некоторые команды включали G1 в маленьких подах через -XX:+AlwaysActAsServerClassMachine. JDK 27 выводит предупреждение и игнорирует этот флаг, а JVM из JDK 28 EA с ним вообще не запускается: Unrecognized VM option 'AlwaysActAsServerClassMachine'. С NeverActAsServerClassMachine то же самое. ➡️ Перед переходом на JDK 27 смотрим, какой сборщик работает в каждом маленьком поде. Если там Serial, а лимит памяти подбирали по фактическому RSS, выбираем сборщик по профилю нагрузки. В подах, где объекты регулярно уходят в старое поколение и важны задержки, переходим на G1 и поднимаем лимит до суммы Xmx и нативной памяти. В остальных задаём -XX:+UseSerialGC. Флаги *ActAsServerClassMachine убираем из манифестов сразу. #backendvkhub #jdk
411
5
В Go 1.27 после resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256
В Go 1.27 после resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256 KiB и 50 мс на дочитку. У ответа с Content-Length всё тело должно уложиться в 256 KiB, у chunked-ответа — только непрочитанный остаток. До 1.27 Transport закрывал соединение, если тело не было прочитано до конца, и следующий запрос открывал новое TCP-соединение, а для HTTPS ещё и проходил TLS-рукопожатие. Какого кода это касается? Того, который смотрит только на статус: проверок health-check, вебхуков, обработки ошибок. И самого частого случая, когда json.NewDecoder(resp.Body).Decode(&v) читает объект и останавливается, а в соединении остаётся хвост chunked-ответа. В нашем тесте сервер досылал завершающий chunk через 2 мс. На Go 1.25 каждый из 500 HTTPS-запросов открыл новое соединение, на Go 1.27 соединений было около 170, а среднее время запроса упало с 2,3-2,6 до 0,7-1 мс. resp, err := client.Do(req) if err != nil { return err } defer resp.Body.Close() // в 1.27 соединение вернётся в пул if resp.StatusCode != http.StatusOK { return fmt.Errorf("status %d", resp.StatusCode) } return json.NewDecoder(resp.Body).Decode(&v) Почему соединений всё же около 170? Дочитка асинхронная: Close() сразу возвращает управление, а фоновый цикл транспорта дочитывает остаток. В пул соединение попадает только после дочитки, и если следующий запрос стартует раньше, он открывает новое. Явная дочитка через io.Copy(io.Discard, io.LimitReader(resp.Body, 64<<10)) в том же тесте обошлась одним соединением, но каждый запрос ждал хвост и занимал 2,6 мс. Если лимит превышен или хвост не успел прийти за 50 мс, всё остаётся по-старому: соединение закрывается. Отключить механизм через GODEBUG нельзя, он работает в любой программе, собранной тулчейном Go 1.27, независимо от версии в go.mod. Выключить его можно только вместе с повторным использованием соединений: для всего транспорта через Transport.DisableKeepAlives, для отдельного запроса через req.Close = true. На HTTP/2 механизм не распространяется. В release notes предупреждают тех, кто задаёт Transport.MaxIdleConns равным 0 (без лимита) или создаёт отдельный Client на каждый запрос: простаивающих соединений станет больше, и производительность может упасть. Версию берём не ниже 1.27.2 от 8 октября. В ней исправили дедлок при одновременном вызове Read и Close у тела ответа (#81411) и гонку при доступе к Response.Trailer во время дочитки (#81522). Актуальная версия — 1.27.3 от 19 октября. Начинать можно с поиска ручной дочитки в клиентах. Дочитку без лимита убираем: на большом теле она читает его целиком, а на медленном потоке зависает. Вариант с io.LimitReader оставляем только там, где соединение должно вернуться в пул до следующего запроса. А у вас в HTTP-клиентах стоит ручная дочитка перед Close()? #backendvkhub #go
390
6
JDK 27: JFR сам скрывает секреты в записи, но не все ➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секрет
JDK 27: JFR сам скрывает секреты в записи, но не все ➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секреты в записи на [REDACTED] (JEP 536). Под замену попадают значения переменных окружения и системных свойств с подозрительными именами, а также аргументы командной строки, совпавшие с масками. До версии 27 значения PGPASSWORD, -Djavax.net.ssl.keyStorePassword и --token лежали в файле .jfr открытым текстом и вместе с записью уходили в тикеты. Как JFR решает, что перед ним секрет? По маскам с * и ? без учёта регистра. Для имён переменных и свойств это *password*, *pwd*, *secret*, *token*, *api*key*, *auth* и ещё несколько. Для аргументов есть и парные маски вроде -*password *: они скрывают опцию вместе со значением, которое идёт следующим аргументом. Маски проверяют только имена, поэтому секрет под непредусмотренным именем или внутри значения остаётся открытым. В нашем тесте на 27.0.1 открытыми остались DB_PASS, DATABASE_URL=postgres://app:pw@db/app, -Dapp.db.pass и аргумент --db-url postgres://u:pw@h/db. JFR скрыл свойство -Dspring.datasource.url=jdbc:…password=… в списке аргументов JVM, но в событии jdk.InitialSystemProperty оставил его значение открытым. Обратная проблема — лишние срабатывания: *pwd* скрывает PWD и OLDPWD, и рабочий каталог пропадает из записи. Свои маски добавляем через +, иначе стандартный список заменяется целиком: printf '*pass\n*_url\n*.url\n' > k.txt printf '*://*:*@*\n' > a.txt java '-XX:FlightRecorderOptions:redact-key=+@k.txt,redact-argument=+@a.txt' \ -Xlog:jfr+redact=debug -XX:StartFlightRecording:filename=app.jfr -jar app.jar redact-key проверяет имена переменных и свойств, redact-argument — аргументы, а маска *://*:*@* ловит URL с логином и паролем. -Xlog:jfr+redact=debug печатает, загрузились ли файлы с масками и какие переменные скрыты. Если файл с масками не читается, JVM завершается при старте. Механизм полностью отключается опцией redact-argument=none,redact-key=none. JFR не трогает событие jdk.ProcessStart с командами дочерних процессов, а jcmd <pid> VM.command_line и /proc/<pid>/cmdline показывают аргументы без маскировки. Слишком короткая маска для аргумента задевает и переменные окружения: текст скрытого аргумента заменяется на [REDACTED] и в их значениях. С маской -p * и аргументом -p v значение api-pr-preview.example.com превратилось в api[REDACTED]r[REDACTED]re[REDACTED]iew.example.com. 📌 Перед переходом на JDK 27 прогоняем реальный стартовый скрипт с -Xlog:jfr+redact=debug, смотрим запись через jfr print и добавляем маски под имена своих переменных и свойств. Записи JDK до 27 перед отправкой наружу чистим командой jfr scrub, которая есть в JDK 19 и новее. --exclude-events убирает события InitialEnvironmentVariable, InitialSystemProperty, ProcessStart и JVMInformation с аргументами JVM и приложения. #backendvkhub #jdk #jfr
464
7
Что происходило в бэкенде во второй половине октября 2026 Вторая половина октября выдалась нервной: почти каждая новость свод
Что происходило в бэкенде во второй половине октября 2026 Вторая половина октября выдалась нервной: почти каждая новость сводилась к «обновитесь». Ключи промежуточных сертификатов eMudhra оказались скомпрометированы, в PHP закрыли две RCE с оценкой 9,2 по CVSS, а на PyPI почти два часа лежал litellm с вредоносным кодом. Главные новости собрали в короткий дайджест. 🔵 eMudhra: сертификаты, которым больше нельзя верить 17 октября Google получила сообщение, что ключи восьми промежуточных CA eMudhra скомпрометированы: ими можно подписать поддельный TLS-сертификат для любого домена. Go 1.27.3 и 1.26.10 от 19 октября перестали доверять «небольшому набору промежуточных сертификатов». Какой это CA, в анонсе не сказано. Node.js 21 октября удалил корни eMudhra из хранилища, а Python 3.15.2 от 25 октября отклоняет эти сертификаты в модуле ssl. 🔵 PHP: две RCE без аутентификации 21 октября вышли PHP 8.5.12, 8.4.27, 8.3.36 и 8.2.35. Обе уязвимости затрагивают любую установку, которая обслуживает веб-запросы, от FPM до FrankenPHP. Для mod_php показали эксплойт, который срабатывает до того, как выполнится код приложения. Надёжно защищает только обновление. 🔵 litellm: почти два часа с вредоносом на PyPI 21 октября атакующие с украденными токенами GitHub выложили на PyPI заражённый litellm==1.107.0, а на Docker Hub и GHCR — образы, включая тег latest. Вредоносный код лежит в cook.pth и запускается при каждом старте Python, даже при вызове самого pip. Окружения с этой версией проще пересобрать, а ключи из них — перевыпустить. 🔵 Node.js: Brotli и обход проверки TLS Релизы от 21 октября закрывают 10 CVE. Самая неприятная — запись за пределы буфера в декодере Brotli в node:zlib: если сервис распаковывает чужие данные, возможна RCE. Ещё две позволяют обойти проверку hostname: сертификат принимается для чужого IP, если адрес записан полноширинными цифрами или с ведущим нулём вроде 0127.0.0.1. 🔵 JDK 25.0.5: постквантовый TLS из коробки В обновлении от 20 октября гибридная группа X25519MLKEM768 включена по умолчанию и стала самой предпочтительной в TLS 1.3. Встроенный HttpServer стал строже: на HTTP/1.1-запросы без заголовка Host или с двумя такими заголовками он отвечает кодом 400, и самописные клиенты без Host начнут получать ошибку. 🔵 Redis и Valkey: 4 ГиБ в 32 битах 26 октября раскрыли переполнение буфера в куче в кластерном режиме. При пересылке PUBLISH по шине кластера длина сообщения усекается до 32 бит: под сообщение больше 4 ГиБ выделяется маленький буфер, а копируется оно целиком. Клиент с настройками по умолчанию такое не отправит, но серверный скрипт его соберёт. Исправлено в Valkey 9.1.3 и Redis 8.10.3. 🔵 Kafka 4.4.0: обновиться есть ради чего Релиз от 22 октября добавил dead-letter queue для share groups и транзакционные state stores в Kafka Streams. А 28 октября раскрыли CVE-2026-112375: брокер разбирал конфигурацию до проверки прав, и аутентифицированный пользователь без прав мог через AlterConfigs прочитать файл или переменную окружения брокера. Исправлено в 4.4.0, 4.3.2 и 4.2.2. Статья от инженеров VK ➡️ ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух #backendvkhub #дайджест
385
8
pg_plan_advice в PostgreSQL 19: подсказки планировщику в штатной поставке ➡️ PostgreSQL 19 RC1 вышел 15 октября. Модуль pg_pl+5
pg_plan_advice в PostgreSQL 19: подсказки планировщику в штатной поставке ➡️ PostgreSQL 19 RC1 вышел 15 октября. Модуль pg_plan_advice описывает решения планировщика на компактном языке подсказок, а расширение pg_stash_advice применяет такие подсказки к запросам по query_id без правки кода приложения. Раньше для этого ставили стороннее расширение pg_hint_plan. Подсказка работает как запрет: планировщик перебирает варианты и сравнивает их стоимость, но выбирает запрещённые, только когда разрешённых не осталось. Главный недостаток pg_stash_advice — привязка к query_id: одна подсказка действует при любых значениях параметров, а смена алиаса таблицы её отключает. #backendvkhub #postgresql
496
9
Jujutsu: система контроля версий нового поколения Про Jujutsu, или коротко jj, скорее всего, слышали немногие. Это распределё
Jujutsu: система контроля версий нового поколения Про Jujutsu, или коротко jj, скорее всего, слышали немногие. Это распределённая система контроля версий от Мартина фон Цвейгбергка, бывшего инженера Google. Начать пользоваться ею можно в одиночку, поверх существующего репозитория. Наружу уходят обычные Git-коммиты, поэтому для CI и коллег ничего не меняется. Проект пока называется экспериментальным, но README уточняет, что Git-совместимость стабильна и многие разработчики используют jj ежедневно. Написан jj на Rust и разделён на библиотеку и CLI, причём библиотека рассчитана и на GUI, и на серверные сценарии. Есть популярный туториал по jj от Стива Клабника, признанного Rust-разработчика. Как устроена модель Главная идея Jujutsu касается переписывания истории. В Git коммит — это неизменяемый снимок, и любой amend или rebase создаёт новый хеш. Преемственность между исходной и обновлённой версиями одного и того же патча нигде не фиксируется, поэтому связь между его итерациями приходится держать в имени веток, Gerrit Change-Id или в памяти разработчика. В jj у логического изменения есть стабильный Change ID, который переживает amend, split и rebase, а конкретные версии различаются по Commit ID. Когда разработчик доработал патч после ревью, в истории это сохранится как одно изменение, а не набор новых хешей. Рабочая директория в jj сама является коммитом. Любая команда автоматически делает снапшот изменённых файлов и обновляет этот рабочий коммит, поэтому индекс (staging area) полностью исчезает, а цикл git add, git commit и git stash заменяется работой с графом. Незаконченные правки всегда представлены в истории, и над ними доступны обычные команды: jj new # начать новое изменение поверх текущего jj squash # влить текущие правки в предыдущее изменение jj split # разрезать изменение на два jj absorb # разложить мелкие правки по старым коммитам Правка раннего коммита в стеке автоматически переносится на всех потомков. Конфликты при этом не останавливают работу, потому что jj сохраняет конфликт прямо в коммит как состояние, и разрешить его можно позже, когда видны все затронутые потомки. Если что-то пошло не так, jj позволяет откатить изменения через operation log — журнал атомарных переходов между состояниями всего репозитория. Если reflog в Git помнит движение отдельных веток, то operation log в jj фиксирует репозиторий целиком, поэтому jj undo отменяет последнюю операцию, а jj op restore возвращает любое прошлое состояние. Ветки в jj называются bookmark и двигаются явно, когда пора что-то публиковать. Локально можно держать стек зависимых изменений вообще без имён, а bookmark поставить только на вершину перед пушем. И таких интересных изменений по сравнению с классическим Git достаточно много, подробнее можно изучить в документации. Совместимость с Git Коммиты хранятся как обычные Git-объекты и уходят через обычный Git-транспорт. Git и jj спокойно работают в одной директории и сами синхронизируются при каждой команде. Jujutsu автоматически сопоставляет своё Change ID с Gerrit Change-Id, поэтому повторная отправка изменённого коммита автоматически регистрируется как новая редакция патча. Что учесть Поддержка субмодулей ещё не закончена, а на очень больших репозиториях есть проблемы с производительностью. Делать jj командным стандартом пока рано, но вот попробовать лично стоит уже сегодня. В существующем локальном Git-репозитории Jujutsu будет работать как умный и удобный интерфейс поверх обычного гита, который отправляет стандартные коммиты в ваш привычный удалённый репозиторий. Либо новая модель войдёт в ваш воркфлоу, либо вы вернётесь к Git без потерь. #backendvkhub #jj
452
10
REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы После массового удаления таблица может занимать на дис
REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы После массового удаления таблица может занимать на диске в разы больше живых данных. Обычный VACUUM помечает место как свободное, но сам файл почти не уменьшает. VACUUM FULL переписывает таблицу и отдаёт место системе, только всё это время держит ACCESS EXCLUSIVE, и нельзя ни читать таблицу, ни записывать в неё. Поэтому большие таблицы годами чистили сторонним расширением pg_repack. В PostgreSQL 19 появилась команда REPACK. Она объединяет VACUUM FULL и CLUSTER (старые команды оставили для совместимости), а с опцией CONCURRENTLY перестраивает таблицу, не блокируя чтение и запись. RC1 вышел 15 октября, релиз запланирован на 29 октября. -- то же, что VACUUM FULL REPACK orders; -- то же, что CLUSTER: переложить строки в порядке индекса REPACK orders USING INDEX orders_created_at_idx; -- без блокировки чтения и записи REPACK (CONCURRENTLY) orders; Работает это так: таблица копируется в новый файл без мёртвых строк, индексы строятся заново, а изменения, пришедшие за это время, ловятся через логическое декодирование и докатываются отдельной фазой. ACCESS EXCLUSIVE берётся только на подмену файлов, и обычно это ненадолго. Затянуться процесс может, если в таблицу успели много записать, пока команда ждала блокировку: эти изменения применяются уже под ней. Ограничений у CONCURRENTLY хватает. Опция не работает для партиционированных и UNLOGGED таблиц, материализованных представлений и внутри транзакции. Таблице нужен первичный ключ или replica identity по индексу. Каждый запуск занимает слот репликации, а их число ограничивает max_repack_replication_slots: по умолчанию 5, меняется только с рестартом. Свободного места на диске нужно не меньше суммы размеров таблицы и её индексов. К тому же REPACK CONCURRENTLY не MVCC-безопасен, как и TRUNCATE. Транзакция, которая взяла снимок до завершения команды и ещё не трогала таблицу, увидит её пустой. Поэтому с отчётами, которые долго читают несколько таблиц в одном снимке, такой запуск лучше не пересекать. Следить за ходом удобно через новое представление: SELECT relid::regclass, phase, heap_blks_scanned, heap_blks_total, heap_tuples_updated, heap_tuples_deleted FROM pg_stat_progress_repack; Счётчики updated и deleted растут только в фазе catch-up, когда докатываются чужие изменения, и по ним видно, сколько записей накопилось за время копирования. Если bloat сейчас чистят через pg_repack, после перехода на версию 19 можно обойтись встроенной командой. Заранее стоит проверить, что у больших таблиц есть первичный ключ, и заложить место на диске. VACUUM FULL в старых скриптах продолжит работать, а новые задачи обслуживания логичнее писать уже на REPACK. @backendvkhub @postgresql
523
11
Python 3.15 подробнее: ленивый прокси, снимок зависшего процесса и frame pointers В обзорном посте мы уже прошлись по главном+5
Python 3.15 подробнее: ленивый прокси, снимок зависшего процесса и frame pointers В обзорном посте мы уже прошлись по главному: ленивым импортам, UTF-8 по умолчанию, профайлеру Tachyon и JIT. В карточках разбираем подробнее то, что в обзор не поместилось: Ленивый импорт ускоряет старт, но загрузку модуля оплачивает запрос, который первым обратится к имени. Режим all делает ленивыми не все импорты, а режима none, описанного в PEP 810, в релизе нет. UTF-8 по умолчанию затрагивает аргументы командной строки, окружение и подпроцессы, Tachyon снимает стек зависшего процесса командой dump, а сборка с frame pointers упрощает работу perf. ➡️ В последней карточке рассказываем про изменения, которые ломают старый код при переезде. #backendvkhub #python
534
12
بدون متن...
486
13
Python 3.15 принёс ленивые импорты, UTF-8 по умолчанию и профилировщик Tachyon Свежий релиз Python 3.15.0 вышел 9 октября. Ле
Python 3.15 принёс ленивые импорты, UTF-8 по умолчанию и профилировщик Tachyon Свежий релиз Python 3.15.0 вышел 9 октября. Ленивые импорты поменяли запуск приложений, текстовые файлы на Windows теперь читаются в кодировке UTF-8, а новый встроенный семплирующий профилировщик Tachyon подключается к живому процессу. Разобрали главное, а подробности доступны в документации. Ленивые импорты Ключевое слово lazy откладывает загрузку модуля до первого обращения к имени (PEP 810). lazy import json print("Старт") # json ещё не загружен data = json.loads("{}") # json загружается здесь Вместо модуля интерпретатор держит прокси, а ошибка загрузки возникает в точке первого использования. В traceback при этом видны и место обращения, и исходная строка lazy import. Разрешён такой импорт только на уровне модуля, а режим для всего процесса задают -X lazy_imports и PYTHON_LAZY_IMPORTS. Библиотекам с поддержкой нескольких версий подойдёт переменная lazy_modules, которую старые Python игнорируют. Авторы PEP обещают сократить запуск CLI на 50–70%, но можно нарваться и на побочные эффекты, поскольку регистрация плагинов при импорте уедет на момент первого использования. UTF-8 по умолчанию Теперь open("file.txt") без encoding читает UTF-8 независимо от локали (PEP 686). В локали C и POSIX так было и раньше, поэтому основной удар приходится на Windows. CSV в cp1251, которые раньше читались без указания кодировки, теперь прочитаются как UTF-8. Авторы PEP предупреждают, что возможна даже тихая порча данных. Найти такие места поможет команда для CI. python -X warn_default_encoding -W error::EncodingWarning -m pytest Старое поведение возвращается через PYTHONUTF8=0. Профилировщик Tachyon Пакет profiling.sampling читает стеки процесса снаружи, без хуков. Частота доходит до 1 МГц, а нагрузку на процесс авторы называют практически нулевой. python -m profiling.sampling attach --flamegraph -d 30 -o profile.html <PID> Команда подключается к работающему процессу и за 30 секунд собирает флеймграф. Режимы wall и cpu помогают отличить вычисления от ожидания, а gil показывает код, который монополизирует интерпретатор. Среди форматов вывода есть pstats, дифференциальный флеймграф и JSON для Firefox Profiler. Время в отчётах оценивается по семплам, а профилировщик и цель должны работать на одной минорной версии Python. JIT и free-threading JIT остаётся экспериментальным и включается переменной PYTHON_JIT=1. Прирост по geomean pyperformance составляет 7–8% на x86-64 Linux и 11–12% на AArch64 macOS. На отдельных бенчмарках разброс велик, а для I/O-bound кода выигрыш незначителен. На Windows официальные 64-разрядные сборки теперь используют интерпретатор на хвостовых вызовах. Он даёт 15–20% относительно switch-case интерпретатора. В установщике для macOS пакет с free-threaded сборкой теперь отмечен по умолчанию и ставится рядом с обычной, но команда python3 по-прежнему запускает сборку с GIL. Free-threaded сборка медленнее на однопоточном коде на 1–8%, но новый abi3t позволяет одному и тому же бинарнику работать и на обычных сборках и на сборках без GIL. Новый синтаксис Появились встроенные frozendict и sentinel, а распаковка аргументов заработала в comprehensions. Файлы .start заменяют исполняемые строки import в .pth. flat = [*li for li in lists] # вместо вложенного цикла MISSING = sentinel("MISSING") # отличает «не передан» от None def get(key, default=MISSING): ... Заключение Тесты на 3.15 можно гонять в CI уже сейчас, а для продакшена лучше дождаться колёс зависимостей и версии 3.15.1. Начинать миграцию разумнее с EncodingWarning, а lazy и JIT включать только после собственных замеров. #backendvkhub #python
357
14
ON CONFLICT DO SELECT в PostgreSQL 19: get-or-create одним запросом Get-or-create в PostgreSQL до сих пор пишется в обход. За
ON CONFLICT DO SELECT в PostgreSQL 19: get-or-create одним запросом Get-or-create в PostgreSQL до сих пор пишется в обход. Задача знакомая: нужен id тега, пользователя или ключа идемпотентности, и если строка уже есть, следует вернуть её, а если нет — создать. Очевидный вариант с DO NOTHING не подходит, потому что RETURNING отдаёт только вставленные строки, и на существующую запрос ответит пустым результатом. INSERT INTO tags (name) VALUES ('postgres') ON CONFLICT (name) DO NOTHING RETURNING id; -- тег уже есть: 0 строк Дальше обычно выбирают из двух неудобных вариантов. Второй SELECT означает лишний поход в базу и окно, за которое строку могут удалить. Холостой DO UPDATE SET name = EXCLUDED.name заставляет RETURNING работать, но PostgreSQL выполняет физическое обновление, даже если данные не изменились. Каждый вызов оставляет новую версию строки, мёртвый кортеж для VACUUM и запись в WAL, а если HOT не сработал, ещё и правки во всех индексах. Вдобавок срабатывают триггеры на UPDATE, и аудит фиксирует изменения, которых не было. В PostgreSQL 19 появилось третье действие при конфликте — DO SELECT. Существующая строка возвращается как есть, без записи: INSERT INTO tags (name) VALUES ('postgres') ON CONFLICT (name) DO SELECT RETURNING id, old.id IS NULL AS created; Вторая колонка опирается на ссылку old в RETURNING, её добавили в версии 18. У вставленной строки старые значения равны NULL, у найденной заполнены, так что приложение сразу понимает, создало оно запись или получило существующую. От DO NOTHING конструкция отличается двумя требованиями: RETURNING обязателен, а цель конфликта нужно назвать явно. Арбитром может быть только уникальный индекс или ограничение NOT DEFERRABLE, а exclusion constraints не подходят. Если найденную строку дальше меняют в той же транзакции, её можно заблокировать в этом же запросе: INSERT INTO balances (account_id, amount) VALUES (42, 0) ON CONFLICT (account_id) DO SELECT FOR UPDATE RETURNING *; Поддерживаются все четыре режима блокировки, от FOR UPDATE до FOR KEY SHARE, и условие WHERE, по которому отбираются возвращаемые строки. Блокировку получат все конфликтующие строки, в том числе те, что под условие не попали. PostgreSQL 19 сейчас в четвёртой бете, вышедшей 24 сентября, а релиз-кандидат обещают в начале октября. В этой бете из релиза убрали SQL/PGQ, FOR PORTION OF и операции над партициями, но DO SELECT в документации версии 19 остался. Холостые DO UPDATE в коде стоит пометить уже сейчас: после обновления каждый из них заменяется одной правкой, и таблицы с частым get-or-create перестанут копить мёртвые кортежи. #backendvkhub #postgresql
424
15
🔊 Джависты, собираем рюкзаки! Не в школу, конечно, а на Joker 2026 с 14 по 15 октября. ➡️ Егор Леванков, старший разработчик
🔊 Джависты, собираем рюкзаки! Не в школу, конечно, а на Joker 2026 с 14 по 15 октября. ➡️ Егор Леванков, старший разработчик One-cloud, поделится на конференции опытом непрерывного профилирования прода на десятках тысяч хостов. Расскажет, чем отличаются подходы для Java и натива, как устроены форматы профилей и что стоит за готовыми решениями. В этот раз мы подготовили самый большой стенд: заглядывайте в Java-класс, чтобы проверить инженерную интуицию в «Умниках и ставках», собрать рюкзак Java-разработчика, решать задачи на инциденты с экспертами VK и поиграть в настолки и ретроигры. 📌 14–15 октября 📍 Санкт-Петербург, площадь Победы, 1, Cosmos Saint-Petersburg Pulkovskaya Hotel 💻 Можно участвовать онлайн ➡️ Купить билет Увидимся на Joker — будем знакомиться, обсуждать технологии и обмениваться опытом. #backendvkhub #конференция #java
447
16
بدون متن...
449
17
Сентябрь в бэкенде вышел плотным. JDK 27 поменял сборщик мусора для маленьких контейнеров, PostgreSQL 19 незадолго до релиза
Сентябрь в бэкенде вышел плотным. JDK 27 поменял сборщик мусора для маленьких контейнеров, PostgreSQL 19 незадолго до релиза лишился нескольких громких фич, а PgBouncer, PHP и NGINX выпустили исправления уязвимостей, с которыми лучше не тянуть. 🔵JDK 27: G1 везде и компактные заголовки JDK 27 вышел 15 сентября. Раньше при скромных ресурсах, вроде одного CPU и хипа меньше 1,8 ГБ, JVM по умолчанию брала Serial GC, а теперь по JEP 523 всегда выбирает G1, и сервисы в маленьких подах это заметят. Компактные заголовки из JEP 534 включены по умолчанию: заголовок объекта сократился с 12 до 8 байт. TLS 1.3 теперь первым предлагает гибридный постквантовый обмен X25519MLKEM768, а JFR сам маскирует похожие на секреты значения в аргументах JVM и переменных окружения. 🔵PostgreSQL 19 Beta 4: откаты перед релизом Четвёртая бета от 24 сентября убрала из 19 версии SQL/PGQ, включение контрольных сумм на лету, FOR PORTION OF для UPDATE и DELETE, а также MERGE и SPLIT PARTITIONS. Большую часть этого списка мы упоминали в августе. На месте остались REPACK CONCURRENTLY, параллельный автовакуум и ON CONFLICT DO SELECT, а релиз-кандидат ждут в начале октября. 🔵PgBouncer 1.26: три DoS-уязвимости Версия от 23 сентября закрывает CVE-2026-19888, CVE-2026-6668 и CVE-2026-6669, причём две первые эксплуатируются без аутентификации. Онлайн-рестарт через -R удалён, так что скрипты деплоя с этим флагом стоит проверить до обновления. 🔵PHP 8.6 RC2 и патчи четырёх веток 24 сентября вышел второй релиз-кандидат PHP 8.6, первый пропустили из-за ошибки упаковки. Финальная версия запланирована на 19 ноября и меняет умолчания сессий: use_strict_mode и cookie_httponly включены, а cookie_samesite получает значение Lax. В тот же день вышли security-релизы 8.5.11, 8.4.26, 8.3.35 и 8.2.34. 🔵NGINX: переполнение буфера в HTTP/3 Уязвимость CVE-2026-90439 затрагивает ngx_http_v3_module в версиях с 1.29.2 по 1.31.5. Исправление вышло 15 сентября в версиях 1.30.5 и 1.31.6. 🔵Go: мелкие аллокации быстрее Go 1.27.1 вышел 1 сентября с исправлениями в компиляторе, рантайме и net/http. В блоге Go разобрали изменение из 1.27: аллокации до 80 байт идут через специализированные варианты mallocgc и работают быстрее вплоть до 20–30%, а в масштабе всей программы выигрыш доходит до 1%. 🔵Valkey 9.2 RC1: снапшоты без fork В первом кандидате 9.2 от 16 сентября появились RDB-снапшоты без fork, они включаются параметром forkless-infrastructure-enabled. EXEC получил условия IFEQ, IFNE, NX и XX для оптимистичной блокировки без WATCH, а большие sorted set теперь хранятся в B+ дереве вместо skiplist. 🔵Rust: секреты в кеше CI 21 сентября команда Rust предупредила, что cargo miri сохранял в target/ все переменные окружения. Если target/ кешировался в GitHub Actions, секреты мог прочитать автор любого pull request. Исправление вошло в nightly от 22 сентября, но кеши стоит очистить, а секреты перевыпустить. #дайджест #backendvkhub
522
18
HTTP QUERY: почему поиск больше не должен притворяться методом POST Поисковый фильтр в API давно перестал быть парой простых
HTTP QUERY: почему поиск больше не должен притворяться методом POST Поисковый фильтр в API давно перестал быть парой простых параметров — это дерево условий, массивы идентификаторов, диапазоны дат и состояние пагинации. В GET всё это пришлось бы кодировать в URI. Стандарт HTTP советует поддерживать адреса длиной хотя бы 8 000 байт, но лимит у каждого звена свой. Поэтому длинный URL может обрезать браузер, балансировщик или WAF ещё до сервиса. Даже если адрес прошёл всю цепочку, он раздувается от percent-encoding и целиком оседает в логах и истории браузера. Почти каждый поиск в API живёт как POST /search. Для протокола это обычный POST: он небезопасный и неидемпотентный, поэтому прокси не имеет права повторить оборванный запрос, кеш — переиспользовать такой ответ, а клиент с retry рискует задублировать операцию. Что предложил RFC 10008 В июне 2026 года IETF опубликовал RFC 10008 с методом QUERY. Метод объединяет безопасность и идемпотентность GET с телом запроса, как у POST. QUERY /feed HTTP/1.1 Host: api.example.test Content-Type: application/json { "filter": { "status": ["published", "scheduled"], # допустимые статусы "publishedAt": { "gte": "2026-01-01" } # нижняя граница даты }, "sort": [{ "field": "publishedAt", "direction": "desc" }], "limit": 50 } URI здесь задаёт ресурс и область выборки, а filter и sort в теле описывают условия поиска. Называть QUERY «GET с телом» неточно, ведь у тела GET нет определённой семантики, а у QUERY оно определяет всю операцию. Content-Type при этом обязателен: без него сервер отклоняет запрос, а угадывать формат по содержимому запрещено. Кеширование Ключ кеша обязан включать URI, тело запроса и Content-Type, поэтому запросы с "page": 1 и "page": 2 не могут делить одну запись. Чтобы построить ключ, кешу сначала придётся прочитать всё тело, и кеширование QUERY выходит дороже, чем GET. Если запрос тяжёлый, сервер может вернуть Location с адресом сохранённого запроса. Тогда последующие обращения пойдут обычным GET, без повторной передачи тела. Что с поддержкой? OpenAPI 3.2 уже описывает query как first-class операцию. Серверные фреймворки подтягиваются с разной скоростью. Spring Framework 7.1 содержит HttpMethod.QUERY, заголовок Accept-Query и привязку тела запроса. В Gin и Fiber поддержка появилась в upstream, а Fastify и NestJS пока остановились на issues. Инфраструктура отстаёт от фреймворков. NGINX уже проксирует QUERY, но не кеширует его, потому что proxy_cache_methods по умолчанию ограничен GET, HEAD и POST. В браузерах метод не входит в CORS-safelist, поэтому междоменный вызов требует preflight, а HTML-формы method="query" не стандартизированы. QUERY закрывает старый разрыв между GET и POST, но сам стандарт не заставляет промежуточные звенья его понимать. Перед продом прогоняйте всю цепочку на реальном трафике и держите POST /search как фолбэк. #backendvkhub #api #поиск
376
19
compact object headers по умолчанию: JDK 27 отдаёт обратно пятую часть кучи Сервис на Spring держит в памяти десятки миллионо
compact object headers по умолчанию: JDK 27 отдаёт обратно пятую часть кучи Сервис на Spring держит в памяти десятки миллионов мелких объектов: элементы кеша, DTO из очереди, узлы деревьев. Куча упирается в четыре гигабайта, хотя полезных данных там заметно меньше. Разница уходит в заголовки: каждый объект на 64-битной JVM несёт 96 бит служебной информации, а без сжатых указателей на класс все 128. Заголовок собран из двух слов. В mark word лежат сведения о блокировке, возраст для сборщика и вычисленный identity hash, в class word лежит указатель на метаданные класса. Для объекта с парой полей сопоставимы с размером самих данных. JEP 534 в JDK 27, вышедшей 15 сентября 2026, делает компактную раскладку значением по умолчанию: оба слова сливаются в одно 64-битное, а указатель на класс сжимается до 22 бит. Путь у фичи долгий: эксперимент в JDK 24, продуктовая настройка в JDK 25, теперь поведение по умолчанию. Заявленная экономия составляет 10–20% живых данных. То, что раскладка включилась, видно прямо на старте: $ java -XX:+PrintFlagsFinal -version | grep -i UseCompactObjectHeaders bool UseCompactObjectHeaders = true {product lp64_product} {default} ➡️ Размер конкретного класса можно глянуть через JOL, он печатает раскладку полей вместе с выравниванием: System.out.println(ClassLayout.parseClass(CacheEntry.class).toPrintable()); На классе с двумя ссылочными полями заголовок падает с 12 байт до 8, и экземпляр укладывается в 16 байт вместо 24: выравнивание по 8 байт добавляет к экономии ещё четыре. Ограничение вытекает из тех самых 22 бит: в них помещается около четырёх миллионов классов. Приложение, которое плодит классы на лету (динамические прокси, скриптовые движки, тяжёлая кодогенерация), способно упереться в предел, и тогда загрузка класса завершится OutOfMemoryError без автоматического отката на старую раскладку. Сюрпризы приходят и со стороны агентов и нативного кода, если те читают заголовок по фиксированному смещению. Отключается всё флагом -XX:-UseCompactObjectHeaders, но рассчитывать на него вдолгую не стоит: старую раскладку планируют объявить устаревшей и со временем убрать. В том же релизе поменялся и сборщик по умолчанию: JEP 523 назначает G1 стандартом во всех окружениях, включая маленькие контейнеры, где раньше выбирался Serial. Сервисам на 25-й ту же экономию даёт -XX:+UseCompactObjectHeaders без смены мажорной версии. Перед включением на проде стоит посмотреть счётчик загруженных классов (jcmd <pid> VM.class_hierarchy или метрика jvm_classes_loaded) и прогнать нагрузочный тест с теми агентами, которые реально работают в бою. Если счётчик держится в десятках тысяч, потолок в четыре миллиона вас не касается. А вы уже мерили, сколько кучи у вас занимают заголовки объектов? #backendvkhub #jdk #java
424
20
بدون متن...
391