Data Science. SQL hub

🖥 Продвинутый SQL-совет по оптимизации: делай запросы "питающимися индексом" (index-only scan) с правильным составным индексом. Идея: не просто добавить индекс на один столбец, а так подобрать порядок полей, чтобы запрос вообще не ходил в таблицу, а читал всё из индекса. Это даёт огромный буст на "горячих" таблицах. Допустим, у тебя часто есть такой запрос:

SELECT
    id,
    created_at,
    total_amount
FROM orders
WHERE user_id = 123
  AND status = 'paid'
ORDER BY created_at DESC
LIMIT 20;

Типичная ошибка - делать что-то вроде:

CREATE INDEX idx_orders_user ON orders (user_id);
CREATE INDEX idx_orders_status ON orders (status);
CREATE INDEX idx_orders_created ON orders (created_at);

Планировщику всё равно приходится лазить в таблицу и склеивать условия. Гораздо эффективнее один правильный составной индекс:

CREATE INDEX idx_orders_user_status_created_at
ON orders (user_id, status, created_at DESC)
INCLUDE (total_amount);

Почему это полезно:

user_id, status - фильтруют строки

created_at DESC - сразу даёт нужный порядок для ORDER BY ... DESC

INCLUDE (total_amount) - позволяет взять сумму прямо из индекса

В результате PostgreSQL (и другие СУБД с подобной механикой) могут сделать index-only scan: прочитать подходящие строки в нужном порядке из одного индекса и почти не трогать основную таблицу.

🎄 Новый год - идеальный момент перезапустить себя.

Не “с понедельника”. Не “когда будет время”. А сейчас.

🔥 Мы собрали Telegram-каналы, где только код, практика и самые передовые инструменты, которые используют разработчики прямо сейчас.👇 🖥 ИИ: t.me/ai_machinelearning_big_data 🖥 Python: t.me/pythonl 🖥 Linux: t.me/linuxacademiya 🖥 C++ t.me/cpluspluc 🖥 Docker: t.me/DevopsDocker 🖥 Хакинг: t.me/linuxkalii 🖥 Devops: t.me/DevOPSitsec 👣 Golang: t.me/Golang_google 🖥 Аналитика: t.me/data_analysis_ml 🖥 Javascript: t.me/javascriptv 🖥 C#: t.me/csharp_ci 🖥 Java: t.me/javatg 🖥 Базы данных: t.me/sqlhub 👣 Rust: t.me/rust_code 🤖 Робототехника: t.me/vistehno 💼 Актуальные вакансии: t.me/addlist/_zyy_jQ_QUsyM2Vi 📚 Бесплатные ит-книги: https://t.me/addlist/HwywK4fErd8wYzQy Самое лучшее в этом: ты учишься даже тогда, когда “нет времени, просто потому что читаешь правильную ленту.

🛠️ Легкий TUI для работы с SQL базами данных sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках. 🚀Основные моменты: - Поддержка множества баз данных без дополнительных адаптеров - Удобный интерфейс для управления соединениями - Встроенная история запросов с возможностью поиска - Поддержка SSH туннелей для безопасного подключения - Редактирование в стиле Vim для терминальных пользователей 📌 GitHub: https://github.com/Maxteabag/sqlit #python

⚡️ VictoriaLogs - быстрый и экономичный лог-движок от VictoriaMetrics VictoriaLogs - это специализированная open-source база данных для логов, заточенная под высокую скорость, низкое потребление ресурсов и простоту эксплуатации. Проект создан той же командой, что и VictoriaMetrics, и следует той же философии: максимум производительности без лишней сложности. Что важно: - Высокая скорость записи и поиска логов даже при терабайтах данных - Очень низкое потребление RAM и диска по сравнению с классическими лог-стеками - Отлично справляется с высокой кардинальностью (trace_id, user_id, ip и т.д.) - Нет сложной настройки индексов - система оптимизируется автоматически - Поддержка полнотекстового поиска и мощного LogsQL - Live-tail логов (аналог tail -f) - Можно масштабировать просто добавляя CPU, RAM и диск - Работает как на маленьких серверах, так и под серьёзную нагрузку - Написан на Go, с упором на cache-friendly структуры и минимальные аллокации Особенно хорошо подходит для: - high-load backend-сервисов - observability и troubleshooting - замены тяжёлых ELK/Loki-подобных решений - долгого хранения логов с быстрым поиском Философия простая: логи должны писаться и читаться быстро, а не требовать кластера из десятков нод. https://github.com/VictoriaMetrics/VictoriaLogs/

🖥 Гайд по продвинутому профессиональному использованию SQL В этом руководстве мы рассмотрим ключевые аспекты работы с SQL на практике. Начнём с сравнения популярных СУБД, затем перейдём к продвинутым приёмам аналитического SQL, оптимизации запросов, администрированию баз данных, и закончится всё интеграцией SQL с Python (SQLAlchemy, pandas и т.д.). Для каждого раздела приведены примеры на реальных сценариях (интернет-магазин, CRM, аналитика продаж), код и полезные советы. 👉 Читать гайд

🔥 Хочешь прокачаться в аналитике, но не просто читать теорию, а решать реальные задачи? Мы запустили полностью бесплатный телеграм-тренажёр 👇 Тебя ждут сценарии, с которыми сталкиваются аналитики каждый день: от простых запросов до задач уровня собеседований. Что внутри: ✔ живые кейсы из реальной практики ✔ удобный симулятор - как работа в компании, только бесплатно ✔ разбор ошибок — понимаешь не только «как», но и «почему» ✔ добавляем задачи с интервью и улучшаем бот вместе с сообществом Начни тренироваться сегодня — и почувствуй уверенность в работе с данными. t.me/Analitics_databot

Навязчивый контроль @sqlhub

🖥 На Stepik вышел курс, который учит работать с Docker на реальных проектах. Владение Docker - навык, который отличает новичка от профи, Сегодня почти всё разворачивается в контейнерах. Если ты не умеешь работать с Docker, ты медленнее, зависим от чужих настроек и постоянно ловишь баги «у меня локально работает». • как упаковывать проекты в контейнеры • как поднимать целые системы за минуты • как избегать типичных ошибок в продакшене • как делать стабильные и повторяемые окружения •в нем разобраны все возможные ошибки Только практика и реальные кейсы от авторов Docker Академии- с нуля до уверенного уровня. 🎁 Скидка 40 процентов действует 48 часов 👉 Записывайся и сделай Docker своим настоящим рабочим инструментом.

🎉 PostgreSQL playground прямо в браузере через WASM! Открыл для себя интересный проект: полностью работающий PostgreSQL в браузере с помощью WebAssembly! Теперь можно запускать и экспериментировать с PostgreSQL прямо в браузере — без установки, настроек и локальных серверов. Отлично подходит для: - обучения SQL - быстрых прототипов - демонстраций - тестирования запросов 🚀 PostgreSQL everywhere — даже в браузере! 🔗 https://github.com/datawan-labs/pg/

🔐 Postgresus 2.0 - новая версия self-hosted инструмента для резервного копирования и мониторинга PostgreSQL баз данных, написанный на Go 🔥 Возможности: - создание бекапов по расписанию для PostgreSQL 12-18; - хранение бекапов локально, в S3, CloudFlare R2, NAS или Google Drive; - health check базы данных раз в минуту; - уведомления в Telegram, Slack, MS Teams, Discord, по почте и в кастомизируемый вебхук, если бекап сломался или база недоступна; - разделение баз на проекты с контролем доступа и аудит логами (для DBA и DevOps команд); - улучшенная защита: шифрование резервных копий и read-only пользователь для их создания; - запуск через скрипт, Docker, Docker Compose и Kubernetes Helm Запуск через Docker:

docker run -d \
  --name postgresus \
  -p 4005:4005 \
  -v ./postgresus-data:/postgresus-data \
  --restart unless-stopped \
  rostislavdugin/postgresus:latest

📌 GitHub @sqlhub

🖥 XiYan-SQL - инструмент для интерактивной работы с SQL, основанный на LLM XiYan-SQL - это open-source решение, позволяющее генерировать, анализировать и выполнять SQL-запросы с использованием больших языковых моделей. Инструмент ориентирован на ускорение исследования данных и автоматизацию рутинных операций, связанных с запросами к базе. Ключевые возможности: - Генерация SQL из естественного языка -пользователь формулирует задачу обычными словами, а система преобразует её в корректный SQL-запрос. - Интерактивная работа с базой данных - запросы можно оперативно уточнять, редактировать и выполнять, получая быстрый цикл обратной связи. - Поддержка нескольких СУБД - PostgreSQL, MySQL, SQLite и другие. - 🛠️ Минимальная конфигурация - подходит для анализа данных, прототипирования и облегчения доступа к базе без сложной инфраструктуры. Преимущества использования: - Существенно снижает трудоёмкость написания сложных SQL-запросов. - Упрощает работу аналитикам и разработчикам, которым важно быстро получать корректные результаты. - Может выступать в роли интерактивного помощника для изучения структуры базы и построения отчётов. 🔗 Репозиторий: github.com/XGenerationLab/XiYan-SQL @ai_machinelearning_big_data #sql #llm #ai #opensource #database #datatools #postgresql

✔️ Tencent представила диффузионную языковую модель: в 6 раз быстрее классических LLM WeDLM-8B Instruct использует не авторегрессию, как обычные LLM, а диффузионный способ генерации текста. Что это даёт? 🚀 В задачах математического рассуждения модель работает в 3–6 раз быстрее, чем Qwen3-8B даже с оптимизациями vLLM - при сохранении качества. Этот релиз ломает старый миф, что «диффузионные модели не подходят для точных текстовых задач». На практике WeDLM показывает, что такой подход может конкурировать и даже обходить трансформеры по скорости инференса. Модель открыта и доступна под лицензией Apache 2.0: 🔗 https://wedlm.github.io 🔗 https://huggingface.co/tencent/WeDLM-8B-Instruct

🖥 GophrQL - GraphQL toolkit for Go Что это: GophrQL — это простая и мощная библиотека на Go, которая помогает строить GraphQL API быстро и с минимальной болью. Она стремится быть легковесной, понятной и удобной для разработчиков, работающих с Go + GraphQL. Основные фишки: - Чистый Go-фэйс для описания схемы и резолверов - Минимум магии и зависимостей - Явная интеграция с Go-типами - Хорошо подходит для микросервисов и сервисов с высокими требованиями к производительности Почему это полезно: Если вы пишете API на Go и хотите GraphQL без тяжеловесных фреймворков, GophrQL даёт: ✔️ строгую типизацию ✔️ контроль над схемой ✔️ простую и понятную структуру кода ✔️ меньше boilerplate-кода по сравнению с другими Go GraphQL решениями Кому подойдёт: - Go-разработчикам, которым нужен GraphQL API - Командам, ищущим лёгкую альтернативу тяжёлым GraphQL-фреймворкам - Проектам, где важна производительность и явное управление схемой 🔗 Репозиторий: github.com/maxpert/gophrql

🚀 Новый продвинутый планировщик заданий для PostgreSQL - лучше, чем cron Если устал от cron и временных триггеров, обрати внимание на pg_timetable: ✅ Сильный: гибкий, надёжный, с богатым функционалом ✅ Легко настраивается, понятен и прозрачен ✅ Позволяет: • запускать SQL-задачи по расписанию • отслеживать их статус и history • обеспечивать graceful restart и защиту от сбоев Идеален для рабочих баз, сложной логики задач и критичных приложений. 📦 Репозиторий: https://github.com/cybertec-postgresql/pg_timetable #golang #postgresql #devops #golang

⚙️ Context-async-sqlalchemy: простой способ подружить ASGI и async SQLAlchemy Эта библиотека упрощает интеграцию асинхронного SQLAlchemy в любые ASGI-приложения. Что она делает: • управляет жизненным циклом engine и сессий • даёт удобные утилиты для работы с БД • ускоряет разработку — без лишней магии и ограничений Идея простая: меньше шаблонного кода, больше внимания логике приложения. https://github.com/krylosov-aa/context-async-sqlalchemy

Вы играли в детстве в «Героев меча и магии»? А что, если в них добавить немного дата-аналитики и технологий работы с данными? Yandex Cloud вместе с Forbes запустили мини-игру, отчасти вдохновленную «Героями». ⚔️ В этой игре ты становишься «Героем данных и киберпанка», а привычные инструменты — PostgreSQL, ClickHouse, Trino, DataLens и другие — превращаются в артефакты с уникальными свойствами. Их можно получить у хранителей или создать в кибер-кузнице. 🐉 В проекте можно найти отсылки к классической игре, например, «Аналитики объявили месяц Чистых Логов. Время поиска багов уменьшилось втрое». 🎯 Игроки выбирают героя и помогают ему решить задачи из финтеха, ритейла или промышленности. Для победы нужно собрать нужный набор артефактов и справиться с «дата-хаосом». 🖥 Игра доступна на десктопе и мобильных устройствах. 📊 В дополнение к игровому опыту на лендинге есть реальные примеры, как компании используют решения Yandex Cloud для аналитики и обработки данных в бизнесе. 👉 Подробнее и поиграть можно здесь.

Полезная шпаргалка по консольным командам Git 👍 В Git полно команд, и если ты часто их забываешь, эта шпаргалка специально для тебя. В репозитории можно быстро почитать об основных командах и концепциях, а затем одним вальяжным нажатием на Ctrl+C скопировать их. Приятный бонус — всё написано на русском. Так что сохраняем! #git #шпаргалка

Развернуть PostgreSQL в MWS Cloud Platform ⬜️ — быстрее, чем вспомнить пароль от pgAdmin. И точно быстрее, чем объяснить DevOps'у, зачем ещё одна база. Всего несколько минут и у вас:

⏺️готовая база на сетевых или локальных дисках ⏺️постоянный primary endpoint ⏺️безопасное подключение через Private Link ⏺️автоматические бэкапы и обслуживания по твоему расписанию

🎄🎁 И грант до 10 000 ₽ на запуск — чтобы точно не пришлось вспоминать, как настраивать failover вручную. ➡️Развернуть кластер

📦 Распределенная база данных FoundationDB 🚀 FoundationDB — это распределенная база данных, оптимизированная для обработки больших объемов структурированных данных. Она использует упорядоченное хранилище ключ-значение и поддерживает ACID-транзакции, обеспечивая высокую производительность как для чтения, так и для записи. 🚀Основные моменты: - Поддержка ACID-транзакций для надежности данных. - Высокая производительность для рабочих нагрузок с частыми записями. - Гибкая архитектура для масштабирования на кластерах серверов. - API для взаимодействия на различных языках программирования. 📌 GitHub: https://github.com/apple/foundationdb @sqlhub

🐘 Postgres использует архитектуру «отдельный процесс на каждое подключение», поэтому в большинстве случаев вам нужен connection pooler. Пул соединений вставляется между приложением и базой: он держит набор постоянных подключений и динамически назначает их входящим запросам. Самый распространённый инструмент - PgBouncer, у которого есть три режима работы. 1) Session pooling - каждое приложение-подключение закрепляется за одним pooled-соединением. 2) Transaction pooling - каждую транзакцию привязывают к pooled-соединению и освобождают сразу после завершения. 3) Statement pooling - каждое выражение получает соединение, но нет поддержки многозапросных транзакций, что сильно ограничивает кейсы. Режим 1 плохо решает проблемы высокой конкуренции Postgres, поэтому обычно не подходит при большом числе подключений. Режим 3 слишком ограничивающий, так как многозапросные транзакции нужны многим приложениям. В итоге режим 2 даёт лучший баланс возможностей и контроля над соединениями. Именно transaction pooling, тот режим, который PlanetScale применяет для всех своих PgBouncer-инстансов. @sqlhub