Data Science. SQL hub
Kanalga Telegram’da o‘tish
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Ko'proq ko'rsatish
📈 Telegram kanali Data Science. SQL hub analitikasi
Data Science. SQL hub (@sqlhub) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 36 075 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 3 722-o'rinni va Rossiya mintaqasida 17 593-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 36 075 obunachiga ega bo‘ldi.
01 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 121 ga, so‘nggi 24 soatda esa -14 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 9.02% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 3.80% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 3 254 marta ko‘riladi; birinchi sutkada odatda 1 369 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 7 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent sql, индекс, postgres, index, sqlite kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 02 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
36 075
Obunachilar
-1424 soatlar
-777 kun
+12130 kun
Postlar arxiv
36 072
💻Вопросы и ответы по SQL и по БД в целом
Держите, пригодится освежить самые основные моменты перед собеседованием.
Вот некоторые из затронутых здесь вопросов
🟡Вопросы по БД:
— Реляционные БД (SQL)
— Нереляционные БД (NoSQL): Key/Value, документные (документ-ориентированные), колоночные, графовые
— Что такое CAP-теорема (теорема Брюера)?
— Что такое свойство ACID в базе данных?
🟡Вопросы по SQL:
— Из каких подмножеств состоит SQL?
— Что подразумевается под таблицей и полем в SQL?
— В чем разница между операторами
DELETE и TRUNCATE?
— Что такое соединения (JOIN) в SQL?
— В чем разница между типом данных CHAR и VARCHAR в SQL?
— Что такое первичный ключ (Primary key)?
— Что такое ограничения (Constraints)?
— Что такое уникальный ключ (Unique key)?
— Что такое внешний ключ (Foreign key)?
— Что подразумевается под целостностью данных?
— Какие уровни изолированности транзакций можешь назвать?
— Что вы подразумеваете под денормализацией?
— Напишите SQL-запрос для отображения текущей даты?
📎 Вопросы/ответы
@sqlhub36 072
+2
💻Диагностика производительности PostgreSQL
В этой статье рассмотрим методы диагностики производительности PostgreSQL, которая состоит из 3 шагов.
🟡Шаг 1: Оптимизировать кластер
Для улучшения работы вашей базы данных используйте следующие методы диагностики производительности PostgreSQL:
— примените вертикальное или горизонтальное масштабирование и затем проведите анализ запросов;
— настройте конфигурационные параметры развернутого кластера. Например, используйте онлайн генераторы конфигурационных параметров.
🟡Шаг 2: Анализ логов
Обратите внимание, что включение анализаторов запросов может потреблять около 10% ресурсов. Но после завершения процесса анализа и оптимизации запросов производительность может значительно вырасти.
Вы можете использовать встроенные инструменты для анализа производительности PostgreSQL, чтобы идентифицировать узкие места и медленные запросы:
—
pg_stat_statements
— pg_stat_kcache
— auto_explain
— log_min_duration_statement
🟡Шаг 3: Анализ планов
Оптимизация запросов может быть сложной и часто представляет собой итеративный процесс. Вносите изменения постепенно и измеряйте влияние каждого изменения на производительность запросов. Также рекомендуем протестировать выполненные оптимизации в промежуточной среде, прежде чем применять их к рабочей базе данных. Убедитесь в отсутствии непредвиденных последствий.
План запроса PostgreSQL описывает выполнение SQL-запроса, включая сортировку и фильтрацию, а также использование ресурсов во время выполнения.
📎 Статья
@sqlhub36 072
✅ Изучаем конфигурации PostgreSQL на открытом практическом уроке от OTUS
🔹На вебинаре рассмотрим оптимальные способы конфигурирования PostgreSQL, а также научимся тестировать наши конфигурации при помощи sysbanch, pgbench и бонус.
Вебинар будет полезен разработчикам SQL, архитекторам и DBA.
Встречаемся 4 марта в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков».
👉 Регистрация
https://otus.pw/0c3d/?erid=LjN8K7kRP
36 072
+1
💻Руководство по MySQL JOIN с примерами
JOIN в MySQL — это мощный оператор, позволяющий объединять данные из нескольких таблиц на основе соответствия критериям.
Именно об этом и идёт речь в туториале, параллельно разбирается ещё много полезных вещей, рекомендую
Оглавление
⏩Различные типы соединений в MySQL
— INNER JOIN
— LEFT JOIN
— RIGHT JOIN
— FULL JOIN (не поддерживается напрямую MySQL)
⏩Реальные сценарии использования соединений в веб-разработке
— Отображение профилей пользователей с заказами
— Фильтрация товаров по категориям и брендам
— Отображение отзывов с информацией о продукте
⏩Советы по эффективным и оптимизированным соединениям в MySQL
📎 Руководство
@sqlhub
36 072
Tarantool Column Store — это новая российская in-memory колоночная СУБД для гибридной транзакционно-аналитической обработки данных (HTAP) в реальном времени.
Позволяет анализировать данные в real-time, ускорять аналитические расчеты. Обладает высокой производительностью благодаря многопоточности.
Где можно применять новую СУБД:
• Формирование финансовой отчетности в real-time;
• Ускорение и повышение точности антифрод-систем — обнаружение подозрительных транзакций практически с нулевой задержкой;
• Повышение производительности системы выдачи кредитов. Tarantool Columnstore в реальном времени анализирует матрицы, в которых содержится более 100 000 вариантов кредитных предложений и дополнительных услуг.
Попробуйте высокую производительность и скорость — 1,6 млн. сканирований и 200 тыс. агрегаций в секунду на ядро, <200 микросекунд на запрос.
➡️ Оставить заявку
36 072
+1
💻 Шпаргалка по SQL-инъекциям
Эта шпаргалка по SQL-инъекциям содержит примеры синтаксиса, который часто используется для проведения атак на БД. Примеры инъекций приведены для разных СУБД: Oracle, PostgreSQL, MySQL, MicrosoftSQL.
Проверьте, не подвержено ли ваше приложение SQL-инъекциям
🟡Рассматриваются SQL-инъекции для извлечения такой информации как:
├╼ Объединение строк
├╼ Подстрока
├╼ Комментарии
├╼ Версия базы данных
├╼ Содержимое базы данных
├╼ Условные ошибки
├╼ Извлечение данных с помощью сообщений об ошибках
├╼ Пакетные (или штабелированные) запросы
├╼ Временные задержки
├╼ Условные временные задержки
├╼ DNS lookup (Поиск DNS)
╰╼ DNS lookup с эксфильтрацией данных
📎 Шпаргалка
@sqlhub36 072
36 072
Переходите на формат монитора 4K
Вы сможете увидеть больше контента, чем при обычных разрешениях, и наслаждаться детализированным изображением. Компания MSI рекомендует свою новинку Modern MD27UL для повседневной работы c фото- и видеоредакторами, проведения стриминговых сессий и удаленной работы.
Именно сейчас удачный момент воспользоваться выгодным предложением, чтобы обновить свой старый монитор на новый в сети магазинов DNS.
36 072
+1
💻 Внутренности PostgreSQL: кэш системного каталога
Системный каталог, или просто каталог — это таблицы, в которых PostgreSQL хранит информацию обо всех остальных объектах, хранящихся в базе данных. К ним относятся таблицы, функции, триггеры, и т.д. Обращение к системному каталогу происходит часто, поэтому для него предусмотрен кэш. Давайте же разберемся, как этот кэш устроен.
Реализация кэша находится в следующих файлах:
⏩
syscache.{c,h} — реализация основных функций кэша. Функции оперируют с Datum’ами и HeapTuple’ами;
⏩catcache.{c,h} — низкоуровневые функции, используемые syscache.c. Выделение и освобождение памяти реализовано здесь;
⏩lsyscache.{c,h} — высокоуровневая обертка над syscache.c. Содержит функции «получить имя отношения по его Oid» и подобного рода;
⏩inval.{c,h} — логика инвалидации кэша. Подробности см ниже по тексту;
⏩sinvaladt.{c,h} — реализация кольцевого буфера в разделяемой памяти, через который рассылаются сообщения об инвалидации кэшей;
⏩sinval.{c,h} — интерфейс коммуникации через sinvaladt.c. Содержит функции вроде «отправить / получить SharedInvalidationMessage»;
📎 Подробнее
@sqlhub36 072
✅ Что нужно знать для работы с Greenplum?
Разберем предпосылки, историю, особенности на бесплатном практическом уроке посвященному курсу «Базы данных» от OTUS.
🔹На вебинаре мы разберём архитектуру и отказоустойчивость кластера Greenplum. Рассмотрим резервное копирование Greenplum и рекомендации по оптимизации.
🔹На уроке вы получите рекомендации: по загрузке \ выгрузке; Update \ deletes в таблицах GP; Append-Optimized таблицы
👉 Регистрация
https://clck.ru/3AABdJ?erid=LjN8KMoDr
36 072
+1
💻Как сделать дамп PostgreSQL
⏩Держите полезную статью
В ней рассматриваются процессы резервного копирования и восстановления данных в PostgreSQL, обсуждаются различные стратегии и методы, которые позволят обеспечить надежность и доступность ценных информационных ресурсов.
Уверен, будет полезно)
📎 Статья
@sqlhub
36 072
Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя.
В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей.
Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения.
Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!
36 072
💻Как в Postgresql реализовать поиск по первым символам каждого слова в строке?
▶️Суть задачи:
На ввод подаются строки. Например: "один". Запрос в базу должен матчить записи типа "три два один", "одиннадцатый", но не должен матчить записи типа "иван родин"
Как реализовать такое в SQL запросе?
▶️Для этого в PostgreSQL можно использовать оператор
~ и соответствующее регулярное выражение с '\m', обозначающим начало слова:
SELECT *
FROM tbl
WHERE name ~ '\mодин'36 072
🔊 X5 Tech на связи! Проводим новый митап по Data Science
25 апреля обсудим с экспертами ML системы и все, что вокруг: проверенные и новые методы взаимодействия с пользователями от рекомендаций музыки до генерации контента и чат-ботов на основе ИИ, а также сложности: галлюцинации, мониторинг языковых моделей, методы улучшения RAG-систем.
🎙️У микрофона:
Дарья Андреева и Глеб Панин — менеджеры по работе с большими данными, X5 Tech
Дмитрий Астанков — Machine Learning Engineer, Звук
Артем Ерохин — ведущий менеджер по работе с большими данными, X5 Tech
✅ 25 апреля, 19:00
Москва, пространство Articon + онлайн трансляция
За деталями и регистрацией - сюда
__
Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689, erid: LjN8KNVda
36 072
Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя.
В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей.
Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения.
Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!
36 072
🖥 Решение задач с помощью SQL является важным навыком для дата-саентиста по нескольким причинам:
1. SQL позволяет эффективно извлекать, фильтровать и обрабатывать данные из баз данных.
2. SQL предоставляет возможность проводить аналитические запросы к данным, выявлять закономерности, тренды и паттерны, что помогает в принятии бизнес-решений.
3. Часто данные хранятся в различных базах данных или системах. Знание SQL помогает дата-саентисту объединять данные из разных источников для создания цельных наборов данных.
4. Написание оптимизированных SQL-запросов позволяет ускорить обработку данных и повысить производительность аналитических процессов.
В целом, знание SQL позволяет дата-саентисту эффективно работать с данными, проводить анализ и извлекать ценные инсайты для бизнеса.
Предлагаю немного попрактиковаться и порешать задачи на знание SQL.
🖇 Решение заданий из тренажера SQL Academy
🖇 Вводный Курс с задачами по работе с Базами данных
🖇В репозитории представлены проекты курса Аналитик данных
🖇Решение задач hackerrank по SQL
🖇100 ключевых Вопросов с собеседований
@machinelearning_interview
36 072
+1💻Работа с json в PostgreSQL
В PostgreSQL есть два типа данных для работы с JSON: json и jsonb. Они отличаются друг от друга способом хранения данных и способом работы с ними.
⏩Тип данных json использует текстовый формат хранения JSON-данных, который позволяет хранить только простые типы данных JSON: строки, числа, логические значения, null и массивы или объекты, состоящие только из этих типов. Это означает, что при хранении данных типа json не происходит никакой оптимизации, и любые изменения в данных приводят к перезаписи всей строки JSON.
⏩Тип данных jsonb использует бинарный формат хранения JSON-данных, который позволяет хранить все типы данных JSON, включая вложенные объекты и массивы, а также дополнительные типы данных, такие как булевы значения, даты и времена и т.д. Бинарный формат данных jsonb позволяет эффективно хранить, индексировать и быстро выполнять запросы к данным в формате JSON, и при изменении данных не требует перезаписи всей строки JSON, а лишь тех частей, которые изменились.
⏩Создание объектов json
Одной из основных функций для работы с JSON является
jsonb_build_object(), которая позволяет создавать объекты JSON внутри запросов. Это может быть полезно, например, при импорте данных из внешних источников.
Предположим, что мы хотим в select-запросе динамически сгенерировать json-объект. Сделать это можно так:
SELECT jsonb_build_object('name', 'Иван', 'age', 30, 'city', 'Москва') AS person;name, age и city, которые будут содержать соответствующие значения. Результатом запроса будет следующий JSON-объект:
{
"age": 30,
"city": "Москва",
"name": "Иван"
}36 072
Аналитики данных, отзовитесь! 🔍
В Авито сильная культура использования данных и удобная развитая инфраструктура для аналитиков:
1️⃣ Руководитель группы аналитики в Core Analytics
2️⃣ Аналитик данных в команду антифрода
3️⃣ BI-разработчик в команду Core Analytics
Вас ждут интересные и разнообразные задачи: аналитики в Авито ищут точки роста бизнеса, изучают поведение пользователей, придумывают фреймворки и настраивают дашборды.
А ещё:
– достойная зарплата, размер которой обсуждается на собеседовании;
– много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо;
– талантливая команда, крутая аналитическая культура и сообщество профессионалов;
– удалёнка и классный офис в 2-х минутах от метро «Белорусская»;
– ДМС со стоматологией с первого дня;
– личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
Скорее переходите по ссылкам и откликайтесь!
36 072
🖥 Знаете ли вы, что в MySQL есть невидимые столбцы!
Они нужны для обеспечения безопасности ваших данных (скрыть приватные данные, ключи).
CREATE TABLE t1 (col1 INT, col2 INT INVISIBLE);
INSERT INTO t1 (col1, col2) VALUES(1, 2), (3, 4);
SELECT * FROM t1;
+------+
| col1 |
+------+
| 1 |
| 3 |
+------+
SELECT col1, col2 FROM t1;
+------+------+
| col1 | col2 |
+------+------+
| 1 | 2 |
| 3 | 4 |
+------+------+36 072
💻Настройка обслуживания PostgreSQL. Основное и простое
⏩Обслуживание БД — это не единственный вопрос, который следует решать администратору СУБД. И при этом не самый первый, если речь идет о сопровождении сервера.
⏩В этой статье мы не будем рассматривать все вопросы обслуживания и сопровождения в этой публикации, это слишком большое количество информации. Вместо этого мы рассмотрим только самые основные стороны вопроса обслуживания баз данных, при этом подразумевая, что вы уже сделали:
— Настроили под себя оптимальным образом настройки PostgreSQL, например, с помощью сервиса pgtune.
— Решены все инфраструктурные вопросы в части работы сети, железа, дисков и так далее.
— Вы понимаете как работает PostgreSQL в части модификации строк, как работает версионирование, что такое “мертвые” строки и так далее.
Сосредоточимся только на базовых вопросах обслуживания. Итак, поехали!
📎 Статья
@sqlhub
