Data Science. SQL hub

💻SQL в качестве API 📌Интересная статья, которая позволит посмотреть на SQL с другой стороны Статья обсуждает использование SQL в API для обработки сложных запросов, в результате автор приходит к выводу, что применение SQL в API может быть безопасным и удобным. 📎 Статья @sqlhub

Как хранить и обрабатывать большие объемы данных, когда в компании множество разрозненных корпоративных систем? Используйте Data Platform от beeline cloud — облачную платформу для эффективной работы с данными любого объема. Услуга помогает связать различные источники хранения в единую среду управления. Состав платформы: • Продукты Arenadata — аналитические, транзакционные СУБД, ETL и очереди сообщений. • Cloud BI — сервис визуализации и аналитики данных на базе ПО с открытым исходным кодом. • Cloud Object Storage — надежное хранение данных любого объема с возможностью моментального масштабирования и с доступом из любой точки. Превратите работу с данными в управляемый процесс. Оставьте заявку, чтобы протестировать возможности платформы. Реклама. ООО "ДАТАФОРТ". ИНН 7713606615.

💻Склонение месяцев в SQL Вроде мелочь, а вполне-таки реальный кейс В общем, необходимо вносить в договор дату в формате: "30 мая 2099 г." Эта дата хранится в БД, ее нужно просто подгрузить и нормально отформатировать. Для этого можно обращаться к месяцу с помощью: LOWER(DATENAME(month, @Tdate)), однако в таком случае получается месяц в именительном падеже - "май". И тут полезно вспомнить, что форматирование даты с правильными склонениями месяца работает из коробки:

SELECT FORMAT(GETDATE(), 'dd MMMM yyyy', 'ru-RU')

-- 30 мая 2099

@sqlhub

⚠️  Обсждаем основные проблемы миграции с MS SQL Server на PostgreSQL на открытом практическом уроке от OTUS Поговорим почему многие проекты по миграции никогда не заканчиваются на открытом уроке «Основные проблемы миграции» в рамках практического курса «Миграция с MS SQL Server на PostgreSQL» от OTUS 🔹Разберем какие бывают проблемы при миграции и как их решать 🔹Расскажем как не надо делать миграцию 👉 Регистрация https://otus.pw/4bAC/?erid=LjN8KRDzX

💻BYTE и CHAR в Oracle: разница, хранение, кодировка Если в двух словах Выбор между BYTE и CHAR зависит от кодировки и объема данных, которые вы собираетесь представлять в байтах. ⏩BYTE фиксирует объем данных в байтах и идеален для однобайтовых кодировок, таких как ASCII где каждому символу соответствует один байт. Так, VARCHAR2(10 BYTE) вмещает любую комбинацию из десяти байтов. ⏩CHAR же определяет количество символов, не учитывая их объем в байтах; выбрав VARCHAR2(10 CHAR), вы гарантируете пространство на 10 символов, независимо от их размера в байтах. Для иллюстрации вот простой SQL-пример:

-- BYTE: сохраняет байты
CREATE TABLE bytewise (name VARCHAR2(10 BYTE));

-- CHAR: распределяет пространство с учетом количества символов
CREATE TABLE charwise (name VARCHAR2(10 CHAR));

Если BYTE обеспечивает компактность данных, то CHAR гарантирует гибкость, позволяя сохранять символы различной ширины. Ваш выбор зависит от типов символов, которые вы планируете использовать. Детали при работе с UTF-8 Важно понимать последствия выбора типа данных при работе с многобайтовыми символами кодировки, такой как UTF-8, где один символ может занимать до 4 байтов. ⏩Если вы опираетесь на BYTE, это может привести к проблемам в системах, поддерживающих много языков. ⏩Для предотвращения потери или обрезки данных CHAR будет более надежной опцией, так как он обеспечивает достаточное пространство для любого символа, независимо от его веса. Критерии для выбора между BYTE и CHAR: ⏩Однородность данных: Если данные подчиняются стандартному размеру в байтах, особенно в случаях, когда важно экономить место, BYTE будет наилучшим выбором. ⏩Многоязычная поддержка: CHAR выигрывает, когда важна поддержка множества языков, это помогает предотвратить проблемы с несоответствием размера хранения. ⏩Производительность: BYTE может быть быстрее по сравнению с CHAR из-за обработки меньшего объема данных, что делает его подходящим для приложений с высокими требованиями к производительности. 📎 Подробнее про BYTE и CHAR можно прочитать тут @sqlhub

Системные аналитики, ваш ход Тинькофф проводит Weekend Offer для мидлов и выше. Сможете пройти все этапы собеседования за выходные, и если все понравится — оффер ваш. Дальше будете помогать бизнесу и разработчикам создавать финтех-решения. А еще пользоваться бенефитами и расти в классной команде. Оставьте заявку. erid:2VtzqvuCBU7 Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

💻Немного о недавнем обновлении PostgreSQL 16 PostgreSQL 16 вносит немало улучшений в планировщик запросов и позволяет выполнять многие SQL-запросы быстрее, чем в предыдущих версиях PostgreSQL. Вот некоторые из изменений: ⏩Разрешена инкрементальная сортировка в большем количестве случаев, включая DISTINCT ⏩Добавлена возможность для агрегатов, имеющих ORDER BY или DISTINCT, использовать предварительно отсортированные данные ⏩Разрешена мемоизация в UNION ALL ⏩Разрешено выполнять anti-join с ненулевым входом в качестве внутреннего отношения ⏩Разрешено распараллеливание FULL и RIGHT OUTER хэш-соединения ⏩Разрешено оконным функциям использовать более быстрый режим ROWS, когда режим RANGE активен, но не нужен ⏩Оптимизация постоянно увеличивающихся оконных функций ntile(), cume_dist() и percent_rank() ⏩Разрешено удаление left join и unique joins в секционированных таблицах ⏩Можно использовать Limit вместо Unique для реализации DISTINCT, когда это возможно ⏩Ослаблены слишком строгие правила в select_outer_pathkeys_for_merge() 📎 Статья с подробным описанием улучшений @sqlhub

💻Проверка наличия записи в SQL: альтернатива SELECT COUNT(*) Для того чтобы проверить наличие записи, используйте оператор EXISTS:

IF EXISTS (SELECT 1 FROM ваша_таблица WHERE ваш_столбец = ваше_значение)
  PRINT 'Запись существует';
ELSE
  PRINT 'Запись не найдена';

Замените ваша_таблица, ваш_столбец и ваше_значение релевантными данными. Этот способ является эффективным для поиска записей. *️⃣Использование SELECT COUNT(*) для проверки наличия записи может показаться удобным, однако это не всегда эффективный подход, особенно при работе с обширными базами данных. В MS SQL Server целесообразно использовать SELECT TOP 1 для сохранения ресурсов:

IF EXISTS (SELECT TOP 1 1 FROM ваша_таблица WHERE ваш_столбец = ваше_значение)
  PRINT 'Запись существует';

В MySQL и PostgreSQL применяйте LIMIT 1 для ограничения выборки:

SELECT 1 FROM ваша_таблица WHERE ваш_столбец = ваше_значение LIMIT 1;

Такие запросы быстро останавливают выполнение, как только найдено первое соответствие. *️⃣Миф о SELECT COUNT(*). Несмотря на то что многие СУБД оптимизируют SELECT COUNT(*), в работе не все из них показывают одинаковую эффективность. В случае сомнений используйте EXISTS или LIMIT/TOP. @sqlhub

💎 Шпаргалки для всех: сокровищница знаний Этот ресурс - настоящее сокровище для любого разработчика. В нем содержится около 6000 разнообразных шпаргалок в виде изображений: от программирования и работы с базами данных до софт-скиллов. Здесь вы найдете не только классические шпаргалки по регулярным выражениям и SQL, но и информацию о кофейных напитках, командах в Minecraft и французской грамматике. ▪ Смотреть @sqlhub

GitVerse: платформа с AI-помощником для быстрого создания исходного кода Разработчики получили доступ к GitVerse – платформе для совместной разработки и хостинга кода от СберТеха. Сервис создан и размещен в России, поэтому работать с ним удобно, безопасно и надежно. Платформа позволяет создавать проекты с открытым и закрытым кодом, приглашать новых участников, переносить репозитории с популярных мировых ресурсов в один клик и общаться с единомышленниками в ИТ-сообществе. Первые пользователи, зарегистрировавшиеся на GitVerse, смогут присоединиться к открытому тестированию персонального AI-ассистента разработчика (AI, artificial intelligence — искусственный интеллект) — сервису GigaCode. Он ускоряет и упрощает программирование, генерируя варианты завершения кода непосредственно в среде разработки в режиме реального времени. Подробности и правила акции, а также регистрация на сайте платформы.

💻Методы оптимизации SQL-запросов 1️⃣Использование EXPLAIN для анализа запросов 2️⃣Продвинутые стратегии индексирования ├── Пересмотр покрывающих индексов ├── Частичные индексы для отфильтрованных данных └── Стратегии индексирования для соединений 3️⃣Переписывание и оптимизация запросов ├── Пересмотр подзапросов к JOIN'ам ├── Общие табличные выражения (CTE) и рекурсивные запросы └── Ограничение наборов результатов с помощью OFFSET-FETCH 4️⃣Денормализация данных для повышения производительности ├── Выбор кандидатов на денормализацию ├── Создание денормализованных таблиц └── Баланс между согласованностью данных и производительностью 5️⃣Использование временных таблиц для оптимизации запросов ├── Временные таблицы для промежуточных результатов ├── Создание и наполнение временных таблиц └── Временные таблицы и агрегации 6️⃣Оптимизация подзапросов и агрегаций ├── Оптимизация подзапросов └── Оптимизация агрегаций 7️⃣Избегайте курсоров и циклов для повышения производительности ├── Операции на основе множеств ├── Пакетная обработка └── Оптимизация циклов с помощью операций на основе множеств Примеры некоторых из этих приёмов Пересмотр подзапросов к JOIN'ам. Оригинальный подзапрос:

SELECT * FROM employees
WHERE department_id IN (SELECT department_id FROM departments WHERE region = 'West');

Переписан с использованием JOIN:

SELECT e.* FROM employees e
INNER JOIN departments d ON e.department_id = d.department_id
WHERE d.region = 'West';

Общие табличные выражения (CTE) предоставляют удобный способ упростить сложные запросы и улучшить их читаемость:

WITH RecursiveCTE AS (
  SELECT employee_id, first_name, manager_id, 0 AS depth
  FROM employees
  WHERE manager_id IS NULL
  UNION ALL
  SELECT e.employee_id, e.first_name, e.manager_id, rc.depth + 1
  FROM employees e
  INNER JOIN RecursiveCTE rc ON e.manager_id = rc.employee_id
)
SELECT * FROM RecursiveCTE;

➖ Более подробно можно прочитать тут @sqlhub

Представляем первый коммерческий релиз СУБД SoQoL!  SoQoL — это инновационная российская СУБД, созданная с нуля на основе новейших достижений, потребностей рынка, глубоких научных знаний и богатого опыта команды экспертов в области разработки программного обеспечения.  СУБД SoQoL не имеет ограничений специализированных СУБД и: 🔵 работает с большими дисковыми массивами данных; 🔵 реализует все требования ACID без исключений; 🔵 предоставляет различные уровни изоляции транзакций; 🔵 и конечно же поддерживает хорошо знакомый пользователям стандарт ANSI SQL. СУБД SoQoL представляет собой транзакционную систему управления базами данных с производительностью, кратно превосходящей ведущие системы, как на рынке России, так и за его пределами.   Больше информации о СУБД SoQoL: https://tglink.io/0bc0175fad52?erid=LjN8K1PiN 

💻 Делаем SQL-запросы чище Периодически в коде запросов и "заточенных" под них индексов наблюдаю примерно подобные куски:

coalesce("Фамилия", '') || ' ' || coalesce("Имя", '') || ' ' || coalesce("Отчество", '')

Понятно, что тут хотели обезопасить себя от заполненности любого из полей NULL-значением, чтобы случайно вся строка не заNULL'илась. Правда, тут возникают некоторые артефакты в виде "висящих пробелов" типа ' Иван Иванович' или 'Иванов Иван '. Но ведь есть решение изящнее и проще - функция concat_ws:

concat_ws(' ', "Фамилия", "Имя", "Отчество")

RTFM! @sqlhub

⚡️ Rexi — полезный инструмент для тестирования регулярных выражений прямо из терминала Инструмент написан Python, на основе библиотеки textual. Он предлагает дружелюбный интерфейс для интерактивной работы с регулярными выражениями. ▪ Поддерживает оценку регулярных выражений в режимах match или finditer. ▪Предлагает мгновенную обратную связь по результатам сопоставления или поиска. ▪Github @sqlhub

💻Топ 7 SQL-запросов для очистки данных 1️⃣Удаляем дубликаты записей

DELETE FROM your_table
WHERE rowid NOT IN (
    SELECT MAX(rowid)
    FROM your_table
    GROUP BY column1, column2, ...
);

2️⃣Удаляем строки с NULL-значениями

DELETE FROM your_table
WHERE column1 IS NULL OR column2 IS NULL;

3️⃣Заменяем NULL-значения на дефолтное выражение

UPDATE your_table
SET column1 = 'default_value'
WHERE column1 IS NULL;

4️⃣Переводим текст в верхний регистр

UPDATE your_table
SET column1 = UPPER(column1);

5️⃣Обрезаем лишнее

UPDATE your_table
SET column1 = TRIM(column1);

6️⃣Конвертируем строки в формат дат

UPDATE your_table
SET date_column = TO_DATE(date_string, 'YYYY-MM-DD');

7️⃣Извлекаем год/месяц/день

SELECT EXTRACT(YEAR FROM date_column) AS year,
       EXTRACT(MONTH FROM date_column) AS month,
       EXTRACT(DAY FROM date_column) AS day
FROM your_table;

Эти запросы могут помочь вам привести датасет в порядок, используйте) @sqlhub

Зачем учиться MS SQL Server в 2024? Чтобы эффективно работать с MS SQL Server крупному бизнесу нужны специалисты, которые хорошо понимают язык запросов, точно знают, что делает тот или иной код, где могут возникнуть потенциальные проблемы и как их можно разрешить. На курсе «MS SQL Server Developer» от OTUS вы глубоко освоить MS SQL, сможете оптимизировать код и управлять рисками, даже если у вас миллиарды данных! Специалисты с такими компетенциями ценятся в крупнейших технологических компаниях, в финтехе и у лидеров рынка телекоммуникационных услуг. Осталось меньше половины мест. Поэтому успейте занять место по спец.цене, пройдите вступительный тест и узнайте насколько вы соответствуете требованиям рынка! Доступна рассрочка на обучение! Пройти тест: https://otus.pw/J8T5/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

💻Про NOT NULL и NULL в SQL ☑️IS NOT NULL + OR Иногда внутри SQL-запроса возникает необходимость проверить наличие/отсутствие NULL-значения в некотором наборе полей:

a IS NOT NULL OR b IS NOT NULL OR c IS NOT NULL

Но то же самое по смыслу условие можно записать гораздо короче с помощью функции coalesce:

coalesce(a, b, c) IS NOT NULL

☑️IS NOT NULL + AND Немного изменим условие - заменим OR на AND:

a IS NOT NULL AND b IS NOT NULL AND c IS NOT NULL

Тут нам поможет ROW-конструктор:

(a, b, c) IS NOT NULL

☑️IS NULL + AND Теперь заменим IS NOT NULL на IS NULL:

a IS NULL AND b IS NULL AND c IS NULL

Тут достаточно вспомнить из логики, что (A and B) эквивалентно not(not A or not B), а (A or B) - not(not A and not B), поэтому легко применяем not к варианту IS NOT NULL + OR:

coalesce(a, b, c) IS NULL

Или с помощью ROW-конструктора:

(a, b, c) IS NULL

☑️IS NULL + OR Остался последний вариант:

a IS NULL OR b IS NULL OR c IS NULL

Тут мы можем "обратить" вариант IS NOT NULL + AND:

NOT (a, b, c) IS NOT NULL

Заметьте, что пара NOT тут "не сокращается", иначе получился бы предыдущий вариант. Подробнее об особенностях работы со сложными выражениями тут — "PostgreSQL Antipatterns: вычисление условий в SQL". И ещё годная статья — "«Ленивый сахар» PostgreSQL" @sqlhub

⚡Что могут рассказать данные о клиенте и почему метрика CLTV так важна? Приглашаем на бесплатный вебинар «Комплексный подход к оценке и прогнозированию Client Lifetime Value». Вы узнаете: 🟣Как использовать аналитику и Data Science для управления жизненным циклом клиента — юридического лица в крупном банке? 🟣Как научиться прогнозировать ценность клиента и доход для банка, когда компания еще даже не стала нашим клиентом? Спикер: Дмитрий Рузанов, руководитель продвинутой аналитики юридических лиц в Альфа-Банке. Дата и время: 5 марта, 18:30 Регистрация: по ссылке. Реклама. НИУ ВШЭ. ИНН 7714030726 Erid: 2SDnjdoJSeL

🔥 Sweet-Viz - библиотека, которая предоставляет быструю визуализацию и анализ данных. Основная фича Sweet-Viz — обширный HTML-дашборд с полезными представлениями и сводками данных, который генерируется выполнением всего одной строки кода. pip install sweetviz import sweetviz as sv my_report = sv.analyze(my_dataframe) my_report.show_html() # Default arguments will generate to "SWEETVIZ_REPORT.html" ▪Github @sqlhub

Заниматься ли аналитикой как профессией - вот в чем вопрос… Объясняем, почему все же да Что такое аналитика сегодня? Это зарплаты от 60 000 рублей на начальном уровне, возможность удаленной работы и перспективы роста доходов… Да, но это же еще и очень сложно, запутанно и вообще только для технарей? Не совсем так! На бесплатном онлайн-курсе «Аналитика за шесть уроков» эксперты-практики из Changellenge >> Education докажут, что начать учиться аналитике может перейти практически каждый — независимо от возраста и базового образования. На мини-курсе вы: ✔️Изучите азы основных аналитических программ; ✔️Решите базовые задачи от экспертов-практиков; ✔️Разберетесь с направлениями и выберите подходящее для себя; ✔️Получите сертификат о прохождении курса и пошаговый план по переходу в новую профессию. И примете решение о продолжении новой карьеры! Регистрируйтесь по ссылке https://u.to/DSFsIA Реклама. changellenge-education.com ИНН 7716917009 erid: 2VtzqxVAVrJ