Data Science. SQL hub

🖥 Скрытые ошибки SQL, допускаемые опытными аналитиками данных Написание неправильного синтаксиса SQL не так страшно, потому что вы сразу же узнаете об этом, исправите то, что упустили, и вуаля, все работает как ни в чем не бывало. А вот что действительно плохо, так это когда код выполняется и выдает результат, но не правильный тогда вы можете не заметить проблему. Возьмем две таблицы, первая содержит клиентов вашего сайта, а вторая – заказы, сделанные на сайте. customers table: +-------------+---------------+-------------+ | customer_id | customer_name | visit_count | +-------------+---------------+-------------+ | 1 | John Doe | 5 | | 2 | Jane Smith | 8 | | 3 | Mike Johnson | 3 | +-------------+---------------+-------------+ orders table: +----------+-------------+------------+--------------+ | order_id | customer_id | order_date | total_amount | +----------+-------------+------------+--------------+ | 1 | 1 | 2023-07-10 | 50.00 | | 2 | 1 | 2023-07-12 | 75.00 | | 3 | 2 | 2023-07-11 | 120.50 | | 4 | 3 | 2023-07-15 | 25.75 | +----------+-------------+------------+--------------+ Чаще всего мы работаем с таблицами не по отдельности, а с их объединениями. Приведенные выше таблицы можно объединить по столбцу customer_id. • Теперь, если мы захотим вычислить что-то простое, например, общее количество посещений сайта или общее количество посещений по пользователям, то, если мы не будем очень внимательны, то, сами того не замечая, получим неверные результаты. SELECT SUM(c.visit_count) AS total_visits FROM customers c JOIN orders o ON c.customer_id = o.customer_id В результате будет получено 21 посещение, что неверно. • И даже когда мы пытаемся просуммировать общее количество посещений на одного пользователя : SELECT c.customer_id, c.customer_name, SUM(c.visit_count) AS total_visits FROM customers c JOIN orders o ON c.customer_id = o.customer_id GROUP BY c.customer_id, c.customer_name; • Мы получаем неверные значения для одного из клиентов (клиента, имеющего более одного заказа): customers table: +-------------+---------------+--------------+ | customer_id | customer_name | total_visits | +-------------+---------------+--------------+ | 1 | John Doe | 10 | | 2 | Jane Smith | 8 | | 3 | Mike Johnson | 3 | +-------------+---------------+--------------+ • Мы можем увидеть, что пошло не так, взглянув на таблицу, полученную в результате объединения: +-------------+---------------+--------------+----------+------------+--------------+ | customer_id | customer_name | visit_count | order_id | order_date | total_amount | +-------------+---------------+--------------+----------+------------+--------------+ | 1 | John Doe | 5 | 1 | 2023-07-10 | 50.00 | | 1 | John Doe | 5 | 2 | 2023-07-12 | 75.00 | | 2 | Jane Smith | 8 | 3 | 2023-07-11 | 120.50 | | 3 | Mike Johnson | 3 | 4 | 2023-07-15 | 25.75 | +-------------+---------------+--------------+----------+------------+--------------+ Это явление называется fanout, и его трудно заметить, поскольку результаты получаются частично корректными. 📌 Продолжение @sqlhub

⚠️ 3 из 5 компаний уже перешли с Oracle и MS SQL на PostgreSQL.  PostgreSQL хорошо выполняет сложные запросы и позволяет создавать высокодоступные отказоустойчивые и параллельные кластера под "тяжелые" задач 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты.  Не пропустите открытый урок «Хранимые процедуры и функции в Postgresql», который состоится 18 июля в 20:00! ⬆️ На встрече вы узнаете, как использовать ненативные языки для написания хранимых процедур и функций в Postgresql на примере С и Python. 👉 Готовьте вопросы и записывайтесь на вебинар!   https://otus.pw/9hNE/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 Простой скрипт для резервного копирования всех баз данных SQL Server Иногда то, что кажется нам сложным, оказывается гораздо проще, чем мы думали, и в этом заключается сила использования T-SQL для решения повторяющихся задач. Одной из таких задач может быть необходимость создания резервных копий всех баз данных на вашем сервере. Если баз не много, это не проблема, но я видел несколько серверов, где на одном экземпляре SQL Server было 100+ баз данных. Вы можете использовать SQL Server Management Studio для резервного копирования баз данных или даже использовать Maintenance Plans, но использование T-SQL — гораздо более простой и быстрый подход. Решение С помощью языка T-SQL вы можете создавать скрипты резервного копирования, а с помощью мышки вы можете просматривать все базы данных для их резервного копирования по очереди. Можно также использовать цикл while, если вы предпочитаете не использовать мышь. Это очень простой процесс, и для его выполнения вам понадобится всего несколько команд. Как создать резервные копии всех баз данных SQL Server ▪Укажите путь для хранения бэкапов баз данных ▪Укажите формат имени файла резервной копии ▪Выберите список баз данных для резервного копирования ▪Цикличность ▪Программно создаем команду резервного копирования базы данных, используя имя базы данных, путь и формат имени файла Формат имени файла бэкапа базы данных DBname_YYYYDDMM.BAK Вот скрипт, который позволит вам создать резервную копию каждой базы данных в вашем экземпляре SQL Server. Вам нужно будет изменить @path на соответствующий директорию резервного копирования. DECLARE @name NVARCHAR(256) -- database name DECLARE @path NVARCHAR(512) -- path for backup files DECLARE @fileName NVARCHAR(512) -- filename for backup DECLARE @fileDate NVARCHAR(40) -- used for file name -- specify database backup directory SET @path = 'C:\test\' -- specify filename format SELECT @fileDate = CONVERT(NVARCHAR(20),GETDATE(),112) DECLARE db_cursor CURSOR READ_ONLY FOR SELECT name FROM master.sys.databases WHERE name NOT IN ('master','model','msdb','tempdb') -- exclude these databases AND state = 0 -- database is online AND is_in_standby = 0 -- database is not read only for log shipping OPEN db_cursor FETCH NEXT FROM db_cursor INTO @name WHILE @@FETCH_STATUS = 0 BEGIN SET @fileName = @path + @name + '_' + @fileDate + '.BAK' BACKUP DATABASE @name TO DISK = @fileName FETCH NEXT FROM db_cursor INTO @name END CLOSE db_cursor DEALLOCATE db_cursor Формат имени файла бэкапа базы данных DBname_YYYYDDMM_HHMMSS.BAK Если вы хотите также включить время в название файла, вы можете заменить эту строку в приведенном выше сценарии: -- specify filename format SELECT @fileDate = CONVERT(NVARCHAR(20),GETDATE(),112) этой строкой: -- specify filename format SELECT @fileDate = CONVERT(NVARCHAR(20),GETDATE(),112) + '_' + REPLACE(CONVERT(NVARCHAR(20),GETDATE(),108),':','') Добавление дополнительных элементов в команду резервного копирования Чтобы добавить дополнительные параметры, такие как прогресс резервного копирования (статистика) и сжатие, вы можете изменить эту строку в скрипте: BACKUP DATABASE @name TO DISK = @fileName этой строкой: BACKUP DATABASE @name TO DISK = @fileName WITH STATS=10, COMPRESSION Примечания В этом скрипте мы обходим системные базы данных, но их также можно легко включить. Вы также можете превратить его в хранимую процедуру и передать имя базы данных или, если оставить NULL, создать резервные копии всех баз данных. В любом случае, этот скрипт даст вам отправную точку для простого резервного копирования всех ваших баз данных. Кроме того, если вы хотите обойти некоторые пользовательские базы данных, вы можете включить их в раздел NOT IN. Следующие шаги Добавьте этот сценарий в свой набор инструментов (toolbox) Измените этот сценарий и сделайте его хранимой процедурой, чтобы включить один или несколько параметров Усовершенствуйте сценарий для использования дополнительных опций BACKUP @sqlhub

Ищешь возможность развиться в IT-сфере и стать профессионалом в области DevOps? Тогда не упусти свой шанс пройти более 20 бесплатных открытых практикумов от REBRAIN каждый месяц! Получи необходимые знания и навыки в DevOps, Linux, Networks, Kubernetes, Docker, Ansible, Gitlab CI, Linux, Kafka, MySQL, Golang от опытных профессионалов, работающих в лучших компаниях, таких как Avito, Skyeng, AWS, Luxoft, DataArt и других! Стань настоящим гуру в IT-сфере и присоединяйся к нашему Telegram-каналу уже сегодня! 🚀

⭐️ 100 датасетов для анализа данных на все случаи жизни. ▪Список ▪Зеркало @sqlhub

🤔 10 аргументов “за” и “против” SQL  • Вторая по обсуждаемости тема в среде специалистов по SQL: как произносить то, что большинство людей называют Sequel ([сиквел] вместо [эс кью эл]). Это удивительно, поскольку язык существует более 40 лет. • Но, пожалуй, самая обсуждаемая тема, связанная с SQL, — это вопрос о том, считается ли он языком программирования. Почему SQL не является языком программирования 🟢 Создание и выполнение запросов, а не скриптов 🟢 Не изменяет состояние 🟢 Отсутствие циклирования 🟢 Репутация в отрасли Почему SQL является языком программирования 🟣 Соответствие критерию Тьюринга 🟣 Переменные, условная логика, определения функций 🟣 Возможность создавать приложения (хотя это сложно) 🟣 Так считают в Google Подробное разъяснение читай тут @sqlhub

🔥Учимся визуализировать данные и строить уникальные графики с помощью R на открытом уроке курса "Язык R для анализа данных" в OTUS. Язык R - мощный инструмент, знание которого необходимо аналитикам, data science специалистам, маркетологам и программистам при работе с данными. Простой синтаксис, инструменты визуализации, быстрое выполнение кода - все это позволяет создавать весомые конкурентные преимущества в работе. В OTUS стартует набор на курс “Язык R для анализа данных”. 📌17 июля приглашаем на вебинар “Слои в ggplot2”, на котором вы узнаете: - как строить графики в R с помощью библиотеки ggplot2 слой за слоем; - познакомитесь с разными типами визуализаций, фасетированием и многим другим. Результат урока: простой и понятный алгоритм для построения графиков по данным. Урок подойдет даже тем, кто не знаком с языком R 👉Регистрация для участия https://otus.pw/VOzn/ Не упустите возможность протестировать формат обучения. Приобрести курс возможно в рассрочку Нативная интеграция Информация о продукте www.otus.ru

🖥 Что нового в SQLAlchemy 2.0? В начале 2023 года вышла SQLAlchemy 2.0 — библиотека на Python для работы с реляционными СУБД, которая работает с Object Relational Mapper (объектно-реляционным отображением). Основная задача SQLAlchemy — синхронизация объектов Python с данными в БД. То есть с помощью SQLAlchemy можно описывать структуры БД и работать с их данными на объектно-ориентированном коде на Python без использования чистого SQL. Другая важная особенность SQLAlchemy — код для работы с базой данных будет одинаковым вне зависимости от БД, которую использует разработчик. Такой подход позволяет без проблем мигрировать с одной базой данных на другую. Полный список нововведений в SQLAlchemy 2.0 можно посмотреть в официальной документации сервиса. ▪ Читать @sqlhub

❓Хотите перейти на новый уровень в C# разработке? 👉 Приглашаем 12 июля в 20:00 мск вас на открытый урок в OTUS. Тема: Примитивы многопоточности .Net На уроке разберем такие примитивы многопоточности, как — Барьеры; — Условные события (ManualResetEvent/AutoResetEvent); — Потоко-безопасные очереди (блокируемые и неблокируемые) Дополнительно обсудим: — Как писать код без Thread.Sleep — Где еще можно использовать многопоточность — Чем отличается многопоточный код от асинхронного. 📌 Вебинар пройдет в рамках онлайн-курса «C# Developer. Professional» и позволит вам углубить свои знания о платформе .NET и научиться решать сложные задачи языка C#. Не упустите шанс протестировать курс и стать еще более компетентным C# разработчиком. Больше полезных тем ждет вас на курсе, доступном в рассрочку. 👉 Для участия во встрече пройдите вступительный тест https://otus.pw/AXrg/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. 2RanynhSUvk

🧠 Основы SQL: работа с SELECT TOP • При работе с большими базами данных часто возникает необходимость ограничить количество результатов, возвращаемых запросом. Для этого в SQL существует запрос SELECT TOP. 👀3 примера, как можно использовать эту мощную функцию: 1. Выбор определенного количества записей Простейшее использование SELECT TOP заключается в указании количества записей, которые необходимо вернуть. -- Select the top 5 employees based on salary SELECT TOP 5 * FROM Employees ORDER BY Salary DESC; 2. Выбор части записей SELECT TOP может также возвращать определенный процент записей. Это может быть полезно, когда необходимо получить подмножество данных. -- Select the top 10% employees based on salary SELECT TOP 10 PERCENT * FROM Employees ORDER BY Salary DESC; 3. Использование SELECT TOP с TIES В некоторых случаях требуется вернуть все записи, имеющие общее значение с последней записью в выборке TOP. SELECT TOP WITH TIES позволяет это сделать. -- Select the top 5 employees based on salary, include ties SELECT TOP 5 WITH TIES * FROM Employees ORDER BY Salary DESC; • Предложение SELECT TOP является универсальным инструментом SQL для ограничения и уточнения результатов запросов! @sqlhub

Мы — команда разработчиков компании РЕЛЭКС разрабатываем ультрасовременную высокопроизводительную реляционную СУБД SoQoL. В нашем канале вы сможете узнать и обсудить: · С какими сложностями мы сталкиваемся при разработке СУБД? · Какие решения используем и почему? · Почему не стали разрабатывать еще один Postgres? · Как скачать и протестировать бета-версию SoQoL? · Как принять участие в пилотном проекте с новой СУБД? Подписывайтесь 🤝 на канал и будьте в курсе последних новостей разработки CУБД SoQoL https://t.me/soqol_dbms

🏃Как ускорить базу данных при помощи шардирования • Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде. 🤔 Для чего требуется шардирование? • Традиционные базы данных порой не справляются с обработкой растущих объемов данных и нарастающего трафика запросов. Сегодня очень популярны концепции NoSQL и NewSQL – соответственно, на рынке баз данных появляется все больше продуктов, вдохновленных этими новыми концепциями. Но их одних недостаточно, чтобы решить все более серьезные проблемы с данными. Шардирование – это прием, позволяющий разбивать данные на отдельные строки и столбцы, хранимые на отдельных инстансах серверов базы данных. Так удается распределить нагрузку, оказываемую трафиком. Каждая такая малая таблица называется «шард». Некоторые NoSQL-продукты шардируются, таковы, например, Apache HBase или MongoDB. Шардинговая архитектура встроена в NewSQL-системы. 👀Как шардировать базу данных? Один из наилучших способов создания шардов таков: данные нужно разделять на множество небольших таблиц. Они также называются «сегментами» (partitions). Вот две ключевые составляющие шардирования: ▪Шардинговый ключ: конкретное значение в столбце, указывающее, в каком шарде хранится данная строка. ▪Шардинговый алгоритм: алгоритм, согласно которому ваши данные распределяются в одном или нескольких шардах. Шаг 1: Проанализировать сценарий запроса и распределение данных, чтобы найти шардинговый ключ и шардинговый алгоритм Шаг 2: Миграция имеющихся данных Шаг 3: Перебросить трафик на новый кластер Более детально тут. 👈 @sqlhub

📌 SQL SELECT TOP, LIMIT, ROWNUM TOP Инструкция SELECT TOP используется для указания количества возвращаемых записей. Она полезна для больших таблиц с тысячами записей. Возврат большого количества записей может повлиять на производительность. Не все базы данных поддерживают SELECT TOP. MySQL поддерживает предложение LIMIT для выбора ограниченного числа записей, в то время как Oracle использует ROWNUM. ▪ Синтаксис SQL Server / MS Access: SELECT TOP number|percent column_name(s) FROM table_name WHERE condition; ▪ Синтаксис MySQL: SELECT column_name(s) FROM table_name WHERE condition LIMIT number; ▪ Синтаксис Oracle: SELECT column_name(s) FROM table_name WHERE ROWNUM <= number; Примеры SQL TOP, LIMIT и ROWNUM ▪ Следующая инструкция SQL выбирает первые три записи из таблицы "Customers": SELECT TOP 3 * FROM Customers; ▪ Следующий оператор SQL показывает эквивалентный пример использования предложения LIMIT: SELECT * FROM Customers LIMIT 3; ▪ Следующая инструкция SQL показывает соответствующий пример использования параметра ROWNUM: SELECT * FROM Customers WHERE ROWNUM <= 3; Пример SQL TOP PERCENT ▪ Следующая инструкция SQL выбирает первые 50% записей из таблицы "Customers": SELECT TOP 50 PERCENT * FROM Customers; Добавить WHERE ▪ Следующая инструкция SQL выбирает первые три записи из таблицы "Customers", где страна - "Germany": SELECT TOP 3 * FROM Customers WHERE Country='Germany'; ▪ Следующий оператор SQL показывает эквивалентный пример использования LIMIT: SELECT * FROM Customers WHERE Country='Germany' LIMIT 3; ▪ Следующая инструкция SQL показывает соответствующий пример использования параметра ROWNUM: SELECT * FROM Customers WHERE Country='Germany' AND ROWNUM <= 3; @sqlhub

Где набраться опыта в аналитике данных, структурировать знания и узнать, как с рабочими задачами справляются профессионалы? Получите опыт, сопоставимый с работой в крупной компании — пройдите 5 недель интенсивной практики на «Симуляторе аналитика». Здесь вы с нуля выстроите аналитические процессы, поработаете с настоящей инфраструктурой, научитесь уверенно справляться с ежедневными задачами аналитика и поймёте, какая логика стоит за каждым решением. Наставники курса: ▪️Анатолий Карпов (работал ведущим аналитиком VK и JetBrains) ▪️Мария Сомова (senior аналитик VK) ▪️Ян Пиле (руководитель группы аналитики поиска VK) Они точно знают, как эффективно решать рабочие задачи, и готовы поделиться опытом с вами. А интенсивная практика в сочетании с настоящей рабочей инфраструктурой помогут расширить компетенции и получить знания, необходимые для дальнейшего карьерного роста. Записывайтесь на симулятор до 17 июля по ссылке!

🕵‍♂Использование CROSS JOIN для задач поиска пересечений в исторических данных 🔵 CROSS JOIN (или полное соединение таблиц без условий) — декартова перемножение множеств. Говоря простым языком — для каждого варианта первого множества будет сопоставлены все варианты второго множества. • Правильное использование этого типа соединения может помочь в решении сложных задач, например, нахождении пересечений в исторических данных. • Структура таблиц представленных примеров в изображении 1. 📕 Допустим: клиент Сидоров Степан Павлович подал заявку на кредит. На некотором этапе рассмотрения потребовался анализ платежеспособности клиента андеррайтером. Заявка автоматически распределилась на сотрудника Петрова Екатерина Павловна. На первый взгляд ничего подозрительного нет — в ФИО людей совпадает только отчество, что является широко распространенной ситуацией. ❗️ Однако, при детальном анализе выясняется, что девичья фамилия андеррайтера и клиента совпадают (Сидорова / Сидоров) изображение 2. В таком случае заявка клиента должна была распределиться на другого сотрудника, чтобы решение, вынесенное по заявке, было не предвзятым. • Для решения данной задачи можно использовать простой запрос с CROSS JOIN изображение 3. ➡️ Продолжение

🖥 Компактная таблица-шпаргалка по SQL. 📌 Шпаргалка @sqlhub

Аккуратность в мелочах, удобство и уникальная операционная система. Это всё об АТОМ — первом российском электромобиле, который появится в продаже в 2025 году. Подписывайтесь на @atom_auto, чтобы узнать, как он создаётся.

Два продвинутых SQL-метода, которые могут значительно улучшить ваши запросы SQL — это основа для каждого специалиста по работе с данными. Неважно, являетесь ли вы аналитиком данных, специалистом по данным или инженером по обработке данных, вам необходимо иметь четкое представление о том, как писать чистые и эффективные SQL-запросы. Это связано с тем, что за любым тщательным анализом данных или любой сложной моделью машинного обучения стоят базовые данные, и эти данные должны откуда-то поступать. Cегодня мы рассмотрим две новые техники SQL, которые вы можете добавить в свой набор инструментов, чтобы вывести ваши запросы на новый уровень. Эти методы называются Обобщённое табличное выражение (CTE) и Оконные функции. ▪ Читать @sqlhub