Data Science. SQL hub

📌 Возможности SQLite, которые вы могли пропустить 🔵Частичные индексы (Partial Indexes) При построении индекса можно указать условие попадания строки в индекс, к примеру, одна из колонок не пустая, а другая равна заданному значению. create index idx_partial on tab1(a, b) where a is not null and b = 5; select * from tab1 where a is not null and b = 5; --> search table tab1 using index 🔵Индексы на выражение (Indexes On Expressions) Если в запросах к таблице часто используется выражение, то можно построить индекс по нему. Однако следует иметь в виду, что пока оптимизатор не очень гибок и перестановка столбцов в выражении приведет к отказу от использования индекса. create index idx_expression on tab1(a + b); select * from tab1 where a + b > 10; --> search table tab1 using index ... select * from tab1 where b + a > 10; --> scan table 🔵Вычисляемые колонки (Generated Columns) Если данные столбца представляют собой результат вычисления выражения по другим столбцам, то можно создать виртуальный столбец. Есть два вида: VIRTUAL (вычисляется каждый раз при чтении таблицы и не занимает места) и STORED (вычисляется при записи данных в таблицу и место занимает). Разумеется записывать данные в такие столбцы напрямую нельзя. create table tab1 ( a integer primary key, b int, c text, d int generated always as (a * abs(b)) virtual, e text generated always as (substr(c, b, b + 1)) stored ); 🔵 R-Tree индекс Индекс предназначен для быстрого поиска в диапазоне значений/вложенности объектов, т.е. задачи типичной для гео-систем, когда объекты-прямоугольники заданы своей позицией и размером и требуется найти все объекты, которые пересекаются с текущим. Данный индекс реализован в виде виртуальной таблицы (см. ниже) и это индекс только по своей сути. Для поддержки R-Tree индекса требуется собрать SQLite с флагом SQLITE_ENABLE_RTREE (по умолчанию не установлен). create virtual table idx_rtree using rtree ( id, -- ключ minx, maxx, -- мин и макc x координаты miny, maxy, -- мин и макc y координаты data -- дополнительные данные ); insert into idx_rtree values (1, -80.7749, -80.7747, 35.3776, 35.3778); insert into idx_rtree values (2, -81.0, -79.6, 35.0, 36.2); select id from idx_rtree where minx >= -81.08 and maxx <= -80.58 and miny >= 35.00 and maxy <= 35.44; Остальные возможности можно тут @sqlhub

Кто такой ML-инженер и чем отличается от дата-сайентиста? Чтобы узнать и глубже погрузиться в тему машинного обучения (ML), приходите на бесплатный онлайн-практикум 25 и 26 июля в 19:00 мск. На практикуме вы: — познакомитесь с профессиями в сфере ML: Data Engineer, Data Scientist, Machine Learning Engineer; — изучите циклы работы с большими данными — от сбора до итогового решения в бизнесе; — построите и обучите ML-модели на Python. Если хотите попробовать себя в новой сфере, записывайтесь на практикум: https://go.skillfactory.ru/ZfobsQ Реклама, ООО "Скилфэктори", ИНН: 9702009530 erid: Kra23s6PY

📊 VisiData v2.11 VisiDatahttps://github.com/saulpw/visidata является многофункциональным инструментом для обработки и просмотра табличных данных. Этот интерактивный и эффективный инструмент предоставляет возможность работать с большими объемами данных. VisiData работает с CSV файлами, электронными таблицами Excel, базами данных SQL и многими другими источниками данных. pip3 install visidata ▪Github ▪Проект @sqlhub

В двух командах Авито открылись новые вакансии дата-инженеров. Если давно мониторите классные позиции, то самое время действовать. ➡️ Data Engineer в команду Usage ➡️ Data Engineer в команду Core analytics • Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией; • Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы; • Прозрачная система премий; • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность работать удалённо и в комфортном офисе в Москве или Петербурге. Откликайтесь по ссылкам и делитесь с теми, кому может быть интересно.

Кто такой ML-инженер и чем отличается от дата-сайентиста? Чтобы узнать и глубже погрузиться в тему машинного обучения (ML), приходите на бесплатный онлайн-практикум 25 и 26 июля в 19:00 мск. На практикуме вы: — познакомитесь с профессиями в сфере ML: Data Engineer, Data Scientist, Machine Learning Engineer; — изучите циклы работы с большими данными — от сбора до итогового решения в бизнесе; — построите и обучите ML-модели на Python. Если хотите попробовать себя в новой сфере, записывайтесь на практикум: https://go.skillfactory.ru/ZfobsQ Реклама, ООО "Скилфэктори", ИНН: 9702009530 erid: Kra23s6PY

🖥 Скрытые ошибки SQL, допускаемые опытными аналитиками данных Написание неправильного синтаксиса SQL не так страшно, потому что вы сразу же узнаете об этом, исправите то, что упустили, и вуаля, все работает как ни в чем не бывало. А вот что действительно плохо, так это когда код выполняется и выдает результат, но не правильный тогда вы можете не заметить проблему. Возьмем две таблицы, первая содержит клиентов вашего сайта, а вторая – заказы, сделанные на сайте. customers table: +-------------+---------------+-------------+ | customer_id | customer_name | visit_count | +-------------+---------------+-------------+ | 1 | John Doe | 5 | | 2 | Jane Smith | 8 | | 3 | Mike Johnson | 3 | +-------------+---------------+-------------+ orders table: +----------+-------------+------------+--------------+ | order_id | customer_id | order_date | total_amount | +----------+-------------+------------+--------------+ | 1 | 1 | 2023-07-10 | 50.00 | | 2 | 1 | 2023-07-12 | 75.00 | | 3 | 2 | 2023-07-11 | 120.50 | | 4 | 3 | 2023-07-15 | 25.75 | +----------+-------------+------------+--------------+ Чаще всего мы работаем с таблицами не по отдельности, а с их объединениями. Приведенные выше таблицы можно объединить по столбцу customer_id. • Теперь, если мы захотим вычислить что-то простое, например, общее количество посещений сайта или общее количество посещений по пользователям, то, если мы не будем очень внимательны, то, сами того не замечая, получим неверные результаты. SELECT SUM(c.visit_count) AS total_visits FROM customers c JOIN orders o ON c.customer_id = o.customer_id В результате будет получено 21 посещение, что неверно. • И даже когда мы пытаемся просуммировать общее количество посещений на одного пользователя : SELECT c.customer_id, c.customer_name, SUM(c.visit_count) AS total_visits FROM customers c JOIN orders o ON c.customer_id = o.customer_id GROUP BY c.customer_id, c.customer_name; • Мы получаем неверные значения для одного из клиентов (клиента, имеющего более одного заказа): customers table: +-------------+---------------+--------------+ | customer_id | customer_name | total_visits | +-------------+---------------+--------------+ | 1 | John Doe | 10 | | 2 | Jane Smith | 8 | | 3 | Mike Johnson | 3 | +-------------+---------------+--------------+ • Мы можем увидеть, что пошло не так, взглянув на таблицу, полученную в результате объединения: +-------------+---------------+--------------+----------+------------+--------------+ | customer_id | customer_name | visit_count | order_id | order_date | total_amount | +-------------+---------------+--------------+----------+------------+--------------+ | 1 | John Doe | 5 | 1 | 2023-07-10 | 50.00 | | 1 | John Doe | 5 | 2 | 2023-07-12 | 75.00 | | 2 | Jane Smith | 8 | 3 | 2023-07-11 | 120.50 | | 3 | Mike Johnson | 3 | 4 | 2023-07-15 | 25.75 | +-------------+---------------+--------------+----------+------------+--------------+ Это явление называется fanout, и его трудно заметить, поскольку результаты получаются частично корректными. 📌 Продолжение @sqlhub

⚠️ 3 из 5 компаний уже перешли с Oracle и MS SQL на PostgreSQL.  PostgreSQL хорошо выполняет сложные запросы и позволяет создавать высокодоступные отказоустойчивые и параллельные кластера под "тяжелые" задач 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты.  Не пропустите открытый урок «Хранимые процедуры и функции в Postgresql», который состоится 18 июля в 20:00! ⬆️ На встрече вы узнаете, как использовать ненативные языки для написания хранимых процедур и функций в Postgresql на примере С и Python. 👉 Готовьте вопросы и записывайтесь на вебинар!   https://otus.pw/9hNE/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 Простой скрипт для резервного копирования всех баз данных SQL Server Иногда то, что кажется нам сложным, оказывается гораздо проще, чем мы думали, и в этом заключается сила использования T-SQL для решения повторяющихся задач. Одной из таких задач может быть необходимость создания резервных копий всех баз данных на вашем сервере. Если баз не много, это не проблема, но я видел несколько серверов, где на одном экземпляре SQL Server было 100+ баз данных. Вы можете использовать SQL Server Management Studio для резервного копирования баз данных или даже использовать Maintenance Plans, но использование T-SQL — гораздо более простой и быстрый подход. Решение С помощью языка T-SQL вы можете создавать скрипты резервного копирования, а с помощью мышки вы можете просматривать все базы данных для их резервного копирования по очереди. Можно также использовать цикл while, если вы предпочитаете не использовать мышь. Это очень простой процесс, и для его выполнения вам понадобится всего несколько команд. Как создать резервные копии всех баз данных SQL Server ▪Укажите путь для хранения бэкапов баз данных ▪Укажите формат имени файла резервной копии ▪Выберите список баз данных для резервного копирования ▪Цикличность ▪Программно создаем команду резервного копирования базы данных, используя имя базы данных, путь и формат имени файла Формат имени файла бэкапа базы данных DBname_YYYYDDMM.BAK Вот скрипт, который позволит вам создать резервную копию каждой базы данных в вашем экземпляре SQL Server. Вам нужно будет изменить @path на соответствующий директорию резервного копирования. DECLARE @name NVARCHAR(256) -- database name DECLARE @path NVARCHAR(512) -- path for backup files DECLARE @fileName NVARCHAR(512) -- filename for backup DECLARE @fileDate NVARCHAR(40) -- used for file name -- specify database backup directory SET @path = 'C:\test\' -- specify filename format SELECT @fileDate = CONVERT(NVARCHAR(20),GETDATE(),112) DECLARE db_cursor CURSOR READ_ONLY FOR SELECT name FROM master.sys.databases WHERE name NOT IN ('master','model','msdb','tempdb') -- exclude these databases AND state = 0 -- database is online AND is_in_standby = 0 -- database is not read only for log shipping OPEN db_cursor FETCH NEXT FROM db_cursor INTO @name WHILE @@FETCH_STATUS = 0 BEGIN SET @fileName = @path + @name + '_' + @fileDate + '.BAK' BACKUP DATABASE @name TO DISK = @fileName FETCH NEXT FROM db_cursor INTO @name END CLOSE db_cursor DEALLOCATE db_cursor Формат имени файла бэкапа базы данных DBname_YYYYDDMM_HHMMSS.BAK Если вы хотите также включить время в название файла, вы можете заменить эту строку в приведенном выше сценарии: -- specify filename format SELECT @fileDate = CONVERT(NVARCHAR(20),GETDATE(),112) этой строкой: -- specify filename format SELECT @fileDate = CONVERT(NVARCHAR(20),GETDATE(),112) + '_' + REPLACE(CONVERT(NVARCHAR(20),GETDATE(),108),':','') Добавление дополнительных элементов в команду резервного копирования Чтобы добавить дополнительные параметры, такие как прогресс резервного копирования (статистика) и сжатие, вы можете изменить эту строку в скрипте: BACKUP DATABASE @name TO DISK = @fileName этой строкой: BACKUP DATABASE @name TO DISK = @fileName WITH STATS=10, COMPRESSION Примечания В этом скрипте мы обходим системные базы данных, но их также можно легко включить. Вы также можете превратить его в хранимую процедуру и передать имя базы данных или, если оставить NULL, создать резервные копии всех баз данных. В любом случае, этот скрипт даст вам отправную точку для простого резервного копирования всех ваших баз данных. Кроме того, если вы хотите обойти некоторые пользовательские базы данных, вы можете включить их в раздел NOT IN. Следующие шаги Добавьте этот сценарий в свой набор инструментов (toolbox) Измените этот сценарий и сделайте его хранимой процедурой, чтобы включить один или несколько параметров Усовершенствуйте сценарий для использования дополнительных опций BACKUP @sqlhub

Ищешь возможность развиться в IT-сфере и стать профессионалом в области DevOps? Тогда не упусти свой шанс пройти более 20 бесплатных открытых практикумов от REBRAIN каждый месяц! Получи необходимые знания и навыки в DevOps, Linux, Networks, Kubernetes, Docker, Ansible, Gitlab CI, Linux, Kafka, MySQL, Golang от опытных профессионалов, работающих в лучших компаниях, таких как Avito, Skyeng, AWS, Luxoft, DataArt и других! Стань настоящим гуру в IT-сфере и присоединяйся к нашему Telegram-каналу уже сегодня! 🚀

⭐️ 100 датасетов для анализа данных на все случаи жизни. ▪Список ▪Зеркало @sqlhub

🤔 10 аргументов “за” и “против” SQL  • Вторая по обсуждаемости тема в среде специалистов по SQL: как произносить то, что большинство людей называют Sequel ([сиквел] вместо [эс кью эл]). Это удивительно, поскольку язык существует более 40 лет. • Но, пожалуй, самая обсуждаемая тема, связанная с SQL, — это вопрос о том, считается ли он языком программирования. Почему SQL не является языком программирования 🟢 Создание и выполнение запросов, а не скриптов 🟢 Не изменяет состояние 🟢 Отсутствие циклирования 🟢 Репутация в отрасли Почему SQL является языком программирования 🟣 Соответствие критерию Тьюринга 🟣 Переменные, условная логика, определения функций 🟣 Возможность создавать приложения (хотя это сложно) 🟣 Так считают в Google Подробное разъяснение читай тут @sqlhub

🔥Учимся визуализировать данные и строить уникальные графики с помощью R на открытом уроке курса "Язык R для анализа данных" в OTUS. Язык R - мощный инструмент, знание которого необходимо аналитикам, data science специалистам, маркетологам и программистам при работе с данными. Простой синтаксис, инструменты визуализации, быстрое выполнение кода - все это позволяет создавать весомые конкурентные преимущества в работе. В OTUS стартует набор на курс “Язык R для анализа данных”. 📌17 июля приглашаем на вебинар “Слои в ggplot2”, на котором вы узнаете: - как строить графики в R с помощью библиотеки ggplot2 слой за слоем; - познакомитесь с разными типами визуализаций, фасетированием и многим другим. Результат урока: простой и понятный алгоритм для построения графиков по данным. Урок подойдет даже тем, кто не знаком с языком R 👉Регистрация для участия https://otus.pw/VOzn/ Не упустите возможность протестировать формат обучения. Приобрести курс возможно в рассрочку Нативная интеграция Информация о продукте www.otus.ru

🖥 Что нового в SQLAlchemy 2.0? В начале 2023 года вышла SQLAlchemy 2.0 — библиотека на Python для работы с реляционными СУБД, которая работает с Object Relational Mapper (объектно-реляционным отображением). Основная задача SQLAlchemy — синхронизация объектов Python с данными в БД. То есть с помощью SQLAlchemy можно описывать структуры БД и работать с их данными на объектно-ориентированном коде на Python без использования чистого SQL. Другая важная особенность SQLAlchemy — код для работы с базой данных будет одинаковым вне зависимости от БД, которую использует разработчик. Такой подход позволяет без проблем мигрировать с одной базой данных на другую. Полный список нововведений в SQLAlchemy 2.0 можно посмотреть в официальной документации сервиса. ▪ Читать @sqlhub

❓Хотите перейти на новый уровень в C# разработке? 👉 Приглашаем 12 июля в 20:00 мск вас на открытый урок в OTUS. Тема: Примитивы многопоточности .Net На уроке разберем такие примитивы многопоточности, как — Барьеры; — Условные события (ManualResetEvent/AutoResetEvent); — Потоко-безопасные очереди (блокируемые и неблокируемые) Дополнительно обсудим: — Как писать код без Thread.Sleep — Где еще можно использовать многопоточность — Чем отличается многопоточный код от асинхронного. 📌 Вебинар пройдет в рамках онлайн-курса «C# Developer. Professional» и позволит вам углубить свои знания о платформе .NET и научиться решать сложные задачи языка C#. Не упустите шанс протестировать курс и стать еще более компетентным C# разработчиком. Больше полезных тем ждет вас на курсе, доступном в рассрочку. 👉 Для участия во встрече пройдите вступительный тест https://otus.pw/AXrg/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. 2RanynhSUvk

🧠 Основы SQL: работа с SELECT TOP • При работе с большими базами данных часто возникает необходимость ограничить количество результатов, возвращаемых запросом. Для этого в SQL существует запрос SELECT TOP. 👀3 примера, как можно использовать эту мощную функцию: 1. Выбор определенного количества записей Простейшее использование SELECT TOP заключается в указании количества записей, которые необходимо вернуть. -- Select the top 5 employees based on salary SELECT TOP 5 * FROM Employees ORDER BY Salary DESC; 2. Выбор части записей SELECT TOP может также возвращать определенный процент записей. Это может быть полезно, когда необходимо получить подмножество данных. -- Select the top 10% employees based on salary SELECT TOP 10 PERCENT * FROM Employees ORDER BY Salary DESC; 3. Использование SELECT TOP с TIES В некоторых случаях требуется вернуть все записи, имеющие общее значение с последней записью в выборке TOP. SELECT TOP WITH TIES позволяет это сделать. -- Select the top 5 employees based on salary, include ties SELECT TOP 5 WITH TIES * FROM Employees ORDER BY Salary DESC; • Предложение SELECT TOP является универсальным инструментом SQL для ограничения и уточнения результатов запросов! @sqlhub

Мы — команда разработчиков компании РЕЛЭКС разрабатываем ультрасовременную высокопроизводительную реляционную СУБД SoQoL. В нашем канале вы сможете узнать и обсудить: · С какими сложностями мы сталкиваемся при разработке СУБД? · Какие решения используем и почему? · Почему не стали разрабатывать еще один Postgres? · Как скачать и протестировать бета-версию SoQoL? · Как принять участие в пилотном проекте с новой СУБД? Подписывайтесь 🤝 на канал и будьте в курсе последних новостей разработки CУБД SoQoL https://t.me/soqol_dbms

🏃Как ускорить базу данных при помощи шардирования • Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде. 🤔 Для чего требуется шардирование? • Традиционные базы данных порой не справляются с обработкой растущих объемов данных и нарастающего трафика запросов. Сегодня очень популярны концепции NoSQL и NewSQL – соответственно, на рынке баз данных появляется все больше продуктов, вдохновленных этими новыми концепциями. Но их одних недостаточно, чтобы решить все более серьезные проблемы с данными. Шардирование – это прием, позволяющий разбивать данные на отдельные строки и столбцы, хранимые на отдельных инстансах серверов базы данных. Так удается распределить нагрузку, оказываемую трафиком. Каждая такая малая таблица называется «шард». Некоторые NoSQL-продукты шардируются, таковы, например, Apache HBase или MongoDB. Шардинговая архитектура встроена в NewSQL-системы. 👀Как шардировать базу данных? Один из наилучших способов создания шардов таков: данные нужно разделять на множество небольших таблиц. Они также называются «сегментами» (partitions). Вот две ключевые составляющие шардирования: ▪Шардинговый ключ: конкретное значение в столбце, указывающее, в каком шарде хранится данная строка. ▪Шардинговый алгоритм: алгоритм, согласно которому ваши данные распределяются в одном или нескольких шардах. Шаг 1: Проанализировать сценарий запроса и распределение данных, чтобы найти шардинговый ключ и шардинговый алгоритм Шаг 2: Миграция имеющихся данных Шаг 3: Перебросить трафик на новый кластер Более детально тут. 👈 @sqlhub

📌 SQL SELECT TOP, LIMIT, ROWNUM TOP Инструкция SELECT TOP используется для указания количества возвращаемых записей. Она полезна для больших таблиц с тысячами записей. Возврат большого количества записей может повлиять на производительность. Не все базы данных поддерживают SELECT TOP. MySQL поддерживает предложение LIMIT для выбора ограниченного числа записей, в то время как Oracle использует ROWNUM. ▪ Синтаксис SQL Server / MS Access: SELECT TOP number|percent column_name(s) FROM table_name WHERE condition; ▪ Синтаксис MySQL: SELECT column_name(s) FROM table_name WHERE condition LIMIT number; ▪ Синтаксис Oracle: SELECT column_name(s) FROM table_name WHERE ROWNUM <= number; Примеры SQL TOP, LIMIT и ROWNUM ▪ Следующая инструкция SQL выбирает первые три записи из таблицы "Customers": SELECT TOP 3 * FROM Customers; ▪ Следующий оператор SQL показывает эквивалентный пример использования предложения LIMIT: SELECT * FROM Customers LIMIT 3; ▪ Следующая инструкция SQL показывает соответствующий пример использования параметра ROWNUM: SELECT * FROM Customers WHERE ROWNUM <= 3; Пример SQL TOP PERCENT ▪ Следующая инструкция SQL выбирает первые 50% записей из таблицы "Customers": SELECT TOP 50 PERCENT * FROM Customers; Добавить WHERE ▪ Следующая инструкция SQL выбирает первые три записи из таблицы "Customers", где страна - "Germany": SELECT TOP 3 * FROM Customers WHERE Country='Germany'; ▪ Следующий оператор SQL показывает эквивалентный пример использования LIMIT: SELECT * FROM Customers WHERE Country='Germany' LIMIT 3; ▪ Следующая инструкция SQL показывает соответствующий пример использования параметра ROWNUM: SELECT * FROM Customers WHERE Country='Germany' AND ROWNUM <= 3; @sqlhub