Data Science. SQL hub

🧰 ts-sql-query — инструмент для построения типобезопасных SQL-запросов. Это что-то вроде QueryDSL/JOOQ в Java или LINQ в .NET, только для TypeScript с поддержкой MariaDB, MySql, Oracle, PostgreSql, Sqlite и SqlServer.  🔗 Документация & Репозиторий

🖥 SQL Server Tools Полезные инструменты разработки и администрирования для Microsoft SQL Server 1. Common-Info Cкрипты общего назначения для просмотра состояния и настроек инстанса и др 2. Data-Model-Info Просмотр модели данных и других связанных объектов 3. Databases-Info Информация о базах данных 4. Statistics Информация о статистиках, вопросах производительности и их анализе 5. Indexes Информация об индексах, вопросах производительности и их анализе 6. File-Groups Информация о файловых группах 7. Partitioned-Tables-and-Indexes Секционирование таблиц и индексов 8. Perfomance Производительность и оптимизация запросов, настроек сервера и поиск узких мест 9. Backup Резервное копирование и восстановление данных 10. Maintenance Обслуживание баз данных и сервера 11. 1С-Extended-Settings Инструмент для поддержки произвольных индексов, изменение существующих объектов, сжатия таблиц и индексов, файловых групп и прочего для баз 1С:Предприятия 12. BCP Работа с утилитой Bulk Insert Programm (BCP) 13. Bulk-Operations Раздел с полезной информацией об операциях массовой модицикации данных 14. AlwaysOn О работе с группами высокой доступности AlwaysOn, настройке WSFC и др. 15. Diagnostics Диагностика работы SQL Server 16. FullText-Search Полнотекстовый поиск и все что с ним связано 17. TempDB Все что связано с TempDB и временными таблицами 18. Monitoring Мониторинг стабильности и производительности 19. Internals Информация о внутренностях работы СУБД 20. SSAS Подраздел об SQL Server Analysis Services 21. PowerShell Работа со SQL Server из PowerShell 22. Linux Работа со SQL Server под Linux 23. Integration Информация о средствах интеграции SQL Server с другими системами и наоборот. 24. Jobs Информация о заданиях и их настройке. 25. Trace-Flags Флаги трассировки. 26. Replication-And-High-Availability Информация о механизмах репликации данных, высокой доступности и отказоустойчивости. 27. Track-Data-Changes Механизмы отслеживания изменения данных. 28. Security Безопасность, управление доступом и связанные темы. 29. SQLCLR Материалы по созданию расширений для SQL Server на базе SQLCLR @sqlhub

🔥 6 бесплатных ресурсов для практики в SQL SQLZoo - рекомендуем тем, кто начинает изучать язык. На сайте 9 разделов с задачами по sql. Их решение займет 18–20 часов. Среди тем — вложенные запросы или обработка значений null. Также доступны разборы решений. В SQLZoo есть справочник терминов. SQLTest - здесь можно изменять или замещать значения и масштабировать их. Это позволяет имитировать взаимодействие с БД произвольного количества пользователей или запросов. Сервис генерирует запросы к базе данных SQL Server и поддерживает MySQL и Oracle. SQLTest доступен в десктопной и облачной версии. Pgexercises - Сайт состоит из 80 упражнений для работы с объектно-реляционной системой PostgreeSQL. Доступен один набор данных, который состоит из 3 таблиц: members, booking и facilities. Упражнения начинаются с предложений select и where, затем рассматриваются оконные функции и рекурсивные запросы. Курс разделен на блоки: ▪Простые запросы SQL; ▪Присоединение и подзапросы; ▪Изменения данных; ▪Агрегация; ▪Работа с метками времени; ▪Операции с рядами; ▪Рекурсивные запросы. SQL Fiddle — сервис с открытым исходным кодом. Сайт позволяет делиться информацией с другими пользователями. Он поддерживает БД Oracle, SQLite, MySQL. Также есть возможность экспортировать данные в разных форматах: иерархические файлы (например, XML-документы), текстовые и таблицы. Oracle LiveSQL — это облачная платформа для тестирования и обмена сценариями SQL и PL/SQL. Среди функций — инструмент меню Quick SQL, который позволяет создавать операторы с помощью сокращенного синтаксиса. Система сохраняет информацию о предыдущих сеансах, наборах операторов, которые можно перезапустить или сохранить как сценарии. Также сценарии можно воспроизвести повторно или загрузить созданные на сторонних ресурсах. В последней версии СУБД Oracle Database 19c разработчики добавили функцию Automatic Indexing, которая автоматически создает индексы к БД. HackerRank - социальная платформа для соревновательного программирования предлагает упражнения для разных языков. Среди них — сложные практические задачи по SQL. К некоторым задачам нет опубликованных ответов, а за лучшие решения пользователь получает больше баллов в рейтинге сообщества. @sqlhub

Хотите освоить SQL и научиться решать реальные продуктовые задачи? karpov.courses сделали бесплатный Симулятор, где SQL изучают с нуля до продвинутого уровня на практике. Сейчас на курсе более 120 задач: от базовых до оконных функций. Это не просто курс, где вы изучите синтаксис языка и основные виды запросов. Здесь вы попробуете себя в роли настоящего аналитика сервиса доставки, поработаете в реальном рабочем окружении и научитесь решать нетривиальные задачи. Вы разберётесь как: • переводить запросы с языка бизнеса на язык аналитики • формулировать и проверять гипотезы • рассчитывать продуктовые метрики • визуализировать результаты анализа • строить интерактивные дашборды Обучение проходит на платформе школы [Начать учиться SQL]

🖥 Оператор EXCLUDE в PostgreSQL: Продвинутые ограничения для базы данных PostgreSQL известна множеством мощных функциональных возможностей, и одна из них — оператор EXCLUDE. Этот оператор позволяет создавать продвинутые ограничения на множества значений внутри столбцов таблицы. В этой статье хочу рассказать про оператор EXCLUDE, показать примеры его использования, чтобы вы могли лучше понять, как использовать его для создания гибких и эффективных баз данных. Оператор EXCLUDE как и UNIQUE в PostgreSQL используется для определения ограничений на множества значений внутри столбцов таблицы. В отличие от UNIQUE он позволяет указать правила, которые определяют, какие значения не могут существовать вместе в определенном столбце или наборе столбцов. Оператор EXCLUDE часто используется с индексом типа GiST или SP-GiST, чтобы обеспечить эффективность выполнения запросов, хотя может применяться и вместе с обычным B-Tree индексом. Примеры использования 1. Стандартным примером использования EXCLUDE может служить ограничение на пересечение временных интервалов (например сеансов в кинозале). create table events ( id serial primary key, event_time tstzrange, -- дата и время начала и конца constraint no_screening_time_overlap exclude using gist ( event_time WITH && -- проверка на пересечение ) ); insert into events (event_time) values ('["2023-01-01 19:00:00", "2023-01-01 20:45:00"]'); После этого Вы можете попробовать вставить еще олдну строку с интервалом пересекающим один из уже существующих в таблице. Скорей всего у Вас не получится и база данных вернет ошибку. Если же Вы преуспеете — отпишитесь в комментах! Так же как и UNIQUE, ограничение EXCLUDE может налагаться на нруппу столбцов. Например Вы можете использовать колонки event_start и event_end типа timestamp и также ограничить наложения по времени. Ниже пример: CREATE TABLE events ( event_id SERIAL PRIMARY KEY, event_name VARCHAR(100) NOT NULL, event_start TIMESTAMPTZ NOT NULL, event_end TIMESTAMPTZ NOT NULL, EXCLUDE USING GIST (event_start WITH &&, event_end WITH &&) ); Аналогично временным диапазонам можно накладывать ограничения на диапазону чисел: CREATE TABLE ranges ( range_id SERIAL PRIMARY KEY, start_value INTEGER NOT NULL, end_value INTEGER NOT NULL, EXCLUDE USING GIST (int4range(start_value, end_value, '[]') WITH &&) ); В этом примере создается таблица ranges, которая содержит числовые диапазоны. Оператор EXCLUDE с индексом GiST указывает, что числовые диапазоны в столбцах start_value и end_value не могут перекрываться. @sqlhub

NocoDB — альтернатива AirTable с открытым исходным кодом Создавайте и управляйте базами данных с помощью простого, но мощного интерфейса С помощью инструмента вы сможете гибко определять схему данных, устанавливать связи между таблицами, выполнять сложные запросы и настраивать права доступа NocoDB подходит для различных типов данных, будь то реляционные, документоориентированные или графовые. Интеграция с различными типами баз данных обеспечивает максимальную гибкость и удобство. Стоимость: #бесплатно #базы_данных #web

🔥 Полезные бесплатные инструменты для работы с базами данных Инструменты ориентированы на разработку под Microsoft SQL Server. SQLCheck - мониторинг производительности сервера в реальном времени. SQL Server Maintenance Solution - набор хранимых процедур от MVP Ola Hallengren для обслуживания как пользовательских, так и служебных баз данных на стороне SQL Server. SQL Scripts Manager - бесплатный набор из 28 must–have скриптов от экспертов компании Redgate, который поможет автоматизировать общие задачи устранения неполадок, диагностики и обслуживания бд. Набор хранимых процедур от Brent Ozar Unlimited sp_Blitz — хранимые процедуры, для мониторинга состояния SQL Server–а и проблем производительности. sp_BlitzCache — хранимыя процедура, с кучей опций, которая показывает малоэффективные запросы, и многое другое. sp_BlitzIndex — это инструмент, который поможет вам проанализировать индексы: узнать есть ли у вас повторяющиеся индексы, или индексы, которые не используются, и многое другое. sp_BlitzRS – процедура для поиска потенциальных проблем и анализа производительности и запросов SQL Server Reporting Services. sp_BlitzTrace – хранимая процедура, которая позволит вам легко и быстро использовать SQL Server Extended Events. SqlBak - онлайн сервис от разработчиков популярного решения для бэкапа SQLBackupAndFTP. Инструмент позволяет создавать резервные копии MS SQL вручную или по расписанию (поддерживается полный и дифференциальный бэкап и сохранение журнала транзакций.) SQLFuse - это файловая система пользовательского режима, основанная на FUSE, которая отображает объекты сервера SQL на файловую систему: схемы, таблицы, представления, хранимые процедуры, функции, колонки, триггеры и др. tSQLt - бесплатный фреймворк с открытым исходным кодом для проведения T-SQL unit тестов. О том, как работать с данным инструментом очень подробно изложено в следующей статье: tSqlt — модульное тестирование в Sql Server BIDS Helper - плагин для Visual Studio c открытым исходным кодом. SQL Server Partition Management - данный инструмент позволяет работать с секционированными (партиционированными) таблицами. @sqlhub

🖥 Ограничение DEFAULT в SQL Ограничение DEFAULT используется для установки значений по умолчанию при попытке вставить пустое (NULL) значение в столбец. Например: CREATE TABLE Colleges ( college_id INT PRIMARY KEY, college_code VARCHAR(20), college_country VARCHAR(20) DEFAULT 'Japan' ); Здесь значением по умолчанию для столбца college_country является Japan. Если мы попытаемся сохранить значение NULL в столбце college_country, то значением станет Japan. Например: -- Вставляем значение 'Japan' в столбец college_country INSERT INTO Colleges (college_id, college_code) VALUES (1, 'ARP76'); -- Вставляем значение 'UAE' в столбец college_country INSERT INTO Colleges (college_id, college_code, college_country) VALUES (2, 'JWS89', 'UAE'); Ограничение DEFAULT с ALTER TABLE Мы также можем добавить ограничение DEFAULT к существующему столбцу с помощью оператора ALTER TABLE. Например: SQL Server ALTER TABLE Colleges ADD CONSTRAINT country_default DEFAULT 'Japan' FOR college_country; PostgreSQL ALTER TABLE Colleges ALTER COLUMN college_code SET DEFAULT 'Japan'; MySQL ALTER TABLE Colleges ALTER college_country SET DEFAULT 'Japan'; Oracle ALTER TABLE Colleges MODIFY college_country DEFAULT 'Japan'; Здесь значением по умолчанию для столбца college_country является Japan, если кто-то попытается вставить NULL. Удалить ограничение DEFAULT Мы можем удалить ограничение DEFAULT, используя оператор DROP. Например: SQL Server, PostgreSQL, Oracle ALTER TABLE Colleges ALTER COLUMN college_country DROP DEFAULT; MySQL ALTER TABLE Colleges ALTER college_country DROP DEFAULT; Здесь мы удаляем ограничение DEFAULT из столбца college_country. @sqlhub

С++ - в телеграм ! Хотите бесплатно и эффективно выучить C++ или прокачать свои навыки программирования? Специалисты OZON TECH собрали материалы и практические задания для эффективного погружения в язык. Придется немого попотеть, но полученные знания того стоят. Учиться бесплатно: @cpluspluc

SQLAlchemy Основные базовые операции: SELECT-запросы В этом посте мы обсудим сложные SELECT-запросы, используя как SQLite, так и SQLAlchemy с Python. Наслаждайтесь! ▪Читать @pro_python_code

🖥 LIMIT, TOP и FETCH FIRST в SQL Команда SELECT TOP используется для выбора фиксированного количества строк из базы данных. Например: SELECT TOP 2 * FROM Customers; Здесь мы выбираем первые 2 строки из таблицы Customers (картинка1). Еще один пример: SELECT TOP 2 first_name, last_name FROM Customers; Здесь мы выбираем поля first_name и last_name из первых 2 строк таблицы Customers. Примечание: Ключевое слово TOP поддерживается не во всех системах управления базами данных (СУБД). Различные СУБД используют разные ключевые слова для выбора фиксированного количества строк. Например: ➡️ ключевое слово TOP используется в SQL Server, MS Access; ➡️ ключевое слово LIMIT используется в MySQL, PostgreSQL, SQLite; ➡️ ключевое слово FETCH FIRST используется в Oracle. LIMIT в SQL Ключевое слово LIMIT используется для выбора фиксированного количества строк в MySQL, PostgreSQL и SQLite. Например: SELECT first_name, age FROM Customers LIMIT 2; Здесь мы выбираем первые 2 строки из таблицы Customers. LIMIT с OFFSET в SQL Ключевое слово OFFSET используется для указания места, откуда следует выбирать строки. Например: SELECT first_name, last_name FROM Customers LIMIT 2 OFFSET 3; Здесь мы выбираем две строки, начиная с четвертой строки. OFFSET 3 означает, что первые 3 строки исключены (картинка 2). FETCH FIRST в SQL Предложение FETCH FIRST <количество_строк> ROWS ONLY используется в СУБД Oracle для выбора фиксированного количества строк. Например: SELECT * FROM Customers FETCH FIRST 2 ROWS ONLY; Здесь мы выбираем первые 2 строки из таблицы Customers. @sqlhub

🖥 Аналитические функции при сохранении всех строк выборки Речь пойдет о так называемых analytic functions, которые оперируют над партициями данных (окна, windows), возвращая результат для каждой строки. В отличие от aggregate functions, “схлопывающих” строки, оконные функции оставляют все строки выборки. Окно определяется спецификацией (выражение OVER) и основывается на трех основных концепциях: ▪Разбиение строк на группы (выражение PARTITION BY) ▪Порядок сортировки строк в каждой группе (выражение ORDER BY) ▪Рамки, которые определяют ограничения по количеству строк относительно каждой строки (выражение ROWS) Таких функций существует немало, от аналитических: всем известные SUM, AVG, COUNT, менее известные LAG, LEAD, CUMEDIST, и до ранжирующих: RANK, ROWNUMBER, NTILE. Я же приведу несколько простых примеров часто встречающихся запросов: ▪Ко всем транзакциям пользователя вывести дату первой покупки ▪К каждой транзакции добавить дату предыдущей транзакции пользователя ▪Показать сумму покупок пользователя нарастающим итогом ▪Присвоить всем транзакциям пользователя / продавца / отделения порядковый номер SQL Fiddle: http://sqlfiddle.com/#!17/ee00f/13 Решения: select salesid ,dateid ,sellerid ,buyerid ,qty ,first_value(dateid) over (partition by buyerid order by dateid) as first_purchase_dt ,lag(dateid) over (partition by buyerid order by dateid) as previous_purchase_dt ,sum(qty) over (partition by buyerid order by dateid rows between unbounded preceding and current row) as moving_qty ,row_number() over (partition by buyerid order by dateid) as order_number from winsales ; Пишите свое решение в комментариях👇 @sqlhub

Познакомьтесь с востребованным направлением программирования — Java-разработкой. Освойте базовые инструменты на практике и выйдите на рынок IT. Сделайте первый шаг — участвуйте в онлайн-интенсиве Skillbox с 25 по 27 мая в 19:00 по московскому времени: 👉 https://goo.su/ixDcD После регистрации сразу отправим вам на почту гайд по профессии Java-разработчика: из него вы узнаете, сложно ли изучить Java, сколько зарабатывают специалисты и как начать карьеру в этой сфере. Интенсив ведёт Даниил Пилипенко — основатель и директор центра подбора IT-специалистов SymbioWay. С 2004 года разрабатывает и руководит разработкой на Java, PHP и во фронтенде. Он расскажет, как устроен язык Java, и научит писать простейший код, даже если вы никогда не программировали. Объяснит, как работать с файлами и переменными, а также где найти первых клиентов. 🎁 Всем, кто дойдёт до конца интенсива, подарим электронную книгу издательства МИФ «Разум под контролем» Роджера Сайпа и Робба Збиерски. Бонус для участников: если будете онлайн, то получите скидку на 10 000 рублей на любой курс. Сделайте первый шаг к перспективной IT-профессии!

🖥 Подстановочные знаки (wildcards) в SQL Подстановочный знак (wildcard) в SQL используется с оператором LIKE для замены одного или набора символов в строке. Например: SELECT * FROM Customers WHERE last_name LIKE 'R%'; Здесь % (означает ноль или более символов) является подстановочным знаком (wildcard). Мы выбираем клиентов, чья фамилия (last_name) начинается с буквы R, за которой следует ноль или более символов. ▪Читать дальше @sqlhub

Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны? Александр Ледовский, тимлид команды аналитики и DS в Авито, делится опытом использования Apache Spark для работы с поисковыми логами. Всё, что нужно знать аналитикам, дата-инженерам, специалистам по обработке больших данных и тимлидам команд, чтобы задавать параметры Spark-сессии и получать ресурсы. Переходите и читайте по ссылке. Реклама. ООО «Авито Тех». LdtCKLoXJ

🖥 Изучаем базы данных Большой сборник теоретического материала по работе с базами данных. ▪основы: http://phpclub.ru/mysql/doc/tutorial.html ▪отношения между таблицами в БД: http://jtest.ru/bazyi-dannyix/sql-dlya-nachinayushhix-chast-3.html ▪внешние ключи: http://denis.in.ua/foreign-keys-in-mysql.htm ▪большой учебник по SQL: http://www.pyramidin.narod.ru/rusql/index.htm ▪сборник запросов на все случаи жизни (англ): http://www.artfulsoftware.com/infotree/queries.php ▪таблицы отличий в диалектах SQL в разных СУБД (англ): http://en.wikibooks.org/wiki/SQL_dialects_reference ▪манга-учебник про SQL в картинках: http://www.nostarch.com/mg_databases.htm @sqlhub

🖥 Задача: Выбрать самую актуальную запись с учетом статуса (успешная / отмененная транзакция) и временной метки Задачу часто спрашивают на собеседованиях в формулировке “как удалить дубли / копии строк”, и решить ее можно несколькими способами. Я привык мыслить в терминах историзации данных в Хранилище, и удаление мне ни к чему, поэтому для решения задачи я воспользуюсь ранжирующей функцией ROWNUMBER(). SQL Fiddle (Oracle 11g R2): http://sqlfiddle.com/#!4/ad305/1 with decoded as ( select "transaction_id" ,"is_successful" ,"ts" ,decode("is_successful", 'true', 0, 'false', 1, 2) as "order_is_successful" from transactions ), ordered as ( select "transaction_id" ,"is_successful" ,"ts" ,row_number() over(partition by "transaction_id" order by "order_is_successful" asc, "ts" desc) as rn from decoded ) select "transaction_id" ,"is_successful" ,"ts" from ordered where rn = 1 ; Результат Пишите свое решение в комментариях👇 @sqlhub

Бесплатный вебинар: “Разделяй и монетизируй: как построить отказоустойчивую архитектуру микросервисов с помощью Tarantool” 24 мая в 11:00 (МСК) не пропустите совместный вебинар VK Tech и компании “Иннодата”, на котором эксперты расскажут про особенности и возможности Tarantool для конкретных ИТ-проектов, а также поделятся конкретными кейсами успешного применения софта. Вы узнаете: ● про архитектуру Tarantool для высокопроизводительных приложений; ● как правильно создать микросервисные, высокодоступные распределенные системы на базе Tarantool; ● как безболезненно интегрировать софт в ваш ИТ-проект; ● какие могут быть подводные камни при выборе Tarantool и как их избежать. Вебинар будет полезен разработчикам, DevOps-инженерам, архитекторам, аналитикам и администраторам. Участие бесплатное - вам осталось только зарегистрироваться!

Бесплатный вебинар: “Разделяй и монетизируй: как построить отказоустойчивую архитектуру микросервисов с помощью Tarantool” 24 мая в 11:00 (МСК) не пропустите совместный вебинар VK Tech и компании “Иннодата”, на котором эксперты расскажут про особенности и возможности Tarantool для конкретных ИТ-проектов, а также поделятся конкретными кейсами успешного применения софта. Вы узнаете: ● про архитектуру Tarantool для высокопроизводительных приложений; ● как правильно создать микросервисные, высокодоступные распределенные системы на базе Tarantool; ● как безболезненно интегрировать софт в ваш ИТ-проект; ● какие могут быть подводные камни при выборе Tarantool и как их избежать. Вебинар будет полезен разработчикам, DevOps-инженерам, архитекторам, аналитикам и администраторам. 📌 Участие бесплатное - вам осталось только зарегистрироваться!