Data Science. SQL hub

NocoDB — альтернатива AirTable с открытым исходным кодом Создавайте и управляйте базами данных с помощью простого, но мощного интерфейса С помощью инструмента вы сможете гибко определять схему данных, устанавливать связи между таблицами, выполнять сложные запросы и настраивать права доступа NocoDB подходит для различных типов данных, будь то реляционные, документоориентированные или графовые. Интеграция с различными типами баз данных обеспечивает максимальную гибкость и удобство. Стоимость: #бесплатно #базы_данных #web

🔥 Полезные бесплатные инструменты для работы с базами данных Инструменты ориентированы на разработку под Microsoft SQL Server. SQLCheck - мониторинг производительности сервера в реальном времени. SQL Server Maintenance Solution - набор хранимых процедур от MVP Ola Hallengren для обслуживания как пользовательских, так и служебных баз данных на стороне SQL Server. SQL Scripts Manager - бесплатный набор из 28 must–have скриптов от экспертов компании Redgate, который поможет автоматизировать общие задачи устранения неполадок, диагностики и обслуживания бд. Набор хранимых процедур от Brent Ozar Unlimited sp_Blitz — хранимые процедуры, для мониторинга состояния SQL Server–а и проблем производительности. sp_BlitzCache — хранимыя процедура, с кучей опций, которая показывает малоэффективные запросы, и многое другое. sp_BlitzIndex — это инструмент, который поможет вам проанализировать индексы: узнать есть ли у вас повторяющиеся индексы, или индексы, которые не используются, и многое другое. sp_BlitzRS – процедура для поиска потенциальных проблем и анализа производительности и запросов SQL Server Reporting Services. sp_BlitzTrace – хранимая процедура, которая позволит вам легко и быстро использовать SQL Server Extended Events. SqlBak - онлайн сервис от разработчиков популярного решения для бэкапа SQLBackupAndFTP. Инструмент позволяет создавать резервные копии MS SQL вручную или по расписанию (поддерживается полный и дифференциальный бэкап и сохранение журнала транзакций.) SQLFuse - это файловая система пользовательского режима, основанная на FUSE, которая отображает объекты сервера SQL на файловую систему: схемы, таблицы, представления, хранимые процедуры, функции, колонки, триггеры и др. tSQLt - бесплатный фреймворк с открытым исходным кодом для проведения T-SQL unit тестов. О том, как работать с данным инструментом очень подробно изложено в следующей статье: tSqlt — модульное тестирование в Sql Server BIDS Helper - плагин для Visual Studio c открытым исходным кодом. SQL Server Partition Management - данный инструмент позволяет работать с секционированными (партиционированными) таблицами. @sqlhub

🖥 Ограничение DEFAULT в SQL Ограничение DEFAULT используется для установки значений по умолчанию при попытке вставить пустое (NULL) значение в столбец. Например: CREATE TABLE Colleges ( college_id INT PRIMARY KEY, college_code VARCHAR(20), college_country VARCHAR(20) DEFAULT 'Japan' ); Здесь значением по умолчанию для столбца college_country является Japan. Если мы попытаемся сохранить значение NULL в столбце college_country, то значением станет Japan. Например: -- Вставляем значение 'Japan' в столбец college_country INSERT INTO Colleges (college_id, college_code) VALUES (1, 'ARP76'); -- Вставляем значение 'UAE' в столбец college_country INSERT INTO Colleges (college_id, college_code, college_country) VALUES (2, 'JWS89', 'UAE'); Ограничение DEFAULT с ALTER TABLE Мы также можем добавить ограничение DEFAULT к существующему столбцу с помощью оператора ALTER TABLE. Например: SQL Server ALTER TABLE Colleges ADD CONSTRAINT country_default DEFAULT 'Japan' FOR college_country; PostgreSQL ALTER TABLE Colleges ALTER COLUMN college_code SET DEFAULT 'Japan'; MySQL ALTER TABLE Colleges ALTER college_country SET DEFAULT 'Japan'; Oracle ALTER TABLE Colleges MODIFY college_country DEFAULT 'Japan'; Здесь значением по умолчанию для столбца college_country является Japan, если кто-то попытается вставить NULL. Удалить ограничение DEFAULT Мы можем удалить ограничение DEFAULT, используя оператор DROP. Например: SQL Server, PostgreSQL, Oracle ALTER TABLE Colleges ALTER COLUMN college_country DROP DEFAULT; MySQL ALTER TABLE Colleges ALTER college_country DROP DEFAULT; Здесь мы удаляем ограничение DEFAULT из столбца college_country. @sqlhub

С++ - в телеграм ! Хотите бесплатно и эффективно выучить C++ или прокачать свои навыки программирования? Специалисты OZON TECH собрали материалы и практические задания для эффективного погружения в язык. Придется немого попотеть, но полученные знания того стоят. Учиться бесплатно: @cpluspluc

SQLAlchemy Основные базовые операции: SELECT-запросы В этом посте мы обсудим сложные SELECT-запросы, используя как SQLite, так и SQLAlchemy с Python. Наслаждайтесь! ▪Читать @pro_python_code

🖥 LIMIT, TOP и FETCH FIRST в SQL Команда SELECT TOP используется для выбора фиксированного количества строк из базы данных. Например: SELECT TOP 2 * FROM Customers; Здесь мы выбираем первые 2 строки из таблицы Customers (картинка1). Еще один пример: SELECT TOP 2 first_name, last_name FROM Customers; Здесь мы выбираем поля first_name и last_name из первых 2 строк таблицы Customers. Примечание: Ключевое слово TOP поддерживается не во всех системах управления базами данных (СУБД). Различные СУБД используют разные ключевые слова для выбора фиксированного количества строк. Например: ➡️ ключевое слово TOP используется в SQL Server, MS Access; ➡️ ключевое слово LIMIT используется в MySQL, PostgreSQL, SQLite; ➡️ ключевое слово FETCH FIRST используется в Oracle. LIMIT в SQL Ключевое слово LIMIT используется для выбора фиксированного количества строк в MySQL, PostgreSQL и SQLite. Например: SELECT first_name, age FROM Customers LIMIT 2; Здесь мы выбираем первые 2 строки из таблицы Customers. LIMIT с OFFSET в SQL Ключевое слово OFFSET используется для указания места, откуда следует выбирать строки. Например: SELECT first_name, last_name FROM Customers LIMIT 2 OFFSET 3; Здесь мы выбираем две строки, начиная с четвертой строки. OFFSET 3 означает, что первые 3 строки исключены (картинка 2). FETCH FIRST в SQL Предложение FETCH FIRST <количество_строк> ROWS ONLY используется в СУБД Oracle для выбора фиксированного количества строк. Например: SELECT * FROM Customers FETCH FIRST 2 ROWS ONLY; Здесь мы выбираем первые 2 строки из таблицы Customers. @sqlhub

🖥 Аналитические функции при сохранении всех строк выборки Речь пойдет о так называемых analytic functions, которые оперируют над партициями данных (окна, windows), возвращая результат для каждой строки. В отличие от aggregate functions, “схлопывающих” строки, оконные функции оставляют все строки выборки. Окно определяется спецификацией (выражение OVER) и основывается на трех основных концепциях: ▪Разбиение строк на группы (выражение PARTITION BY) ▪Порядок сортировки строк в каждой группе (выражение ORDER BY) ▪Рамки, которые определяют ограничения по количеству строк относительно каждой строки (выражение ROWS) Таких функций существует немало, от аналитических: всем известные SUM, AVG, COUNT, менее известные LAG, LEAD, CUMEDIST, и до ранжирующих: RANK, ROWNUMBER, NTILE. Я же приведу несколько простых примеров часто встречающихся запросов: ▪Ко всем транзакциям пользователя вывести дату первой покупки ▪К каждой транзакции добавить дату предыдущей транзакции пользователя ▪Показать сумму покупок пользователя нарастающим итогом ▪Присвоить всем транзакциям пользователя / продавца / отделения порядковый номер SQL Fiddle: http://sqlfiddle.com/#!17/ee00f/13 Решения: select salesid ,dateid ,sellerid ,buyerid ,qty ,first_value(dateid) over (partition by buyerid order by dateid) as first_purchase_dt ,lag(dateid) over (partition by buyerid order by dateid) as previous_purchase_dt ,sum(qty) over (partition by buyerid order by dateid rows between unbounded preceding and current row) as moving_qty ,row_number() over (partition by buyerid order by dateid) as order_number from winsales ; Пишите свое решение в комментариях👇 @sqlhub

Познакомьтесь с востребованным направлением программирования — Java-разработкой. Освойте базовые инструменты на практике и выйдите на рынок IT. Сделайте первый шаг — участвуйте в онлайн-интенсиве Skillbox с 25 по 27 мая в 19:00 по московскому времени: 👉 https://goo.su/ixDcD После регистрации сразу отправим вам на почту гайд по профессии Java-разработчика: из него вы узнаете, сложно ли изучить Java, сколько зарабатывают специалисты и как начать карьеру в этой сфере. Интенсив ведёт Даниил Пилипенко — основатель и директор центра подбора IT-специалистов SymbioWay. С 2004 года разрабатывает и руководит разработкой на Java, PHP и во фронтенде. Он расскажет, как устроен язык Java, и научит писать простейший код, даже если вы никогда не программировали. Объяснит, как работать с файлами и переменными, а также где найти первых клиентов. 🎁 Всем, кто дойдёт до конца интенсива, подарим электронную книгу издательства МИФ «Разум под контролем» Роджера Сайпа и Робба Збиерски. Бонус для участников: если будете онлайн, то получите скидку на 10 000 рублей на любой курс. Сделайте первый шаг к перспективной IT-профессии!

🖥 Подстановочные знаки (wildcards) в SQL Подстановочный знак (wildcard) в SQL используется с оператором LIKE для замены одного или набора символов в строке. Например: SELECT * FROM Customers WHERE last_name LIKE 'R%'; Здесь % (означает ноль или более символов) является подстановочным знаком (wildcard). Мы выбираем клиентов, чья фамилия (last_name) начинается с буквы R, за которой следует ноль или более символов. ▪Читать дальше @sqlhub

Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны? Александр Ледовский, тимлид команды аналитики и DS в Авито, делится опытом использования Apache Spark для работы с поисковыми логами. Всё, что нужно знать аналитикам, дата-инженерам, специалистам по обработке больших данных и тимлидам команд, чтобы задавать параметры Spark-сессии и получать ресурсы. Переходите и читайте по ссылке. Реклама. ООО «Авито Тех». LdtCKLoXJ

🖥 Изучаем базы данных Большой сборник теоретического материала по работе с базами данных. ▪основы: http://phpclub.ru/mysql/doc/tutorial.html ▪отношения между таблицами в БД: http://jtest.ru/bazyi-dannyix/sql-dlya-nachinayushhix-chast-3.html ▪внешние ключи: http://denis.in.ua/foreign-keys-in-mysql.htm ▪большой учебник по SQL: http://www.pyramidin.narod.ru/rusql/index.htm ▪сборник запросов на все случаи жизни (англ): http://www.artfulsoftware.com/infotree/queries.php ▪таблицы отличий в диалектах SQL в разных СУБД (англ): http://en.wikibooks.org/wiki/SQL_dialects_reference ▪манга-учебник про SQL в картинках: http://www.nostarch.com/mg_databases.htm @sqlhub

🖥 Задача: Выбрать самую актуальную запись с учетом статуса (успешная / отмененная транзакция) и временной метки Задачу часто спрашивают на собеседованиях в формулировке “как удалить дубли / копии строк”, и решить ее можно несколькими способами. Я привык мыслить в терминах историзации данных в Хранилище, и удаление мне ни к чему, поэтому для решения задачи я воспользуюсь ранжирующей функцией ROWNUMBER(). SQL Fiddle (Oracle 11g R2): http://sqlfiddle.com/#!4/ad305/1 with decoded as ( select "transaction_id" ,"is_successful" ,"ts" ,decode("is_successful", 'true', 0, 'false', 1, 2) as "order_is_successful" from transactions ), ordered as ( select "transaction_id" ,"is_successful" ,"ts" ,row_number() over(partition by "transaction_id" order by "order_is_successful" asc, "ts" desc) as rn from decoded ) select "transaction_id" ,"is_successful" ,"ts" from ordered where rn = 1 ; Результат Пишите свое решение в комментариях👇 @sqlhub

Бесплатный вебинар: “Разделяй и монетизируй: как построить отказоустойчивую архитектуру микросервисов с помощью Tarantool” 24 мая в 11:00 (МСК) не пропустите совместный вебинар VK Tech и компании “Иннодата”, на котором эксперты расскажут про особенности и возможности Tarantool для конкретных ИТ-проектов, а также поделятся конкретными кейсами успешного применения софта. Вы узнаете: ● про архитектуру Tarantool для высокопроизводительных приложений; ● как правильно создать микросервисные, высокодоступные распределенные системы на базе Tarantool; ● как безболезненно интегрировать софт в ваш ИТ-проект; ● какие могут быть подводные камни при выборе Tarantool и как их избежать. Вебинар будет полезен разработчикам, DevOps-инженерам, архитекторам, аналитикам и администраторам. Участие бесплатное - вам осталось только зарегистрироваться!

Бесплатный вебинар: “Разделяй и монетизируй: как построить отказоустойчивую архитектуру микросервисов с помощью Tarantool” 24 мая в 11:00 (МСК) не пропустите совместный вебинар VK Tech и компании “Иннодата”, на котором эксперты расскажут про особенности и возможности Tarantool для конкретных ИТ-проектов, а также поделятся конкретными кейсами успешного применения софта. Вы узнаете: ● про архитектуру Tarantool для высокопроизводительных приложений; ● как правильно создать микросервисные, высокодоступные распределенные системы на базе Tarantool; ● как безболезненно интегрировать софт в ваш ИТ-проект; ● какие могут быть подводные камни при выборе Tarantool и как их избежать. Вебинар будет полезен разработчикам, DevOps-инженерам, архитекторам, аналитикам и администраторам. 📌 Участие бесплатное - вам осталось только зарегистрироваться!

🖥 Большая шпарглака по psql Полезные советы с примерами. ▪Шпаргалка @sqlhub

🖥 Как проектировать запросы на изменение данных sql При проектировании запросов на изменение данных в SQL необходимо следовать нескольким рекомендациям: Сделайте резервную копию данных перед выполнением запроса на изменение данных. Это поможет избежать потери данных в случае ошибки. Определите, какие таблицы и столбцы вы собираетесь изменять, и какие условия будут определять строки, которые вы хотите изменить. Используйте ключевое слово UPDATE для обновления данных в таблице. Используйте оператор SET для задания новых значений столбцов в таблице. Например: UPDATE orders SET order_status = 'Completed' WHERE order_id = 12345; Здесь мы обновляем столбец order_status таблицы orders, устанавливая значение Completed для заказа с order_id равным 12345. Обратите внимание на условие WHERE, которое определяет, какие строки будут изменены. Если условие не указано, запрос обновит все строки в таблице. Если вы хотите изменить несколько столбцов в таблице, используйте оператор SET для каждого столбца, например: UPDATE orders SET order_status = 'Completed', order_total = 100.00 WHERE order_id = 12345; Здесь мы обновляем значения столбцов order_status и order_total таблицы orders для заказа с order_id равным 12345. После выполнения запроса на изменение данных убедитесь, что данные были изменены корректно, проверив их с помощью запроса на выборку данных SELECT. @sqlhub

🖥 Как полностью очистить таблицу sql Полностью очистить таблицу, не удаляя её можно с помощью запроса DELETE. Мы указываем имя таблицы, но опускаем блок WHERE. Тогда удаляются абсолютно все записи, вне зависимости от условий. DELETE FROM wiped_table_name; -- Мы очистили таблицу wiped_table_name Кроме DELETE без условий можно использовать TRUNCATE. У неё есть свои особенности. Самая главная, она быстрее DELETE, так как не сканирует таблицы перед очисткой и наиболее полезна для очистки больших таблиц. TRUNCATE cars, cups, parrots; -- Тут можно перечислять сколько угодно таблиц Крайне рекомендую глянуть документацию по TRUNCATE, она очень подробная: https://postgrespro.ru/docs/postgrespro/9.5/sql-truncate @sqlhub

Хотите узнать больше о профессии SQL-разработчика и аналитика данных? Тогда регистрируйтесь на бесплатный онлайн-интенсив Skillbox, который пройдёт с 18 по 20 мая в 19:00 по московскому времени. Запись и подробная информация: 👉 https://goo.su/TUO4 ● Научитесь работать с базами данных — получите навык, необходимый каждому программисту и аналитику данных. ● Прокачаете знания SQL. ● Научитесь использовать сложные конструкции SQL. ● Поймёте, как оптимизировать рутинные задачи при помощи SQL-запросов и получить повышение. Разобраться в теме поможет профи — специалист по анализу данных, сертифицированный SQL-разработчик от Microsoft Мкртич Пудеян. 8 лет работал специалистом по хранилищам данных в Tele2. 🎁 Сразу после регистрации пришлём вам чек-лист базовых навыков по SQL, которые требуют на собеседованиях. В конце интенсива подарим каждому участнику электронную книгу издательства МИФ. Участвуйте, задавайте вопросы и получите сертификат на скидку 10 000 рублей на любой курс Skillbox. Присоединяйтесь!