Data Science. SQL hub

🖥 Третий анализ по количеству продаж Дана cлудующая структура таблиц. Задание Вывести третий анализ по количеству продаж за весь период. Столбцы в результате ▪an_id - ID анализа ▪an_name - название анализа ▪cnt - количество продаж ▪rn - ранг анализа в зависимости от продаж Важно: Обратите внимание, что название столбцов в вашем ответе должно в точности совпадать с условием. Пишите свое решение в комментариях👇 @sqlhub

У Нетологии появился тренажёр по программированию. Теперь часть практических задач можно выполнять, не выходя из личного кабинета. Тренажёр подсказывает, где студент совершил ошибку, а если ему понадобилась помощь — выдаёт подсказки и помогает связаться с преподавателем. Подобные инструменты образовательной среды очень важны для обучения, потому что помогают студенту быстрее изучать материал, при этом преподаватель всегда на связи и готов дать развёрнутую обратную связь. Внутри тренажёра можно даже подключаться к базам данных и загружать несколько файлов сразу — система позволяет полностью проверить готовый код на работоспособность. Например, если вы хотите использовать Python для работы с данными. Попробовать новый формат обучения студенты могут на курсах Нетологии по программированию → https://netolo.gy/be3x, а на курсе «Python для анализа данных» тренажер позволяет решать задачи как по Python, так и по SQL →https://netolo.gy/be3r Наглядно увидеть, как работает тренажёр, вы можете в прикреплённом видео. Реклама. ООО «Нетология»

🖥 Автоматизация выполнения запросов в SQL с помощью Python Основная идея работы скрипта – генерация запросов с учетом различных параметров и последовательное их выполнение для вставки данных в существующую таблицу или выгрузка данных в файл. Сама программа состоит из 3 частей: 1) Соединение c базой данных. 2)Определение варьируемых параметров. 3)Выполнение запросов к базе (структура построения запросов позволяет выполнять запросы последовательно или параллельно, что позволяет управлять скоростью загрузки/выгрузки данных с сервера). Соединение с БД определяется фабрикой, в которой содержатся параметры соединения с определенным сервером и определены ссылки на классы для работы с БД. db = DatabaseFactory().build('*наименование сервера*') Сами объекты для работы с БД содержат 3 метода: ▪collect– запускает запрос с помощью метода read_sql библиотеки pandas и возвращает DataFrame, содержащий результат выполненного запроса; ▪execute– запускает запросы типа CREATE, UPDATE, DELETE\TRUNCATE\DROP; ▪execute_many – используется в основном для загрузки данных внутрь БД. Сама загрузка производится с помощью BULK вставки. db.collect('select top 100 * from table') db.execute('insert into table select * from another_table') db. execute_many ('insert into from table (id, name, age) values (?,?,?)', [1,’Jhon’, 25]) Далее пользователь может задать параметры запроса с помощью метода add_var класса SqlContext. Данный метод принимает 4 параметра: наименование колонки, значения данной переменной, условие (=, <=, >=, between и т.п.) и разделитель (под разделителем понимаются команды AND и OR). context = SqlContext() context.add_var('col_name’, [1,2,3,4,5], separator='AND', condition='=') context.add_var('col_name_1’, [[‘a’,’b’,’v’], [‘a1’,’b2’,’v3’],] , separator='AND', condition='in') В случае определения нескольких параметров одновременно, в запросе они будут варьироваться по следующему правилу: сначала варьируются те параметры, которые были заданы в последнюю очередь. Если все вариации последнего параметра будут пройдены, то берутся следующее значения параметра выше и вновь перебираются все вариации последнего параметра. Так продолжается до тех пор, пока не переберутся все возможные комбинации заданных параметров. После того, как мы определили варьируемые параметры необходимо задать сам sql запрос. Для этого создаем объект SqlBuilder и вызываем метод custom_sql внутрь которого помещаем сам запрос: builder = SqlBuilder() builder.custom_sql(''' INSERT INTO insertable_table SELECT * FROM table WHERE 1=1 AND col1 in (1, 2,10,98,34) AND col2 = 9 AND col3 between ‘20200101’ and ‘20200201’ ''') или можно воспользоваться встроенными в объект методами для генерации sql (select, insert_into, create_table и т.д.): builder = SqlBuilder() builder.select([‘col1’, ‘col2’, ‘col3’]).from(‘table’) Для запуска скрипта необходимо создать объект класса SqlGenerator, объекты SqlBuilder и SqlContext и с помощью цикла запустить обработку запроса (в качестве примера был взят вариант последовательного исполнения запроса): generator = SqlGenerator(builder, context) for sql in tqdm(generator.generate()): t = time.time() db.execute(sql) print('Итоговое время работы запроса: ' + str(time.time()-t)) В итоге данный скрипт позволяет значительно сократить трудозатраты и время на выполнение рутинных запросов, чем я неоднократно пользовался в своей работе. Весь исходный код опубликован на github. @sqlhub

Как научиться работать с базами данных и облегчить работу в 2023 году? Запишитесь на бесплатный интенсив Skillbox, который пройдёт с 27 февраля по 1 марта в 19:00 по московскому времени. Всего за 3 вечера вы узнаете, как хранятся данные в сети, познакомитесь с языком SQL и напишете набор запросов к базе данных. Подробности: 👉https://clc.to/CSTFSw Что будет: ● 3 дня вебинаров по 1,5 часа для полного погружения в тему; ● реальные задачи, которые помогут закрепить знания и понять, в каком направлении двигаться дальше; ● общение с другими участниками и ведущим интенсива в закрытом чате в Telegram; ● самостоятельное создание проекта, который высоко оценят потенциальные работодатели. Спикер интенсива — специалист по анализу данных, сертифицированный SQL-разработчик от Microsoft Мкртич Пудеян. 👉 Сегодня более 17 000 компаний ищут специалистов со знанием SQL. 🎁 Всем зарегистрировавшимся пришлём на почту чек-лист базовых навыков по SQL, которые требуют на собеседованиях. Подключайтесь к прямым эфирам и используйте возможность получить сертификат на скидку 10 000 рублей на любой курс Skillbox. А в конце интенсива подарим участникам электронную книгу издательства МИФ.

🖥 Сделать из «длинной» таблицы «широкую» Дано Даны две таблицы LongTable и WideTable: LongTable: +---------+--------+-----------------------+ | Name | key | value | +---------+--------+-----------------------+ | Ivanov | FIO | Иванов Иван Иванович | +---------+--------+-----------------------+ | Ivanov | Phone | +(7) 111-1111111 | +---------+--------+-----------------------+ | Ivanov | Email | ivanov@ivanov.com | +---------+--------+-----------------------+ | Petrov | FIO | Петров Петр Петрович | +---------+--------+-----------------------+ | Petrov | Phone | +(7) 222-2222222 | +---------+--------+-----------------------+ | Petrov | Email | petrov@petrov.com | +---------+--------+-----------------------+ WideTable: +---------+----------------------+------------------+-------------------+ | Name | FIO | Phone | Email | +---------+----------------------+------------------+-------------------+ | Ivanov | Иванов Иван Иванович | +(7) 111-1111111 | ivanov@ivanov.com | +---------+----------------------+------------------+-------------------+ | Petrov | Петров Петр Петрович | +(7) 222-2222222 | petrov@petrov.com | +---------+----------------------+------------------+-------------------+ Задание Как из таблицы LongTable получить WideTable? Примечание. Предполагается чтение таблицы один раз и отсутствие соединений. Столбцы в результате Name fio phone email Важно: Обратите внимание, что название столбцов в вашем ответе должно в точности совпадать с условием. Сортировка Результат отсортируйте по возрастанию поля Name. Пишите свое решение в комментариях👇 @sqlhub

CTE. Обобщенное табличное выражение SQL и способы его использования CTE, или Common Table Expressions — один из видов запросов в системах управления базами данных. На русском языке они называются обобщенными табличными выражениями. Результаты табличных выражений можно временно сохранять в памяти и обращаться к ним повторно. Аналог CTE — временные таблицы, которые создаются только в рамках выполнения какой-либо операции и удаляются, как только становятся не нужны. Это позволяет упростить обращение к базе, сделать его быстрее и понятнее для разработчика. С помощью CTE код становится короче и яснее. Но табличные выражения отличаются от временных таблиц — мы рассмотрим различия ниже. ▪ Читать @sqlhub

Ежегодная серия соревнований по машинному обучению Data Fusion Contest 2023 открыта! Вас ждут две задачи в уникальном турнирном соревновании от команд ВТБ и ODS.AI: 🗡 В задаче Атака участники будут создавать атаки на нейросеть, обученную на транзакционных данных. 🛡 В задаче Защита — наоборот, учиться защищать свои модели от заранее оговоренного вида атак. 🏆 Призеров определит турнир — лучшие команды обеих задач столкнутся друг с другом за призовой фонд в 2,000,000 рублей! 💪 Участников также ждет много мерча, онлайн митапы с воркшопами, и возможность фундаментально прокачаться в новых DS/ML методах. Подробности и регистрация — на сайте.

За какого специалиста компании готовы переплачивать? Того, который понимает бизнес, выдаëт прибыльные гипотезы и продуктовые рекомендации, меняет отношение коллег к данным. Как научиться этому бесплатно? Павел в своем канале пишет о карьерном росте при работе с данными и развитии аналитической культуры в компаниях. Благодаря автору, вы узнаете: - как получать офферы выше среднего по рынку - как специалисту расти и развивать за собой компанию - как проходить 8 из 10 собеседований и попасть в компанию мечты Еще 6 лет назад Павел начинал с онлайн курсов, а сегодня руководит командой из 8 аналитиков и инженеров данных. А также менторит компании и профессионалов из Сбера, X5, Lamoda и других крупных брендов. Ссылка для тех, кто хочет быстрее расти по карьере: https://t.me/nodatanogrowth

В современном мире тратить 5 лет на освоение профессии — роскошь. Хорошо, что сейчас есть программы, которые позволяют сделать это быстро. А некоторые из них — попробовать себя в новой роли бесплатно. Предлагаем поучаствовать в интенсиве Skillbox «3 дня в роли бизнес-аналитика: основы профессии и первый кейс». Он пройдёт онлайн с 13 по 15 февраля в 19:00 по московскому времени. Всего за 3 вечера вы: ✅ Познакомитесь с профессией и поймёте, подходит ли она вам. ✅ Изучите инструменты аналитика. ✅ Научитесь ориентироваться на рынке бизнес-анализа. ✅ Попрактикуетесь на реальных задачах — соберёте данные о деятельности структурного подразделения. И да — всё это бесплатно. Ведущий интенсива — Антон Антипин, основатель и генеральный директор компании Business Set, сертифицированный эксперт в области моделирования бизнес-процессов, который 21 год работает в бизнес-аналитике. 🎁 Подарки участникам: электронная книга Адель Линн «Сила эмоционального интеллекта» издательства МИФ и сертификат на скидку 10 000 рублей на любой курс Skillbox — каждому, кто будет онлайн! Регистрируйтесь: https://clc.to/OuHHUw