SQL и БД Learning - آمار و تحلیل کانال تلگرام @sql

9 718

Уроки по T-SQL Предлагаем вашему просмотру подробные 7 уроков. В базу уроков входят основные понятия, работа с временными таблицами, разбор выборки данных и многое другое 📘Видео урок

9 718

Приемы очистки данных в SQL 1. Выявление и удаление дублирующих записей SELECT DISTINCT column1, column2, ... FROM table_name; В качестве альтернативы можно использовать GROUP BY, чтобы сгруппировать похожие записи вместе, а затем удалить количество записей в каждой группе.

SELECT column_name, COUNT(*) 
FROM table_name 
GROUP BY column_name 
HAVING COUNT(*) > 1;

2. Стандартизация текстовых полей

UPDATE table_name 
SET column_name = UPPER(column_name);

Вы также можете использовать функцию REPLACE для замены определенных символов или строк в текстовых полях. Например:

UPDATE table_name 
SET column_name = REPLACE(column_name, 'OldString', 'NewString');

3. Обработка отсутствующих или нулевых значений

SELECT column1, column2, ...
FROM table_name
WHERE column_name IS NULL;

Затем вы можете удалить эти записи или заменить отсутствующие значения значением по умолчанию. Например:

UPDATE table_name 
SET column_name = 'DefaultValue' 
WHERE column_name IS NULL;

4. Удаление кривых символов

UPDATE table_name 
SET column_name = REPLACE(column_name, 'InvalidChar', '');

UPDATE table_name 
SET column_name = REGEXP_REPLACE(column_name, '[^a-zA-Z0–9 ]', '');

5. Обработка выбросов Чтобы определить и удалить выбросов, мы можем использовать функции AVG и STDDEV для расчета среднего и стандартного отклонения столбца.

SELECT AVG(column_name), STDDEV(column_name)
FROM table_name;

6. Корректировка форматов дат Функция STR_TO_DATE может преобразовать строку в формат даты. Синтаксис функции следующий:

SELECT STR_TO_DATE(date_string, format_string)
FROM table_name;

7. Очистка текстовых данных Функция REPLACE может заменить подстроку в строке. Функция TRIM позволяет удалить из строки ведущие и последующие пробелы. Синтаксис выглядит следующим образом:

SELECT UPPER(column_name)
FROM table_name;

SELECT REPLACE(column_name, 'old_string', 'new_string')
FROM table_name;
SELECT TRIM(column_name)
FROM table_name;

8. Проверка типов данных Важно убедиться, что ваши данные имеют правильный тип данных. Для проверки и преобразования типов данных можно использовать функции CAST или CONVERT. Например:

SELECT CAST(column_name AS INT) 
FROM table_name;

SELECT CONVERT(column_name, DATE) 
FROM table_name;

9 718

❓Зачем аналитику изучать Python и с чего начать? Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе для анализа данных. Ждем вас на открытом практическом уроке «Основы Python» от OTUS, где вы вместе с опытным экспертом: - рассмотрите синтаксис Python; - разберете его основы; - узнаете про инструменты анализа данных, с которыми работают аналитики. Встречаемся 20 июня в 20:00 мск в преддверии старта курса «Python для аналитики». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/mHQW/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

9 718

❓Зачем аналитику изучать Python и с чего начать? Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе для анализа данных. Ждем вас на открытом практическом уроке «Основы Python» от OTUS, где вы вместе с опытным экспертом: - рассмотрите синтаксис Python; - разберете его основы; - узнаете про инструменты анализа данных, с которыми работают аналитики. Встречаемся 20 июня в 20:00 мск в преддверии старта курса «Python для аналитики». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/mHQW/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

9 718

💻PostgreSQL: исполнение запроса из Bash-скрипта ⏩Для выполнения запроса в PostgreSQL от имени пользователя 'postgres' используйте команду:

sudo -u postgres psql -d dbname -c "SELECT * FROM table;"

Здесь dbname — это название вашей БД, table – имя таблицы. Разумеется, используем права суперпользователя sudo для переключения пользователя на postgres, psql является инструментом командной строки PostgreSQL, а ключ -c нужен для выполнения конкретного запроса. ⏩Для более аккуратного форматирования вывода можно использовать ключ -t, который выводит данные построчно, и -X для того, чтобы .psqlrc не обрабатывался командой psql. ⏩Подобное выполнение SQL-запросов прямо из оболочки может быть особенно актуальным, если вы настраиваете какую-нибудь систему по ssh. Пишите, кстати, если сталкивались с такими кейсами

9 718

😎На Си можно всё! 👉Узнайте больше о возможностях языка на бесплатном вебинаре онлайн-курса «Программист С» — «Написание расширения PostgreSQL на языке С»: регистрация На бесплатном вебинаре мы: - познакомимся с возможностью написания функций на языке С для работы с данными - создадим и подключим собственное расширение для СУБД PostgreSQL, написанное на языке С - рассмотрим плюсы и минусы создания таких расширений 🤝Понравится вебинар — продолжите обучение на курсе по специальной цене и даже в рассрочку! erid: LjN8K5RoZ

9 718

🔎 Поиск последних изменений в таблице в Oracle Database с помощью запроса SELECT ... FROM ... VERSIONS BETWEEN TIMESTAMP <start_dt> AND <end_dt> Возвращаются изменения в диапазоне дат.

9 718

Руководство для начинающих по MySQL MySQL — одна из наиболее используемых СУБД, т.к. она поддерживается почти всеми ОС и распространяется как свободное программное обеспечение. Поэтому, MySQL популярна среди разработчиков сайтов и веб-приложений. Однако без хорошего гайда достаточно трудно разобраться в этапах создания баз данных. В этом руководстве подробно описывается, как установить MySQL, создать БД и таблицы, а также сделать первые запросы: https://wiki.gentoo.org/wiki/MySQL/Startup_Guide/ru

9 718

SELECT fname, lname, state FROM authors WHERE state NOT IN ('NY', 'NJ', 'CA') Какой запрос из списка эквивалентен запросу из задачи?

Anonymous voting

9 718

👱🏻‍♀️Как легко знакомиться с реально классными девушками? Знакомиться на улицах сейчас — это как звонить другу на домашний телефон. В теории работает, но на практике уже неадекватно. Какова вероятность, что достойная девушка для отношений попадется тебе в метро? Вроде, достойные девушки и существуют, но как будто где-то в параллельной реальности с тобой, лишь изредка пересекаясь. Лови простой лайфхак: Ты боишься знакомства не потому, что не можешь сказать «привет». А потому, что понятия не имеешь что делать в следующие 5-10 минут и будешь просто щелкать еб@лом. А у тебя тут всего две простых задачи: — Продемонстрировать свою ценность — Выстроить нужный контекст общения Заметь в ней что-то уникальное и свяжи это с историей из своей жизни. Например: — Привет, я случайно увидел тебя и обратил внимание на твои очки. Тебе идут, я тоже раньше носил такие, чтобы казаться старше, когда только начинал преподавать… Звучит сложно. Однако на канале Творчество Чувств опытный психолог раскладывает это по полочкам. Один из его недавних кейсов — программист из Гугла, который вышел из 5-летней депрессии и нашел ту самую. 💘 Прекрати застой на личном фронте: https://t.me/+gaMCJdAXvOpmNWYy

9 718

📢 Как заменить null на 0 в SQL Чтобы заменить значение NULL на 0 в SQL, можно использовать функцию COALESCE. Эта функция принимает несколько аргументов и возвращает первый не NULL аргумент. Если все аргументы NULL, функция вернет NULL. Вот пример использования COALESCE для замены значений NULL на 0: SELECT COALESCE(column_name, 0) FROM table_name;

В этом запросе column_name - имя столбца, значения которого нужно заменить, а table_name - имя таблицы, в которой находится столбец. Функция COALESCE заменит все значения NULL в столбце на 0. Если значение столбца не NULL, то функция вернет его без изменений. Также можно использовать оператор IS NULL для проверки на NULL и замены его на 0. Вот пример: SELECT CASE WHEN column_name IS NULL THEN 0 ELSE column_name END FROM table_name;

Этот запрос также заменит значения NULL на 0. Если значение столбца не NULL, то запрос вернет его без изменений.

9 718

PostgreSQL + pgAdmin + mTLS + certificate-based authentication + docker-compose в одном флаконе Читать статью

9 718

PostgreSQL + pgAdmin + mTLS + certificate-based authentication + docker-compose в одном флаконе Читать статью

9 718

⭐️ Хакатон ARCHI.Tech от ВТБ – уникальный шанс сделать проект в роли ИТ-архитектора. Приглашаем начинающих и опытных ИТ-специалистов – студентов и выпускников технических вузов, разработчиков, архитекторов, аналитиков. 🔹 Выбирайте задачу любого уровня — простую, среднюю или сложную 🔹 Собирайте архитектурные артефакты, спрятанные в заданиях, и зарабатывайте баллы 🔹 Презентуйте свои решения экспертам ВТБ 🔹 Не упустите возможность решить «разминочную» задачу и получить дополнительные баллы 🔹 Заработанные баллы, найденные артефакты и коэффициент сложности задачи помогут определить победителей 🔹 Три категории: «Архитектор стрима», «Архитектор системы» и «Архитектор данных»… 🔹… и три призовых места в каждой 🔹 Лучшие из лучших разделят призовой фонд в 1 200 000 рублей! Начало предварительного этапа – 14 июня. Соревнование стартует 28 июня – у участников будет 24 часа на решение задачи. 👉 Продемонстрируй свои знания об архитектуре – участвуй в ARCHI.Tech от ВТБ: https://cnrlink.com/architechvtbsqldblearn Реклама. БАНК ВТБ (ПАО). ИНН 7702070139. erid: LjN8KUW6W

9 718

С помощью какой конструкции можно проанализировать использование индекса?

Anonymous voting

9 718

SQL-запросы, которые вы рано или поздно погуглите Отвечу на вопросы, которые возникают у новичков в SQL, в частности в PostgreSQL и BigQuery. Мы не будем обсуждать совсем базовые SELECT, CREATE или DROP. Для удобства восприятия будем использовать тестовые данные. Первая таблица players содержит данные о пользователях и дате установки мобильной игры:

|playerId|name            |installationDate|game      |os        |
|--------|----------------|----------------|----------|----------|
|9e8a0174|Трофимова Алёна |2023-07-30      |basketball|iOS 16    |
|3e2e04ad|Семенова Алиса  |2022-07-21      |consumer  |iOS 13    |
|642eafb2|Абрамова Диана  |2022-06-06      |curtain   |iOS 15    |
|8c231f49|Ефимова Ульяна  |2022-06-21      |conductor |Android 12|
|a085caf1|Захаров Михаил  |2023-04-11      |appear    |Android 11|
|c4deb869|Николаева Марта |2022-03-31      |possible  |iOS 11    |

вторая, levels, — даты прохождения игроком с определенным ID того или иного уровня:

|playerId|level|completionDate|
|--------|-----|--------------|
|7b50274d|6    |2023-05-17    |
|b0c9a9da|20   |2022-02-19    |
|09b3d5b5|15   |2022-07-22    |
|52b3bfa9|11   |2022-02-18    |
|3e2e04ad|17   |2022-08-17    |
|642eafb2|17   |2022-04-14    |
|8c231f49|20   |2022-05-30    |
|a085caf1|20   |2023-02-24    |
|36545ec1|16   |2022-08-10    |
|44e9653f|3    |2023-06-02    |

Я буду верстать в BigQuery на таком же датасете, так что использую соответствующий диалект. INNER JOIN Это тип объединения по умолчанию, и он оставит наименьшее число строк. Слово INNER можно опустить:

SELECT 
  p.playerId,
  installationDate,
  game,
  level,
  completionDate
FROM `project.tutorials.players` AS p 
JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId;

Посмотрим, что здесь происходит: • В строках 1-6 мы выбираем только необходимые столбцы; • 7-8: командой AS задаем псевдонимы таблицам; • 8: определяем логику объединения по совпадающим playerId. Это означает также, что мы сохраним данные только об первом попавшемся уровне. Получим всего четыре строки:

|playerId|name          |installationDate|game     |level|completionDate|
|--------|--------------|----------------|---------|-----|--------------|
|3e2e04ad|Семенова Алиса|2022-07-21      |consumer |17   |2022-08-17    |
|642eafb2|Абрамова Диана|2022-06-06      |curtain  |17   |2022-04-14    |
|8c231f49|Ефимова Ульяна|2022-06-21      |conductor|20   |2022-05-30    |
|a085caf1|Захаров Михаил|2023-04-11      |appear   |20   |2023-02-24    |

OUTER JOIN Этот тип объединения, напротив, куда «добрее» и в случае FULL-объединения сохранит записи обо всех игроках и всех пройденных уровнях:

SELECT 
  p.playerId,
  installationDate,
  game,
  level,
  completionDate
FROM `project.tutorials.players` AS p 
FULL OUTER JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId;

У нас появятся записи, где playerId пуст, поскольку попросили мы идентификаторы только из первой таблицы: Читать

9 718

🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Рассмотрите — авторский курс про архитектуру и интеграции с практикой. ————— По результатам курса вы: ▫️научитесь выбирать стиль интеграции под вашу задачу; ▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений); ▫️поймете, как правильно собирать требования и моделировать в UML; ▫️подготовитесь к собеседованию, решив более 100 тестов; ▫️разработаете свой API на Python; ————— 🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡 • Всю программу и отзывы смотрите в боте курса. • Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы. • Результат после прохождения курса: 15 рабочих проектов в портфолио. • Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества) 🔹🔹 С чего начать?🔹🔹 С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите. 👇 @studyit_help_bot Скидка на курс от канала — 1 000₽ по промокоду SQLAND до 30 июня.

9 718

Как устроена виртуальная машина SQLite SQL – концептуально странный язык. Вы пишете ваше приложение на одном языке, скажем, на JavaScript, а затем направляете базе данных команды, написанные на совершенно другом языке – SQL. После этого база данных компилирует и оптимизирует эту команду на SQL, выполняет её и возвращает вам данные. Такой метод кажется ужасно неэффективным, но, всё-таки, ваше приложение может проделывать сотни таких операций в секунду. Просто безумие! Смотреть статью

9 718

Как в sql посчитать количество повторяющихся значений Можно попробовать использовать функцию COUNT() в сочетании с оператором GROUP BY. Предположим, у нас есть таблица "orders" с колонками "customer_name" и "order_date", и мы хотим посчитать, сколько заказов было сделано каждым клиентом. Мы можем написать следующий SQL-запрос:

SELECT customer_name, COUNT(*) as order_count
FROM orders
GROUP BY customer_name

Этот запрос выберет все уникальные значения из колонки "customer_name" в таблице "orders" и подсчитает количество строк, связанных с каждым уникальным значением. Результатом запроса будет таблица со столбцами "customer_name" и "order_count", в которой каждая строка будет показывать клиента и количество его заказов.

9 718

Как в sql посчитать количество повторяющихся значений Можно попробовать использовать функцию COUNT() в сочетании с оператором GROUP BY. Предположим, у нас есть таблица "orders" с колонками "customer_name" и "order_date", и мы хотим посчитать, сколько заказов было сделано каждым клиентом. Мы можем написать следующий SQL-запрос:

SELECT customer_name, COUNT(*) as order_count
FROM orders
GROUP BY customer_name

Этот запрос выберет все уникальные значения из колонки "customer_name" в таблице "orders" и подсчитает количество строк, связанных с каждым уникальным значением. Результатом запроса будет таблица со столбцами "customer_name" и "order_count", в которой каждая строка будет показывать клиента и количество его заказов.