SQL задачи

Задачка по нашей базе данных, которая находится в шапке канала. Код генерации базы данных и INSERT данных по ссылке ТУТ. ВОПРОС: Что произойдет, если попытаться удалить категорию, у которой есть продукты в таблице product? Ответ под спойлером, но если хотите сперва проверить свою догадку, следующим постом опубликуем тест с вариантами ответов. Правильный ответ 👇 Ошибка из-за внешнего ключа. Если вам понравился вопрос - зашарьте его друзьям 👉 SQLQuestions

⁉️ Spark-запросы тормозят? Пора разобраться, как сделать их в разы быстрее На открытом вебинаре мы разберём проверенные техники оптимизации, которые используют ведущие дата-инженеры. Покажем, как находить узкие места, ускорять join-операции и выжимать максимум из ресурсов кластера. Вы получите конкретные приёмы — от оптимального партиционирования данных и управления кэшированием до выбора лучших форматов хранения. Всё на реальных примерах. ➡️ Присоединяйтесь 17 сентября в 20:00 МСК. Урок проходит в преддверии старта курса «Spark Developer», все участники получат скидку на обучение. Регистрация открыта: https://vk.cc/cPwOvy Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

⁉️ Что нового в Spark 4.0? Apache Spark продолжает развиваться и в версии 4.0 готовит для нас несколько важнейших обновлений. Хотите узнать, как эти изменения улучшат обработку данных и повлияют на вашу работу? Присоединяйтесь к открытом вебинару 9 сентября в 20:00! — Обзор Spark 4.0: главные нововведения и улучшения. — Производительность и оптимизации: что ускорилось и как этим пользоваться? — Новые API и функции: возможности для разработчиков и аналитиков. — Интеграция с Kubernetes, облачными платформами и Data Science инструментами. — Практические кейсы: как применять нововведения в реальных задачах. 👨‍💻🛠👨🏻‍💻 Если вы дата-инженер, аналитик, разработчик или DevOps-специалист, этот вебинар точно для вас. ➡️Присоединяйтесь и получите скидку на курс «Spark Developer»: https://vk.cc/cPk7lh Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Не пропустите! 08 сентября в 20:00 пройдет бесплатный урок “SQL объединяет: как подружить таблицы между собой” от онлайн-курса “SQL для разработчиков и аналитиков”. Запись: https://vk.cc/cPfkxt На этом занятии вы познакомитесь с тем, как SQL помогает связывать между собой разрозненные таблицы и превращать хаотичные данные в целостную картину. Мы разберём, как извлекать нужную информацию, объединять её из разных таблиц и сравнивать данные между ними — просто, понятно и на практике. Что будет рассмотрено на открытом уроке: - Как соединять таблицы с помощью JOIN и понимать разницу между JOIN и UNION. - Как находить данные, которые есть в одной таблице, но отсутствуют в другой. - Приёмы, которые помогут избегать дубликатов, учитывать пропущенные значения и не терять важные записи при объединении. Какие результаты на выходе: - Вы будете уверенно использовать различные типы объединений и фильтраций между таблицами. - Поймёте, как сравнивать и синхронизировать данные между таблицами. - Научитесь видеть структуру и логику в казалось бы сложных выборках из нескольких таблиц. - Сможете применять полученные знания для построения отчётов, анализа и проверки корректности данных. Записывайтесь на урок и получите спец предложение: https://vk.cc/cPfkxt Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

💡Big Data — это не только модный термин, а фундамент современной аналитики и AI. Apache Spark — инструмент, который используют крупнейшие компании по всему миру. Хотите понять, как он работает, и применить его в своей практике? 28 августа в 18:00 мы проведем открытый вебинар «Практическое введение в Apache Spark». За 1,5 часа вы узнаете, зачем нужен Spark, как разворачивать тестовую среду в Docker, работать с DataFrame API и Spark SQL, оптимизировать запросы и избегать типичных ошибок. Вместе разберем реальный кейс на небольшом датасете и вы увидите, что обработка больших данных может быть быстрой и удобной. ➡️ Открытый урок проходит в преддверии старта курса «Spark Developer», все участники получат скидку на обучение. Регистрируйтесь прямо сейчас: https://vk.cc/cOOzr2 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

SQL — это не просто язык запросов, а ключ к управлению данными и поиску инсайтов. Хотите научиться писать эффективные запросы и работать с БД на продвинутом уровне? Мы научим этому с нашими опытными специалистами. Если вы разработчик, SQL поможет вам лучше понимать структуру данных и взаимодействовать с аналитиками. Если аналитик — ускорит обработку данных и автоматизирует отчеты. На курсе разберем PostgreSQL, MySQL, SQL Server, научимся оптимизировать запросы и работать с большими объемами данных. Освойте SQL и станьте ценным специалистом, который умеет не только извлекать данные, но и превращать их в мощный инструмент для бизнеса. Оставьте заявку и получите скидку на обучение: https://vk.cc/cOItaz Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Перепробовали несколько курсов по SQL, но так и не нашли подходящий формат? Не хватает мотивации, дисциплины и личной поддержки преподавателя? Записывайтесь на Базовый курс "SQL с нуля": 👩‍🏫 живые онлайн уроки с преподавателем 🔢 структурированная теория без воды и практика с моментальной обратной связью от преподавателя 🏘 после каждого урока домашнее задание, которое может быть увеличено по запросу студента 📹 записи уроков, которые можно пересмотреть в любое удобное время 💬 бесплатные личные консультации в случае сложностей при освоении материала 🎓 возможность задавать вопросы по SQL,в том числе после окончания курса А для знатоков SQL, которые хотят отработать имеющиеся знания на практике и узнать новые темы, есть "Продвинутый курс SQL". Уточняйте у @sql_class Записывайтесь: @sql_class Наше сообщество: https://t.me/sql_in_your_pocket Программа курса и отзывы: https://sqlclass.ru/ Напишите @sql_class, чтобы получить бесплатный чек-лист по основным операторам курса!

Задачка по нашей базе данных, которая находится в шапке канала. Код генерации базы данных и INSERT данных по ссылке ТУТ. ВОПРОС: Какой запрос вернет номер ISO-недели для даты из столбца order_date таблицы order_table в MySQL? Ответ под спойлером, но если хотите сперва проверить свою догадку, следующим постом опубликуем тест с вариантами ответов. Правильный ответ 👇 SELECT WEEK(order_date, 3) FROM order_table; Если вам понравился вопрос - зашарьте его друзьям 👉 SQLQuestions

Что вернет следующий SQL-запрос?

SELECT DISTINCT SUBSTRING_INDEX(email, '@', -1) AS domain
FROM customer;

Схема БД и код для генерации данных находятся в шапке канала. Запрос не выдает число или конкретную категорию. Просто опишите результат своими словами в комментариях. А для тех, кто предпочитает тесты, опубликуем тест с вариантами ответа в следующем посте. Если вам понравился вопрос - зашарьте его друзьям 👉 SQLQuestions

🧾 Чек-лист. Основные этапы создания Корпоративного Хранилища данных В зависимости от компании, подход к созданию КХД может различаться: одни видят его как монолитную систему, другие — как распределенную архитектуру. Мы под КХД будем понимать как ядровую БД, так и все дополнительные инструменты для переливки информации, базы данных, BI, утилиты для мониторинга и алертинга и многое другое. 1. Определение целей и задач Рекомендуется не отталкиваться от технических возможностей, а начинать с бизнес-контекста. - Четко сформулируйте цели хранилища (аналитика, отчетность, оптимизация процессов и т.д.) - Определите ключевых заинтересованных лиц (stakeholders) и их ожидания - Изучите нюансы бизнеса 2. Анализ источников данных В зависимости от свойств источника происходит различная работа по “вытаскиванию” необходимой информации. Активный/пассивный, имеющий дубли и вложенность хранения, типизация и эволюция схемы, а также многое другое. - Проведите инвентаризацию всех источников данных (CRM, ERP, веб-приложения, файлы, БД, API и т.д.) - Определите форматы данных (структурированные, неструктурированные) - Выясните объем и частоту обновления данных и т.д. 3. Определение архитектуры хранилища Самый сложный и важный этап. - Выберите подход (ETL или ELT) - Решите, будет ли хранилище on-premise, облачным или гибридным - Определите слои хранилища: staging (сырые данные), ODS (операционные данные), DWH (исторические данные) - Обозначьте, где будут содержаться витрины данных и “сырая” информация - Уточните, как будет предоставляться информация конечным пользователям и т.д. 4. Выбор технологий - Определите, нужны ли вам БД отдельно для OLAP и OLTP? - Выберите СУБД (Greenplum, Snowflake, PosgtreSQL, ClickHouse и т.д.) - Подберите инструменты интеграции данных (Apache NiFi, Dagster, Airflow) - Подумайте о Вl-инструментах (Tableau, Superset, Looker) - А так же не забывайте об инструментах мониторинга, бекапирования и алертинга 5. Проектирование модели данных - Определите уровень нормализации данных (3NF, звездная или снежинка — или более продвинутые, Data Vault) - Создайте ЕR-диаграммы и схемы таблиц - Проработайте “узкие места” и слепые зоны, подумайте о связи модели данных и пользовательских ролей и доступов 6. Реализация ETL/ELT процессов - Настройте коннекторы к источникам данных - Создайте пайплайны для извлечения, трансформации и загрузки данных - Автоматизируйте обновление данных 7. Управление качеством данных - Внедрите процессы проверки данных (data validation) - Реализуйте контроль на дубликаты, пропуски и несоответствия форматов 8. Обеспечение безопасности - Настройте роли и права доступа. Подумайте о внедрении Active Directory для унифицирования доступа ко всем текущим инструментам - Реализуйте шифрование данных (в покое и в процессе передачи) - Подготовьте план аварийного восстановления 9. Тестирование и валидация - Проведите нагрузочное тестирование (stress test) - Убедитесь в корректности обработки данных на всех этапах - Проверьте интеграцию с BI и всеми другими инструментами 10. Документация и обучение - Подготовьте документацию: схемы данных, описания ETL-процессов, инструкции для пользователей - Изучите представленные на рынке инструменты для автоматизации сбора документации - Проведите обучение сотрудников, которые будут работать с хранилищем 11. Запуск и эксплуатация Убедитесь, что у вас настроены как минимум области DEV, Stage, Prom Подготовьтесь к автоматизированной раскатке в production Настройте мониторинг производительности Определите процессы для обновления, расширения и поддержки хранилища 12. Постоянное улучшение - Анализируйте обратную связь от пользователей - Оптимизируйте процессы обработки данных - Добавляйте новые источники данных по мере необходимости Для системного обучения рекомендуем профессиональный курс по DWH от Otus, где вы получите хорошую базу и практику. ➡️ Регистрируйтесь прямо сейчас, чтобы воспользоваться 10% скидкой на курс и учиться  по 🏖 летним ценам! Условия актуальны только до 31.07.2025: https://vk.cc/cNXxOB Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Задачка по нашей базе данных, которая находится в шапке канала. Код генерации базы данных и INSERT данных по ссылке ТУТ. ВОПРОС: Какой запрос вернёт строки из customer, где в фамилии (last_name) присутствуют цифры? Ответ под спойлером, но если хотите сперва проверить свою догадку, следующим постом опубликуем тест с вариантами ответов. Правильный ответ ⤵️ SELECT * FROM customer WHERE REGEXP_LIKE(last_name, '[0-9]'); Если вам понравился вопрос - зашарьте его друзьям 👉 SQLQuestions