Data Science. SQL hub

SQL — широко используемый язык запросов для взаимодействия с реляционными базами данных. Это ключевой навык для специалистов по данным и всех, кому необходимо эффективно управлять данными. В этом углубленном курсе вы настроите свою БД, узнаете об агрегации и группировке и многом другом. Курс 🔗 Тетрадь "Реляционные базы данных" 🔗 Блокнот "Агрегация и объединение в SQL" 🔗 Файл данных SQL

Курс по соревновательному Data Science👨‍💻 🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! 🎯 В отличие от большинства курсов по машинному обучению, этот сконцентрирован на практике. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник. ⚡️В программе курса тебя ждет: * Продвинутая работа с pandas и numpy * Генерация, визуализация и фильтрация признаков * Модуль про SOTA градиентные бустинги и то как их тюнить и еще 6 других блоков. 🚀 Также, ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов и делают обзоры предстоящих соревнование. 🔗 Подписывайся на их телеграмм канал, там они делятся полезным контентом, рассказывают про курс и анонсят новые стримы. Реклама. ИП Миленькин Александр Анатольевич. ИНН: 231850381935 erid: 2Vtzqxf6DiN

🖥 Если бы Эминем писал SQL запрос . Лайк, если Закачал голов в такт запросу😂 @sqlhub

🖥 3 большие мифа о базах данных: 1. Базы данных NoSQL не поддерживают SQL-запросы Многие NoSQL-базы поддерживают, например CosmosDB и Couchbase. 2. Реляционные базы данных не поддерживают возможности NoSQL. Вы можете создавать таблицы, содержащие только два столбца, и использовать их в качестве строк ключ-значение. 3. Формат данных JSON поддерживается только базами данных NoSQL. Такие базы данных, как SQL Server и PostgreSQL, имеют встроенную поддержку данных в формате JSON. @sqlhub

SQL — широко используемый язык запросов для взаимодействия с реляционными базами данных. Это ключевой навык для специалистов по данным и всех, кому необходимо эффективно управлять данными. В этом углубленном курсе вы настроите свою БД, узнаете об агрегации и группировке и многом другом. Курс 🔗 Тетрадь "Реляционные базы данных" 🔗 Блокнот "Агрегация и объединение в SQL" 🔗 Файл данных SQL

📈 Рынок больших данных в облаке: разбираем тренды За первое полугодие 2023 года потребление сервисов Yandex Cloud для различных дата-сценариев выросло в 2 раза. Их применяют для построения единого корпоративного хранилища данных, аналитики в реальном времени и других задач при работе с данными. О ключевых изменениях на глобальном рынке данных и о том, как они влияют на развитие Yandex Cloud, читайте в статье. Реклама. ООО "Яндекс.Облако". ИНН 7704458262

🖥 𝗦𝗤𝗟 𝗧𝘂𝘁𝗼𝗿𝗶𝗮𝗹 𝗳𝗼𝗿 𝗗𝗮𝘁𝗮 𝗔𝗻𝗮𝗹𝘆𝘁𝗶𝗰𝘀 / 𝗗𝗮𝘁𝗮 𝗦𝗰𝗶𝗲𝗻𝗰𝗲: 31 интерактивный урок по SQL БЕСПЛАТНО. 20+ практических упражнений, которые вы решаете прямо в браузере - установка не требуется. 🔗 https://datalemur.com/sql-tutorial @sqlhub

🚀 SQL для Data Science Полный учебный план. План рассчитан на 28 дней, в течение которых необходимо уделять не менее 1,5 часов в день. Неделя 1: Основы SQL День 1-3: Знакомство с синтаксисом SQL, операторами SELECT, фильтрацией и сортировкой. Ресурсы: Курс Khan Academy "Intro to SQL" на YouTube. 📌Python и базы данных День 4-5: Работа с несколькими таблицами с помощью операций JOIN. Ресурс: Курс DataCamp "Объединение данных в SQL". День 6-7: Агрегирование данных с помощью GROUP BY, HAVING и понимание подзапросов. Ресурс: Специализация Coursera "SQL for Data Science". Неделя 2: Углубляемся в SQL День 8-10: Изучение запросов(INSERT, UPDATE, DELETE) и работа со значениями NULL. Ресурсы: Плейлист YouTube Калеба Карри на тему "Самоучители SQL". День 11-12: Погружение в нормализацию данных и принципы проектирования баз данных. Ресурсы: Плейлист YouTube - Базовая концепция нормализации баз данных День 13-14: Знакомство с оконными функциями для расширенного манипулирования данными. Ресурс: Самоучитель SQL - оконные функции от BeardedDev Неделя 3: Расширенные методы работы с SQL День 15-17: Освоение подзапросов и коррелированных подзапросов. Ресурс: курс techTFQ "Подзапросы в SQL". День 18-20: Изучение индексов, оптимизации производительности и настройки запросов. Ресурс: Настройка производительности SQL и оптимизация запросов День 21-22: Понимание хранимых процедур, определяемых пользователем функций и триггеров. Неделя 4: Применение SQL в реальных условиях и практика День 23-24: Реализация задач анализа данных, таких как очистка, преобразование и визуализация данных с помощью SQL. День 27-28: Итоговый проект: Решение сложной задачи с использованием SQL и презентация результатов. Ресурсы: Наборы данных Kaggle с задачами, связанными с SQL. @sqlhub

Курс по соревновательному Data Science👨‍💻 🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! 🎯 В отличие от большинства курсов по машинному обучению, этот курс сконцентрирован на практике, а не на теории. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник. ⚡️В программе курса тебя ждет: * Продвинутая работа с pandas и numpy * Генерация, визуализация и фильтрация признаков * Модуль про SOTA градиентные бустинги и то как их тюнить * Стекинг и блендинг моделей * Ускорение вычислений и оптимизация памяти * Парсинг данных из открытых источников * Работа с Kaggle Api и различными облачными вычислительными сервисам * Нейронки для табличных данных * Интервью с Kaggle Grand Masters и многое другое 🚀 Еще ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов, делают обзоры предстоящих соревнование и рассказывают про необычные техники, с которыми сталкиваются на практике. 🔗 Подписывайся на их телеграмм канал, чтобы подробнее узнать про курс и следить за открытыми вебинарами. Реклама. ИП Миленькин Александр Анатольевич. ИНН: 231850381935 erid: 2Vtzqxf6DiN

Хотите удалить большую часть данных из таблицы? Удаление может занять очень много времени. В Oracle Database перемещение таблицы с фильтрацией может быть намного быстрее:

ALTER TABLE ...
 MOVE INCLUDING ROWS 
 WHERE <rows to keep>

Только будьте осторожны вы не сможете откатить комнаду назад! @sqlhub

Теория, лежащая в основе шардинга баз данных, кажется простой. Но как она реализуется в реальных базах данных? Рассмотрим это на примере MongoDB (одной из самых популярных баз данных NoSQL) Основы Для шардинга в MongoDB необходим кластер. Кластер - это группа взаимосвязанных серверов или узлов. Для горизонтального масштабирования можно просто увеличить количество серверов. Кластер состоит из трех частей: - Шард - Маршрутизатор Mongos - Маршрутизатор конфигурации Рассмотрим каждую часть: ✅ Шард Шард - это подмножество данных. Данные разделяются между группой шардов. Каждый шард развертывается как набор реплик. Это замечательная вещь... ...потому что вы получаете репликацию и автоматическое восстановление данных после отказа системы. Но никаких прямых запросов к шарду не поступает. ✅ Маршрутизатор Mongos Mongos Router играет ключевую роль в кластере Все запросы направляются на Mongos Router. Он выполняет две важнейшие задачи: - Маршрутизация запросов и балансировка нагрузки - Кэширование метаданных Маршрутизатор выступает в роли посредника для получения данных с реальных шардов. ✅ Серверы конфигурации Серверы конфигурации работают как отдельный набор реплик. Они хранят метаданные для кластера шардов MongoDB. Метаданные - это как индекс для вашего кластера. В них хранится такая информация, как: - Как организованы данные? - Какие компоненты присутствуют в кластере. Вот как выглядит весь процесс: - Код приложения запрашивает данные - Маршрутизатор Mongos получает запрос - Маршрутизатор проверяет сервер Config Server, чтобы найти, на каком шарде находятся данные - Запрос направляется на соответствующий шард - Данные возвращаются в приложение

Теория, лежащая в основе шардинга баз данных, кажется простой. Но как она реализуется в реальных базах данных? Рассмотрим это на примере MongoDB (одной из самых популярных баз данных NoSQL) Основы Для шардинга в MongoDB необходим кластер. Кластер - это группа взаимосвязанных серверов или узлов. Для горизонтального масштабирования можно просто увеличить количество серверов. Кластер состоит из трех частей: - Шард - Маршрутизатор Mongos - Маршрутизатор конфигурации Рассмотрим каждую часть: ✅ Шард Шард - это подмножество данных. Данные разделяются между группой шардов. Каждый шард развертывается как набор реплик. Это замечательная вещь... ...потому что вы получаете репликацию и автоматическое восстановление данных после отказа системы. Но никаких прямых запросов к шарду не поступает. ✅ Маршрутизатор Mongos Mongos Router играет ключевую роль в кластере Все запросы направляются на Mongos Router. Он выполняет две важнейшие задачи: - Маршрутизация запросов и балансировка нагрузки - Кэширование метаданных Маршрутизатор выступает в роли посредника для получения данных с реальных шардов. ✅ Серверы конфигурации Серверы конфигурации работают как отдельный набор реплик. Они хранят метаданные для кластера шардов MongoDB. Метаданные - это как индекс для вашего кластера. В них хранится такая информация, как: - Как организованы данные? - Какие компоненты присутствуют в кластере. Вот как выглядит весь процесс: - Код приложения запрашивает данные - Маршрутизатор Mongos получает запрос - Маршрутизатор проверяет сервер Config Server, чтобы найти, на каком шарде находятся данные - Запрос направляется на соответствующий шард - Данные возвращаются в приложение

❗️Как развиваться разработчику и администратору баз данных? 👉 Наращивать объем знаний и навыков. Приглашаем на открытый урок «Миграция между кластерами PostgreSQL» от OTUS и станьте востребованным разработчиком. 🔹 На эфире обсудим проблематику, пути решения и тестирование вариантов на стенде. Занятие пройдёт 31 октября в 20:00 мск и будет приурочено к старту курса «Базы данных». 🔹 После урока у вас будет возможность продолжить обучение в рассрочку на специальных условиях 👉 РЕГИСТРАЦИЯ https://otus.ru/lessons/subd/?utm_source=telegram&utm_medium=cpm&utm_campaign=subd&utm_content=lesson-31-10-2023&utm_term=sqlhub#event-3493 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KPuRp

🖥 6 типов баз данных, которые необходимо знать 1. Реляционные базы данных 💼 - Модель данных: Организует данные в таблицы со строками и столбцами. - Примеры: MySQL, PostgreSQL, Oracle, SQL Server. - Ключевые особенности: Соответствие стандарту ACID, высокая степень согласованности данных, структурированное хранение данных, поддержка SQL-запросов, хорошая приспособленность к сложным транзакциям и созданию отчетов. 2. База данных для документов 📄. - Модель данных: Хранение данных в виде полуструктурированных или JSON-подобных документов. - Примеры: MongoDB, CouchDB, Firebase Firestore. - Ключевые особенности: Гибкая схема, горизонтальная масштабируемость, поддержка полуструктурированных данных, хорошо подходит для систем управления контентом и приложений реального времени. 3. In-Memory Database 🚀. - Модель данных: Хранит данные полностью в оперативной памяти (ОЗУ) системы. - Примеры: Redis, Memcached, Apache Ignite. - Ключевые особенности: Сверхбыстрый поиск данных, низкая задержка, подходит для кэширования, управления сессиями и аналитики в реальном времени. 4. Графовые базы данных 🌐. - Модель данных: Представляет данные в виде узлов и ребер для моделирования отношений. - Примеры: Neo4j, Amazon Neptune, ArangoDB. - Ключевые особенности: Эффективный запрос сложных отношений, обход графов, подходит для социальных сетей, рекомендательных систем и обнаружения мошенничества. 5. Базы данных для временных рядов 📈. - Модель данных: Оптимизирована для упорядоченных по времени точек данных, таких как показания датчиков или файлы журналов. - Примеры: InfluxDB, Prometheus, TimescaleDB. - Ключевые особенности: Эффективное хранение и извлечение данных временных рядов, агрегирование, , идеально подходит для мониторинга IoT данных. 6. Пространственные базы данных 🌍. - Модель данных: Предназначена для хранения пространственных или географических данных. - Примеры: PostGIS (расширение для PostgreSQL), MongoDB Geospatial, Microsoft SQL Server Spatial. - Ключевые особенности: Геопространственная индексация, поддержка пространственных типов данных (точки, полигоны, линии), подхожит для сервисов, основанных на определении местоположения, ГИС (географических информационных систем) и картографических приложений. @sqlhub

🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Рассмотрите — авторский курс про архитектуру и интеграции с практикой. ————— По результатам курса вы: ▫️научитесь выбирать стиль интеграции под вашу задачу; ▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений); ▫️поймете, как правильно собирать требования и моделировать в UML; ▫️подготовитесь к собеседованию, решив более 100 тестов; ▫️разработаете свой API на Python; ▫️скоро выйдет модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы. ————— 🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡 • Всю программу и отзывы смотрите в боте курса. • Результат после прохождения курса: 15 рабочих проектов в портфолио. 🔹🔹 С чего начать?🔹🔹 С открытых бесплатных уроков по архитектуре и интеграциям в боте. Переходите, нажимайте «старт». 👇 @studyit_help_bot @studyit_help_bot Скидка на курс от канала — 1 000₽ по промокоду DAIT до конца октября.

🖥 Наглядная шпаргалка с порядком выполнения SQL-запросов. При написании SQL-запросов Очень важно понимать порядок их выполнения. В SQL-запросе операторы выполняются в следующем порядке: 1. FROM / JOIN 2. WHERE 3. GROUP BY 4. HAVING 5. SELECT 6. DISTINCT 7. ПОРЯДОК СЛЕДОВАНИЯ 8. LIMIT / OFFSET @sqlhub

🏆 Yandex Cup 2023 — открытый чемпионат для настоящих творцов Разработчики — художники нового мира. Они создают смыслы, правила и законы, манифестируют идеи, творят миры и целые вселенные. И, если их предшественники делали это, используя слова, краски и звуки, то современные творцы создают новую реальность с помощью программного кода. Искусство писать код Тема чемпионата в этом году «Решаем искусство». Участников ждут нестандартные задачи на стыке IT и творчества, а лучшие встретятся лицом к лицу в финале, чтобы оживить арт-инсталляцию и разделить между собой 8 500 000 рублей. Показать своё мастерство можно в 6 направлениях: 🔸 Фронтенд 🔸 Бэкенд 🔸 Мобильная разработка 🔸 Аналитика 🔸 Алгоритмы 🔸 Машинное обучение Финал и церемония награждения пройдут офлайн в офисе Яндекса в Казахстане. Яндекс предоставит финалистам проезд и проживание в Алматы. Регистрация открыта до 29 октября включительно: 👉 Участвую! #Yandex_Cup23

Применение MERGE для логики "обновить, если существует", "вставить, если не существует Чтобы получить значения из приложения в Oracle Database, используйте DUAL в качестве исходной таблицы. @sqlhub

Когда data driven подход не работает Сейчас многие используют А/B-тесты в своей работе, но часто делают это неправильно и не учитывают всех нюансов, чтобы data driven подход сработал. Например, если вы запускаете А/В-тестирование новой фичи и пытаетесь принять окончательное решение на неполных данных. Или не учитываете праздники в дизайне эксперимента, если ваш А/В-тест выпал и на такие дни. В общем, есть много нюансов, о которых нужно знать, поэтому у меня есть рекомендация для вас. karpovꓸcourses сделали «Симулятор A/B-тестов», где вы сможете освоить весь пайплайн проведения экспериментов, научитесь не допускать типичных ошибок и сможете избежать потери денег из-за неправильных выводов. Вы также научитесь определять, нужно ли вам вообще проводить A/B-тесты в вашем конкретном случае. Make A/B tests great again! [Начать учиться] P.S. По промокоду SQLHOCTOBER на курс действует скидка 5% до 31 октября Реклама. ООО "Карпов Курсы". Erid: LjN8JuNLD

🖥 В SQL существует множество ключевых слов. Некоторые из них зарезервированы, поэтому их нельзя использовать в качестве имен таблиц и столбцов без разделителей Но это зависит от системы баз данных! Представляем вам полный список слов для различных бд, которые можно использовать в качестве идентификаторов без кавычек. На схеме флажок (✓) означает, что слово принимается в качестве имени таблицы или столбца без кавычек. https://modern-sql.com/reserved-words-empirical-list @sqlhub