Data Science. SQL hub

SuperDuperDB для использования в AI-проектах Предлагает специализированные функции, включающие: ✔️ деплой ИИ-API; ✔️ утилиту для тренировки моделей; ✔️ Feature Store - это «магазин» фичей, интерфейс между данными и моделями ML; ✔️ полноценную векторную базу данных. Он может быть интегрирован с различными базами данных, такими как mongoDB и PostgreSQL, а также с платформами Amazon S3 и фреймворками машинного обучения, такими как PyTorch, Transformers и scikit-learn. 🐱 GitHub @sqlhub

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Как расширить компетенции аналитиков при работе с Big Data — Иерархическая база данных — PostgreSQL Antipatterns: ходим по JSON-граблям — SQLx: raw SQL в Rust — @DynamicUpdate with column-level locking in YugabyteDB and how to avoid write skew anomalies — MASTERING MYSQL — Foreign Key validation in YugabyteDB when created in NOT VALID — Snowflake SQL Unique Functions — Recommendation Engines with Graph Databases using Apache AGE — My Takeaways from "How Query Engines Work" — Postgres: DB parameters configuration on the level of User / Database — How to prevent database problems from hitting production? — Postgres Order By: the resultset is sorted differently — 1075. Project Employees I Посмотреть: 🌐 Задача с реального Python собеседования middle разработчика. Рекурсивная сумма. (⏱ 13:00) 🌐 Определение диабета при помощи машинного обучения в 60 строк кода! (⏱ 12:54) 🌐 Что такое vector в c++ (⏱ 00:51) 🌐 STL C++ стандартная библиотека (⏱ 00:57) 🌐 deque разбор в С++ (⏱ 00:58) 🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28) Хорошего дня!

Наиболее распространенные операторы Pandas и Sql @sqlhub

🚀 Список лучших Data Science шпаргалок 🔸SQL - https://s3.amazonaws.com/assets.datacamp.com/email/other/SQL+for+Data+Science.pdf 🔸Статистика - https://res.cloudinary.com/dyd911kmh/image/upload/v1662111933/Marketing/Blog/Descriptive_Statistics_Cheat_Sheet.pdf 🔸Теория вероятностей - https://res.cloudinary.com/dyd911kmh/image/upload/v1674822557/Marketing/Blog/Probability_Cheat_Sheet.pdf 🔸Data storytelling - https://res.cloudinary.com/dyd911kmh/image/upload/v1662633286/Marketing/Blog/Data_Storytelling_Cheat_Sheet.pdf 🔸Data Visualization - https://s3.amazonaws.com/assets.datacamp.com/email/other/Data+Visualizations+-+DataCamp.pdf 🔸Machine Learning - https://s3.amazonaws.com/assets.datacamp.com/email/other/ML+Cheat+Sheet_2.pdf 🔸Deep Learning - https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-deep-learning.pdf 🔸Big Data - https://github.com/Ritik2703/Data-Science-Cheat-Notes-/blob/master/Big%20Data/Hadoop-and-mapreduce-cheat-sheet.pdf 🔸NLP - https://cheatography.com/sree017/cheat-sheets/nlp/ 🔸Python - https://res.cloudinary.com/dyd911kmh/image/upload/v1673614153/Marketing/Blog/Python_Cheat_Sheet_for_Beginners.pdf 🔸R Programming - https://res.cloudinary.com/dyd911kmh/image/upload/v1654763044/Marketing/Blog/R_Cheat_Sheet.pdf 🔸Plotly Express - https://res.cloudinary.com/dyd911kmh/image/upload/v1668605954/Marketing/Blog/Plotly_Cheat_Sheet.pdf 🔸Git - https://res.cloudinary.com/dyd911kmh/image/upload/v1656573882/Marketing/Blog/git_cheat_sheet.pdf 🔸Excel - https://res.cloudinary.com/dyd911kmh/image/upload/v1674225421/Marketing/Blog/Excel_Cheat_Sheet.pdf 🔸Tableau - https://s3.amazonaws.com/assets.datacamp.com/email/other/Tableau+Cheat+Sheet.pdf 🔸Power BI - https://s3.amazonaws.com/assets.datacamp.com/email/other/Power+BI_Cheat+Sheet.pdf @sqlhub

SQL — широко используемый язык запросов для взаимодействия с реляционными базами данных. Это ключевой навык для специалистов по данным и всех, кому необходимо эффективно управлять данными. В этом углубленном курсе вы настроите свою БД, узнаете об агрегации и группировке и многом другом. Курс 🔗 Тетрадь "Реляционные базы данных" 🔗 Блокнот "Агрегация и объединение в SQL" 🔗 Файл данных SQL

Курс по соревновательному Data Science👨‍💻 🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! 🎯 В отличие от большинства курсов по машинному обучению, этот сконцентрирован на практике. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник. ⚡️В программе курса тебя ждет: * Продвинутая работа с pandas и numpy * Генерация, визуализация и фильтрация признаков * Модуль про SOTA градиентные бустинги и то как их тюнить и еще 6 других блоков. 🚀 Также, ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов и делают обзоры предстоящих соревнование. 🔗 Подписывайся на их телеграмм канал, там они делятся полезным контентом, рассказывают про курс и анонсят новые стримы. Реклама. ИП Миленькин Александр Анатольевич. ИНН: 231850381935 erid: 2Vtzqxf6DiN

🖥 Если бы Эминем писал SQL запрос . Лайк, если Закачал голов в такт запросу😂 @sqlhub

🖥 3 большие мифа о базах данных: 1. Базы данных NoSQL не поддерживают SQL-запросы Многие NoSQL-базы поддерживают, например CosmosDB и Couchbase. 2. Реляционные базы данных не поддерживают возможности NoSQL. Вы можете создавать таблицы, содержащие только два столбца, и использовать их в качестве строк ключ-значение. 3. Формат данных JSON поддерживается только базами данных NoSQL. Такие базы данных, как SQL Server и PostgreSQL, имеют встроенную поддержку данных в формате JSON. @sqlhub

SQL — широко используемый язык запросов для взаимодействия с реляционными базами данных. Это ключевой навык для специалистов по данным и всех, кому необходимо эффективно управлять данными. В этом углубленном курсе вы настроите свою БД, узнаете об агрегации и группировке и многом другом. Курс 🔗 Тетрадь "Реляционные базы данных" 🔗 Блокнот "Агрегация и объединение в SQL" 🔗 Файл данных SQL

📈 Рынок больших данных в облаке: разбираем тренды За первое полугодие 2023 года потребление сервисов Yandex Cloud для различных дата-сценариев выросло в 2 раза. Их применяют для построения единого корпоративного хранилища данных, аналитики в реальном времени и других задач при работе с данными. О ключевых изменениях на глобальном рынке данных и о том, как они влияют на развитие Yandex Cloud, читайте в статье. Реклама. ООО "Яндекс.Облако". ИНН 7704458262

🖥 𝗦𝗤𝗟 𝗧𝘂𝘁𝗼𝗿𝗶𝗮𝗹 𝗳𝗼𝗿 𝗗𝗮𝘁𝗮 𝗔𝗻𝗮𝗹𝘆𝘁𝗶𝗰𝘀 / 𝗗𝗮𝘁𝗮 𝗦𝗰𝗶𝗲𝗻𝗰𝗲: 31 интерактивный урок по SQL БЕСПЛАТНО. 20+ практических упражнений, которые вы решаете прямо в браузере - установка не требуется. 🔗 https://datalemur.com/sql-tutorial @sqlhub

🚀 SQL для Data Science Полный учебный план. План рассчитан на 28 дней, в течение которых необходимо уделять не менее 1,5 часов в день. Неделя 1: Основы SQL День 1-3: Знакомство с синтаксисом SQL, операторами SELECT, фильтрацией и сортировкой. Ресурсы: Курс Khan Academy "Intro to SQL" на YouTube. 📌Python и базы данных День 4-5: Работа с несколькими таблицами с помощью операций JOIN. Ресурс: Курс DataCamp "Объединение данных в SQL". День 6-7: Агрегирование данных с помощью GROUP BY, HAVING и понимание подзапросов. Ресурс: Специализация Coursera "SQL for Data Science". Неделя 2: Углубляемся в SQL День 8-10: Изучение запросов(INSERT, UPDATE, DELETE) и работа со значениями NULL. Ресурсы: Плейлист YouTube Калеба Карри на тему "Самоучители SQL". День 11-12: Погружение в нормализацию данных и принципы проектирования баз данных. Ресурсы: Плейлист YouTube - Базовая концепция нормализации баз данных День 13-14: Знакомство с оконными функциями для расширенного манипулирования данными. Ресурс: Самоучитель SQL - оконные функции от BeardedDev Неделя 3: Расширенные методы работы с SQL День 15-17: Освоение подзапросов и коррелированных подзапросов. Ресурс: курс techTFQ "Подзапросы в SQL". День 18-20: Изучение индексов, оптимизации производительности и настройки запросов. Ресурс: Настройка производительности SQL и оптимизация запросов День 21-22: Понимание хранимых процедур, определяемых пользователем функций и триггеров. Неделя 4: Применение SQL в реальных условиях и практика День 23-24: Реализация задач анализа данных, таких как очистка, преобразование и визуализация данных с помощью SQL. День 27-28: Итоговый проект: Решение сложной задачи с использованием SQL и презентация результатов. Ресурсы: Наборы данных Kaggle с задачами, связанными с SQL. @sqlhub

Курс по соревновательному Data Science👨‍💻 🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! 🎯 В отличие от большинства курсов по машинному обучению, этот курс сконцентрирован на практике, а не на теории. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник. ⚡️В программе курса тебя ждет: * Продвинутая работа с pandas и numpy * Генерация, визуализация и фильтрация признаков * Модуль про SOTA градиентные бустинги и то как их тюнить * Стекинг и блендинг моделей * Ускорение вычислений и оптимизация памяти * Парсинг данных из открытых источников * Работа с Kaggle Api и различными облачными вычислительными сервисам * Нейронки для табличных данных * Интервью с Kaggle Grand Masters и многое другое 🚀 Еще ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов, делают обзоры предстоящих соревнование и рассказывают про необычные техники, с которыми сталкиваются на практике. 🔗 Подписывайся на их телеграмм канал, чтобы подробнее узнать про курс и следить за открытыми вебинарами. Реклама. ИП Миленькин Александр Анатольевич. ИНН: 231850381935 erid: 2Vtzqxf6DiN

Хотите удалить большую часть данных из таблицы? Удаление может занять очень много времени. В Oracle Database перемещение таблицы с фильтрацией может быть намного быстрее:

ALTER TABLE ...
 MOVE INCLUDING ROWS 
 WHERE <rows to keep>

Только будьте осторожны вы не сможете откатить комнаду назад! @sqlhub

Теория, лежащая в основе шардинга баз данных, кажется простой. Но как она реализуется в реальных базах данных? Рассмотрим это на примере MongoDB (одной из самых популярных баз данных NoSQL) Основы Для шардинга в MongoDB необходим кластер. Кластер - это группа взаимосвязанных серверов или узлов. Для горизонтального масштабирования можно просто увеличить количество серверов. Кластер состоит из трех частей: - Шард - Маршрутизатор Mongos - Маршрутизатор конфигурации Рассмотрим каждую часть: ✅ Шард Шард - это подмножество данных. Данные разделяются между группой шардов. Каждый шард развертывается как набор реплик. Это замечательная вещь... ...потому что вы получаете репликацию и автоматическое восстановление данных после отказа системы. Но никаких прямых запросов к шарду не поступает. ✅ Маршрутизатор Mongos Mongos Router играет ключевую роль в кластере Все запросы направляются на Mongos Router. Он выполняет две важнейшие задачи: - Маршрутизация запросов и балансировка нагрузки - Кэширование метаданных Маршрутизатор выступает в роли посредника для получения данных с реальных шардов. ✅ Серверы конфигурации Серверы конфигурации работают как отдельный набор реплик. Они хранят метаданные для кластера шардов MongoDB. Метаданные - это как индекс для вашего кластера. В них хранится такая информация, как: - Как организованы данные? - Какие компоненты присутствуют в кластере. Вот как выглядит весь процесс: - Код приложения запрашивает данные - Маршрутизатор Mongos получает запрос - Маршрутизатор проверяет сервер Config Server, чтобы найти, на каком шарде находятся данные - Запрос направляется на соответствующий шард - Данные возвращаются в приложение

Теория, лежащая в основе шардинга баз данных, кажется простой. Но как она реализуется в реальных базах данных? Рассмотрим это на примере MongoDB (одной из самых популярных баз данных NoSQL) Основы Для шардинга в MongoDB необходим кластер. Кластер - это группа взаимосвязанных серверов или узлов. Для горизонтального масштабирования можно просто увеличить количество серверов. Кластер состоит из трех частей: - Шард - Маршрутизатор Mongos - Маршрутизатор конфигурации Рассмотрим каждую часть: ✅ Шард Шард - это подмножество данных. Данные разделяются между группой шардов. Каждый шард развертывается как набор реплик. Это замечательная вещь... ...потому что вы получаете репликацию и автоматическое восстановление данных после отказа системы. Но никаких прямых запросов к шарду не поступает. ✅ Маршрутизатор Mongos Mongos Router играет ключевую роль в кластере Все запросы направляются на Mongos Router. Он выполняет две важнейшие задачи: - Маршрутизация запросов и балансировка нагрузки - Кэширование метаданных Маршрутизатор выступает в роли посредника для получения данных с реальных шардов. ✅ Серверы конфигурации Серверы конфигурации работают как отдельный набор реплик. Они хранят метаданные для кластера шардов MongoDB. Метаданные - это как индекс для вашего кластера. В них хранится такая информация, как: - Как организованы данные? - Какие компоненты присутствуют в кластере. Вот как выглядит весь процесс: - Код приложения запрашивает данные - Маршрутизатор Mongos получает запрос - Маршрутизатор проверяет сервер Config Server, чтобы найти, на каком шарде находятся данные - Запрос направляется на соответствующий шард - Данные возвращаются в приложение

❗️Как развиваться разработчику и администратору баз данных? 👉 Наращивать объем знаний и навыков. Приглашаем на открытый урок «Миграция между кластерами PostgreSQL» от OTUS и станьте востребованным разработчиком. 🔹 На эфире обсудим проблематику, пути решения и тестирование вариантов на стенде. Занятие пройдёт 31 октября в 20:00 мск и будет приурочено к старту курса «Базы данных». 🔹 После урока у вас будет возможность продолжить обучение в рассрочку на специальных условиях 👉 РЕГИСТРАЦИЯ https://otus.ru/lessons/subd/?utm_source=telegram&utm_medium=cpm&utm_campaign=subd&utm_content=lesson-31-10-2023&utm_term=sqlhub#event-3493 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KPuRp

🖥 6 типов баз данных, которые необходимо знать 1. Реляционные базы данных 💼 - Модель данных: Организует данные в таблицы со строками и столбцами. - Примеры: MySQL, PostgreSQL, Oracle, SQL Server. - Ключевые особенности: Соответствие стандарту ACID, высокая степень согласованности данных, структурированное хранение данных, поддержка SQL-запросов, хорошая приспособленность к сложным транзакциям и созданию отчетов. 2. База данных для документов 📄. - Модель данных: Хранение данных в виде полуструктурированных или JSON-подобных документов. - Примеры: MongoDB, CouchDB, Firebase Firestore. - Ключевые особенности: Гибкая схема, горизонтальная масштабируемость, поддержка полуструктурированных данных, хорошо подходит для систем управления контентом и приложений реального времени. 3. In-Memory Database 🚀. - Модель данных: Хранит данные полностью в оперативной памяти (ОЗУ) системы. - Примеры: Redis, Memcached, Apache Ignite. - Ключевые особенности: Сверхбыстрый поиск данных, низкая задержка, подходит для кэширования, управления сессиями и аналитики в реальном времени. 4. Графовые базы данных 🌐. - Модель данных: Представляет данные в виде узлов и ребер для моделирования отношений. - Примеры: Neo4j, Amazon Neptune, ArangoDB. - Ключевые особенности: Эффективный запрос сложных отношений, обход графов, подходит для социальных сетей, рекомендательных систем и обнаружения мошенничества. 5. Базы данных для временных рядов 📈. - Модель данных: Оптимизирована для упорядоченных по времени точек данных, таких как показания датчиков или файлы журналов. - Примеры: InfluxDB, Prometheus, TimescaleDB. - Ключевые особенности: Эффективное хранение и извлечение данных временных рядов, агрегирование, , идеально подходит для мониторинга IoT данных. 6. Пространственные базы данных 🌍. - Модель данных: Предназначена для хранения пространственных или географических данных. - Примеры: PostGIS (расширение для PostgreSQL), MongoDB Geospatial, Microsoft SQL Server Spatial. - Ключевые особенности: Геопространственная индексация, поддержка пространственных типов данных (точки, полигоны, линии), подхожит для сервисов, основанных на определении местоположения, ГИС (географических информационных систем) и картографических приложений. @sqlhub

🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Рассмотрите — авторский курс про архитектуру и интеграции с практикой. ————— По результатам курса вы: ▫️научитесь выбирать стиль интеграции под вашу задачу; ▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений); ▫️поймете, как правильно собирать требования и моделировать в UML; ▫️подготовитесь к собеседованию, решив более 100 тестов; ▫️разработаете свой API на Python; ▫️скоро выйдет модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы. ————— 🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡 • Всю программу и отзывы смотрите в боте курса. • Результат после прохождения курса: 15 рабочих проектов в портфолио. 🔹🔹 С чего начать?🔹🔹 С открытых бесплатных уроков по архитектуре и интеграциям в боте. Переходите, нажимайте «старт». 👇 @studyit_help_bot @studyit_help_bot Скидка на курс от канала — 1 000₽ по промокоду DAIT до конца октября.