Data Science. SQL hub

💻Эксперименты с временными таблицами PostgreSQL Чтобы лучше понять работу TEMP TABLE в PostgreSQL, нужно просто поглубже в них погрузиться, проверить разные гипотезы — именно с практикой и придёт понимание. Так что держите — здесь подробное исследование TEMP TABLE, рассмотрение временных таблиц под разными углами 📎 Исследование 🖥 GitHub @sqlhub

✅ Изучите тонкости и важные параметры MySQL на практическом открытом уроке «MySQL: оптимизация производительности» от OTUS 🔹На практическом занятии разберём основные способы оптимизации производительности СУБД MySQL. Научимся диагностировать нагрузку, анализировать запросы. Поговорим о настройке важнейших параметров конфигурации. 🔹В результате урока вы сможете понять причины проблем производительности, научитесь проводить анализ нагрузки и  параметры конфигурации MySQL. 👉 Регистрация https://otus.pw/Um71/?erid=LjN8KB7md

💻Установка PostgreSQL из исходников Держите полезную статью о том, как собрать PostgreSQL 16 версии из исходников, инициализировать кластер и запустить его на сервере Debian 12 Причины по которым вам может понадобится собирать PostgreSQL из исходников: ⏩для дистрибутива нет готового пакета; ⏩нужно собрать PostgreSQL с нестандартными параметрами. План статьи ├╼ Сборка и установка ├╼ Создание кластера ├╼ Запуск и остановка кластера ├╼ Установка расширений PostgreSQL ├╼ Создание и запуск второго кластера ╰╼ Создание службы SystemD для кластеров 📎 Статья @sqlhub

💻pgvector — расширение PostgreSQL для работы с векторами Open-source решение для хранения и поиска векторов в Postgres. Сами данные для векторов можно получить, например, из ML-модели и вставить в таблицу с колонкой типа vector. Или данные можно создать в PostgreSQL как гистограмму определенных категорий. В этом случае можно значения в массивах real[], integer[] или double precision[], numeric[] привести к типу ::vector. 🖥 GitHub 🟡 Пример использования pgvector на Хабре @sqlhub

Очное обучение Data Science для начинающих в НИУ ВШЭ — старт 16 мая «Специалист по Data Science»: первая программа переподготовки, аккредитованная Альянсом в сфере ИИ. Вы изучите все направления современного анализа данных: от основ программирования и дискретной математики до машинного обучения, нейронных сетей, обработки Big Data и не только. Старт: 16 мая Продолжительность: 1.5 года Полная программа и регистрация: по ссылке. Реклама. НИУ ВШЭ. ИНН 7714030726 Erid: 2SDnjdXFxWd

⚡️ Тинькофф разбор заданий на стажировку! ▪Видео ▪Задачи @machinelearning_interview

👣 sqlc — генерирование типобезопасного кода из SQL — go install github.com/sqlc-dev/sqlc/cmd/sqlc@latest sqlc позволяет создавать полностью безопасный для типов идиоматический Go-код из SQL. Как это работает: — пишем SQL-запрос — запускаем sqlc для генерации Go-кода — теперь можем вызывать методы, созданные sqlc, из другого приложения 🖥 GitHub 🟡 Доки 🟡 Демонстрация @Golang_google

💻Промпт — в SQL-запрос при помощи Chat2DB 🟡Chat2DB — AI-инструмент, который позволяет преобразовывать промпты на естественном языке в SQL-запросы. Позволяет легко манипулировать данными, создавать отчёты и проводить анализ без знания SQL. 🟡Для pro-версии есть нативное приложение, pro-версия поддерживает все популярные СУБД: MySQL, PostgreSQL, H2, SQLite, MariaDB, ClickHouse, MongoDB, Redis, Snowflake и остальные 🖥 GitHub 🟡 Доки 🟡 Протестировать можно тут @sqlhub

✅ Изучаем конфигурации PostgreSQL на открытом практическом уроке от OTUS 🔹На вебинаре рассмотрим оптимальные способы конфигурирования PostgreSQL, а также научимся тестировать наши конфигурации при помощи sysbanch, pgbench и бонус. Вебинар будет полезен разработчикам SQL, архитекторам и DBA. 👉 Регистрация https://clck.ru/3AM8KY?erid=LjN8K75EJ

💻 Настройка логической репликации PostgreSQL Репликация PostgreSQL представляет из себя способ реализации отказоустойчивого кластера. Инструкция написана на примере PostgreSQL 14, но она также будет работать для PostgreSQL более ранних версий (до 10). Логическая репликация добавлена в PostgreSQL с версии 10. Она позволяет: 🟡Объединить несколько баз в одну. 🟡Использовать особые условия для передачи данных подписчику. 🟡Дать доступ к реплицированным данным другим группам пользователей. 🟡Разделить данные из нескольких баз между несколькими другими базами данных. 🟡Передать инкрементальные изменения в одной или нескольких базах в момент редактирования информации. 🟡Упростить условия для настройки репликации: могут использоваться разные мажорные версии PostgreSQL, а также платформы операционных систем. Используемые в данном руководстве команды, применимы для операционных систем Linux. Если PostgreSQL работает под Windows, данную инструкцию можно использовать как шпаргалку для настройки конфигурационных файлов СУБД. 📎 Перейти к настройке репликации @sqlhub

✅ Изучите тонкости и важные параметры MySQL на практическом открытом уроке «MySQL: оптимизация производительности» от OTUS 🔹На практическом занятии разберём основные способы оптимизации производительности СУБД MySQL. Научимся диагностировать нагрузку, анализировать запросы. Поговорим о настройке важнейших параметров конфигурации. 🔹В результате урока вы сможете понять причины проблем производительности, научитесь проводить анализ нагрузки и  параметры конфигурации MySQL. 👉 Регистрация https://otus.pw/U8dr/?erid=LjN8K5jcD

💻 PostgreSQL — настройка Postgres экспортера В этой статье настраиваем экспортера, для сбора метрик с базы на PostgreSQL 📎 Статья @sqlhub

Нет опыта – нет работы? Как ML-специалисту или аналитику получить первый оффер? Требования на рынке к DS-специалистам растут и умения решать задачи по шаблону уже недостаточно. Работодатели ищут тех, кто понимает проблемы бизнеса и может предложить решения к ним. Именно этому можно научиться в Симуляторе Data Science от karpov.courses. В Симуляторе вас ждёт: — 80+ реальных задач бизнеса разного уровня сложности из разных индустрий: ретейла, финтеха, фудтеха, рекламы и других. — После решения задачи, вы сможете посмотреть решение от команды симулятора и перенять лучшие практики. — Уникальные пет-проекты для портфолио, которые вы будете разрабатывать в команде под менторством экспертов индустрии. Симулятор ежемесячно пополняется новыми задачами, а еще приобретая Симулятор вы получаете доступ к живому комьюнити из 500+ специалистов. Присоединяйтесь на Симулятор до 10.05.2024 и получите скидку 5% по промокоду DSSQLHUB: https://clc.to/erid_LjN8KD7pe Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

🖥 DrawDB Крутой инструмент для создания баз данных и генерации SQL запросов. Создание диаграмм займет всего несколько секунд, вы сможете экспортировать готовые скрипты и настроить свой редактор без необходимости создания учётной записи. ▪ GitHub @sqlhub

⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов. ▪Смотреть ▪Данные ▪Ноутбук @machinelearning_interview

👣 Convex Conve jgtycjhc векторная бд проект в 200 тысяч строк Convex, "реактивной" базы данных, созданной с нуля на Rust. Она включает в себя набор клиентских библиотек, которые интегрируются с интерфейсным кодом приложения, и обеспечивает кэширование данных и обновления в режиме реального времени. git clone https://github.com/get-convex/convex-backend.git cd convex-backend ▪Github ▪Docs @sqlhub

💻Вопросы и ответы по SQL и по БД в целом Держите, пригодится освежить самые основные моменты перед собеседованием. Вот некоторые из затронутых здесь вопросов 🟡Вопросы по БД: — Реляционные БД (SQL) — Нереляционные БД (NoSQL): Key/Value, документные (документ-ориентированные), колоночные, графовые — Что такое CAP-теорема (теорема Брюера)? — Что такое свойство ACID в базе данных? 🟡Вопросы по SQL: — Из каких подмножеств состоит SQL? — Что подразумевается под таблицей и полем в SQL? — В чем разница между операторами DELETE и TRUNCATE? — Что такое соединения (JOIN) в SQL? — В чем разница между типом данных CHAR и VARCHAR в SQL? — Что такое первичный ключ (Primary key)? — Что такое ограничения (Constraints)? — Что такое уникальный ключ (Unique key)? — Что такое внешний ключ (Foreign key)? — Что подразумевается под целостностью данных? — Какие уровни изолированности транзакций можешь назвать? — Что вы подразумеваете под денормализацией? — Напишите SQL-запрос для отображения текущей даты? 📎 Вопросы/ответы @sqlhub

💻Диагностика производительности PostgreSQL В этой статье рассмотрим методы диагностики производительности PostgreSQL, которая состоит из 3 шагов. 🟡Шаг 1: Оптимизировать кластер Для улучшения работы вашей базы данных используйте следующие методы диагностики производительности PostgreSQL: — примените вертикальное или горизонтальное масштабирование и затем проведите анализ запросов; — настройте конфигурационные параметры развернутого кластера. Например, используйте онлайн генераторы конфигурационных параметров. 🟡Шаг 2: Анализ логов Обратите внимание, что включение анализаторов запросов может потреблять около 10% ресурсов. Но после завершения процесса анализа и оптимизации запросов производительность может значительно вырасти. Вы можете использовать встроенные инструменты для анализа производительности PostgreSQL, чтобы идентифицировать узкие места и медленные запросы: — pg_stat_statements — pg_stat_kcache — auto_explain — log_min_duration_statement 🟡Шаг 3: Анализ планов Оптимизация запросов может быть сложной и часто представляет собой итеративный процесс. Вносите изменения постепенно и измеряйте влияние каждого изменения на производительность запросов. Также рекомендуем протестировать выполненные оптимизации в промежуточной среде, прежде чем применять их к рабочей базе данных. Убедитесь в отсутствии непредвиденных последствий. План запроса PostgreSQL описывает выполнение SQL-запроса, включая сортировку и фильтрацию, а также использование ресурсов во время выполнения. 📎 Статья @sqlhub

✅ Изучаем конфигурации PostgreSQL на открытом практическом уроке от OTUS 🔹На вебинаре рассмотрим оптимальные способы конфигурирования PostgreSQL, а также научимся тестировать наши конфигурации при помощи sysbanch, pgbench и бонус. Вебинар будет полезен разработчикам SQL, архитекторам и DBA. Встречаемся 4 марта в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков». 👉 Регистрация https://otus.pw/0c3d/?erid=LjN8K7kRP

💻Руководство по MySQL JOIN с примерами JOIN в MySQL — это мощный оператор, позволяющий объединять данные из нескольких таблиц на основе соответствия критериям. Именно об этом и идёт речь в туториале, параллельно разбирается ещё много полезных вещей, рекомендую Оглавление ⏩Различные типы соединений в MySQL — INNER JOIN — LEFT JOIN — RIGHT JOIN — FULL JOIN (не поддерживается напрямую MySQL) ⏩Реальные сценарии использования соединений в веб-разработке — Отображение профилей пользователей с заказами — Фильтрация товаров по категориям и брендам — Отображение отзывов с информацией о продукте ⏩Советы по эффективным и оптимизированным соединениям в MySQL 📎 Руководство @sqlhub