Data Science. SQL hub

💻Вопросы и ответы по SQL и по БД в целом Держите, пригодится освежить самые основные моменты перед собеседованием. Вот некоторые из затронутых здесь вопросов 🟡Вопросы по БД: — Реляционные БД (SQL) — Нереляционные БД (NoSQL): Key/Value, документные (документ-ориентированные), колоночные, графовые — Что такое CAP-теорема (теорема Брюера)? — Что такое свойство ACID в базе данных? 🟡Вопросы по SQL: — Из каких подмножеств состоит SQL? — Что подразумевается под таблицей и полем в SQL? — В чем разница между операторами DELETE и TRUNCATE? — Что такое соединения (JOIN) в SQL? — В чем разница между типом данных CHAR и VARCHAR в SQL? — Что такое первичный ключ (Primary key)? — Что такое ограничения (Constraints)? — Что такое уникальный ключ (Unique key)? — Что такое внешний ключ (Foreign key)? — Что подразумевается под целостностью данных? — Какие уровни изолированности транзакций можешь назвать? — Что вы подразумеваете под денормализацией? — Напишите SQL-запрос для отображения текущей даты? 📎 Вопросы/ответы @sqlhub

💻Диагностика производительности PostgreSQL В этой статье рассмотрим методы диагностики производительности PostgreSQL, которая состоит из 3 шагов. 🟡Шаг 1: Оптимизировать кластер Для улучшения работы вашей базы данных используйте следующие методы диагностики производительности PostgreSQL: — примените вертикальное или горизонтальное масштабирование и затем проведите анализ запросов; — настройте конфигурационные параметры развернутого кластера. Например, используйте онлайн генераторы конфигурационных параметров. 🟡Шаг 2: Анализ логов Обратите внимание, что включение анализаторов запросов может потреблять около 10% ресурсов. Но после завершения процесса анализа и оптимизации запросов производительность может значительно вырасти. Вы можете использовать встроенные инструменты для анализа производительности PostgreSQL, чтобы идентифицировать узкие места и медленные запросы: — pg_stat_statements — pg_stat_kcache — auto_explain — log_min_duration_statement 🟡Шаг 3: Анализ планов Оптимизация запросов может быть сложной и часто представляет собой итеративный процесс. Вносите изменения постепенно и измеряйте влияние каждого изменения на производительность запросов. Также рекомендуем протестировать выполненные оптимизации в промежуточной среде, прежде чем применять их к рабочей базе данных. Убедитесь в отсутствии непредвиденных последствий. План запроса PostgreSQL описывает выполнение SQL-запроса, включая сортировку и фильтрацию, а также использование ресурсов во время выполнения. 📎 Статья @sqlhub

✅ Изучаем конфигурации PostgreSQL на открытом практическом уроке от OTUS 🔹На вебинаре рассмотрим оптимальные способы конфигурирования PostgreSQL, а также научимся тестировать наши конфигурации при помощи sysbanch, pgbench и бонус. Вебинар будет полезен разработчикам SQL, архитекторам и DBA. Встречаемся 4 марта в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков». 👉 Регистрация https://otus.pw/0c3d/?erid=LjN8K7kRP

💻Руководство по MySQL JOIN с примерами JOIN в MySQL — это мощный оператор, позволяющий объединять данные из нескольких таблиц на основе соответствия критериям. Именно об этом и идёт речь в туториале, параллельно разбирается ещё много полезных вещей, рекомендую Оглавление ⏩Различные типы соединений в MySQL — INNER JOIN — LEFT JOIN — RIGHT JOIN — FULL JOIN (не поддерживается напрямую MySQL) ⏩Реальные сценарии использования соединений в веб-разработке — Отображение профилей пользователей с заказами — Фильтрация товаров по категориям и брендам — Отображение отзывов с информацией о продукте ⏩Советы по эффективным и оптимизированным соединениям в MySQL 📎 Руководство @sqlhub

Tarantool Column Store — это новая российская in-memory колоночная СУБД для гибридной транзакционно-аналитической обработки данных (HTAP) в реальном времени. Позволяет анализировать данные в real-time, ускорять аналитические расчеты. Обладает высокой производительностью благодаря многопоточности. Где можно применять новую СУБД: • Формирование финансовой отчетности в real-time; • Ускорение и повышение точности антифрод-систем — обнаружение подозрительных транзакций практически с нулевой задержкой; • Повышение производительности системы выдачи кредитов. Tarantool Columnstore в реальном времени анализирует матрицы, в которых содержится более 100 000 вариантов кредитных предложений и дополнительных услуг. Попробуйте высокую производительность и скорость — 1,6 млн. сканирований и 200 тыс. агрегаций в секунду на ядро, <200 микросекунд на запрос. ➡️ Оставить заявку

💻 Шпаргалка по SQL-инъекциям Эта шпаргалка по SQL-инъекциям содержит примеры синтаксиса, который часто используется для проведения атак на БД. Примеры инъекций приведены для разных СУБД: Oracle, PostgreSQL, MySQL, MicrosoftSQL. Проверьте, не подвержено ли ваше приложение SQL-инъекциям 🟡Рассматриваются SQL-инъекции для извлечения такой информации как: ├╼ Объединение строк ├╼ Подстрока ├╼ Комментарии ├╼ Версия базы данных ├╼ Содержимое базы данных ├╼ Условные ошибки ├╼ Извлечение данных с помощью сообщений об ошибках ├╼ Пакетные (или штабелированные) запросы ├╼ Временные задержки ├╼ Условные временные задержки ├╼ DNS lookup (Поиск DNS) ╰╼ DNS lookup с эксфильтрацией данных 📎 Шпаргалка @sqlhub

💻Работа с PostgreSQL: настройка и масштабирование — открытый учебник Держите ценный контент — открытый учебник от А. Ю. Васильева aka leopard по Postgres. Нереально полезно, здесь раскрывается множество важных моментов, связанных с этой СУБД 📎 PDF @sqlhub

Переходите на формат монитора 4K Вы сможете увидеть больше контента, чем при обычных разрешениях, и наслаждаться детализированным изображением. Компания MSI рекомендует свою новинку Modern MD27UL для повседневной работы c фото- и видеоредакторами, проведения стриминговых сессий и удаленной работы. Именно сейчас удачный момент воспользоваться выгодным предложением, чтобы обновить свой старый монитор на новый в сети магазинов DNS.

💻 Внутренности PostgreSQL: кэш системного каталога Системный каталог, или просто каталог — это таблицы, в которых PostgreSQL хранит информацию обо всех остальных объектах, хранящихся в базе данных. К ним относятся таблицы, функции, триггеры, и т.д. Обращение к системному каталогу происходит часто, поэтому для него предусмотрен кэш. Давайте же разберемся, как этот кэш устроен. Реализация кэша находится в следующих файлах: ⏩syscache.{c,h} — реализация основных функций кэша. Функции оперируют с Datum’ами и HeapTuple’ами; ⏩catcache.{c,h} — низкоуровневые функции, используемые syscache.c. Выделение и освобождение памяти реализовано здесь; ⏩lsyscache.{c,h} — высокоуровневая обертка над syscache.c. Содержит функции «получить имя отношения по его Oid» и подобного рода; ⏩inval.{c,h} — логика инвалидации кэша. Подробности см ниже по тексту; ⏩sinvaladt.{c,h} — реализация кольцевого буфера в разделяемой памяти, через который рассылаются сообщения об инвалидации кэшей; ⏩sinval.{c,h} — интерфейс коммуникации через sinvaladt.c. Содержит функции вроде «отправить / получить SharedInvalidationMessage»; 📎 Подробнее @sqlhub

✅ Что нужно знать для работы с Greenplum? Разберем предпосылки, историю, особенности на бесплатном практическом уроке посвященному курсу «Базы данных» от OTUS. 🔹На вебинаре мы разберём архитектуру и отказоустойчивость кластера Greenplum. Рассмотрим резервное копирование Greenplum и рекомендации по оптимизации. 🔹На уроке вы получите рекомендации: по загрузке \ выгрузке; Update \ deletes в таблицах GP;  Append-Optimized таблицы 👉 Регистрация https://clck.ru/3AABdJ?erid=LjN8KMoDr

💻Как сделать дамп PostgreSQL ⏩Держите полезную статью В ней рассматриваются процессы резервного копирования и восстановления данных в PostgreSQL, обсуждаются различные стратегии и методы, которые позволят обеспечить надежность и доступность ценных информационных ресурсов. Уверен, будет полезно) 📎 Статья @sqlhub

Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя. В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей. Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения. Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!

💻Как в Postgresql реализовать поиск по первым символам каждого слова в строке? ▶️Суть задачи: На ввод подаются строки. Например: "один". Запрос в базу должен матчить записи типа "три два один", "одиннадцатый", но не должен матчить записи типа "иван родин" Как реализовать такое в SQL запросе? ▶️Для этого в PostgreSQL можно использовать оператор ~ и соответствующее регулярное выражение с '\m', обозначающим начало слова:

SELECT * 
FROM tbl 
WHERE name ~ '\mодин'

@sqlhub

🔊 X5 Tech на связи! Проводим новый митап по Data Science 25 апреля обсудим с экспертами ML системы и все, что вокруг: проверенные и новые методы взаимодействия с пользователями от рекомендаций музыки до генерации контента и чат-ботов на основе ИИ, а также сложности: галлюцинации, мониторинг языковых моделей, методы улучшения RAG-систем. 🎙️У микрофона: Дарья Андреева и Глеб Панин — менеджеры по работе с большими данными, X5 Tech Дмитрий Астанков — Machine Learning Engineer, Звук Артем Ерохин — ведущий менеджер по работе с большими данными, X5 Tech ✅ 25 апреля, 19:00 Москва, пространство Articon + онлайн трансляция За деталями и регистрацией - сюда __ Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689, erid: LjN8KNVda

Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя. В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей. Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения. Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!

🖥 Решение задач с помощью SQL является важным навыком для дата-саентиста по нескольким причинам: 1. SQL позволяет эффективно извлекать, фильтровать и обрабатывать данные из баз данных. 2. SQL предоставляет возможность проводить аналитические запросы к данным, выявлять закономерности, тренды и паттерны, что помогает в принятии бизнес-решений. 3. Часто данные хранятся в различных базах данных или системах. Знание SQL помогает дата-саентисту объединять данные из разных источников для создания цельных наборов данных. 4. Написание оптимизированных SQL-запросов позволяет ускорить обработку данных и повысить производительность аналитических процессов. В целом, знание SQL позволяет дата-саентисту эффективно работать с данными, проводить анализ и извлекать ценные инсайты для бизнеса. Предлагаю немного попрактиковаться и порешать задачи на знание SQL. 🖇 Решение заданий из тренажера SQL Academy 🖇 Вводный Курс с задачами по работе с Базами данных 🖇В репозитории представлены проекты курса Аналитик данных 🖇Решение задач hackerrank по SQL 🖇100 ключевых Вопросов с собеседований @machinelearning_interview

💻Работа с json в PostgreSQL В PostgreSQL есть два типа данных для работы с JSON: json и jsonb. Они отличаются друг от друга способом хранения данных и способом работы с ними. ⏩Тип данных json использует текстовый формат хранения JSON-данных, который позволяет хранить только простые типы данных JSON: строки, числа, логические значения, null и массивы или объекты, состоящие только из этих типов. Это означает, что при хранении данных типа json не происходит никакой оптимизации, и любые изменения в данных приводят к перезаписи всей строки JSON. ⏩Тип данных jsonb использует бинарный формат хранения JSON-данных, который позволяет хранить все типы данных JSON, включая вложенные объекты и массивы, а также дополнительные типы данных, такие как булевы значения, даты и времена и т.д. Бинарный формат данных jsonb позволяет эффективно хранить, индексировать и быстро выполнять запросы к данным в формате JSON, и при изменении данных не требует перезаписи всей строки JSON, а лишь тех частей, которые изменились. ⏩Создание объектов json Одной из основных функций для работы с JSON является jsonb_build_object(), которая позволяет создавать объекты JSON внутри запросов. Это может быть полезно, например, при импорте данных из внешних источников. Предположим, что мы хотим в select-запросе динамически сгенерировать json-объект. Сделать это можно так:

SELECT jsonb_build_object('name', 'Иван', 'age', 30, 'city', 'Москва') AS person;

Этот запрос создаст JSON-объект со свойствами name, age и city, которые будут содержать соответствующие значения. Результатом запроса будет следующий JSON-объект:

{
  "age": 30,
  "city": "Москва",
  "name": "Иван"
}

📎 Подробнее @sqlhub

Аналитики данных, отзовитесь! 🔍 В Авито сильная культура использования данных и удобная развитая инфраструктура для аналитиков: 1️⃣ Руководитель группы аналитики в Core Analytics 2️⃣ Аналитик данных в команду антифрода 3️⃣ BI-разработчик в команду Core Analytics Вас ждут интересные и разнообразные задачи: аналитики в Авито ищут точки роста бизнеса, изучают поведение пользователей, придумывают фреймворки и настраивают дашборды. А ещё: – достойная зарплата, размер которой обсуждается на собеседовании; – много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо; – талантливая команда, крутая аналитическая культура и сообщество профессионалов; – удалёнка и классный офис в 2-х минутах от метро «Белорусская»; – ДМС со стоматологией с первого дня; – личный бюджет на обучение, который можно тратить на книги, курсы и конференции. Скорее переходите по ссылкам и откликайтесь!

🖥 Знаете ли вы, что в MySQL есть невидимые столбцы! Они нужны для обеспечения безопасности ваших данных (скрыть приватные данные, ключи).

CREATE TABLE t1 (col1 INT, col2 INT INVISIBLE);
 INSERT INTO t1 (col1, col2) VALUES(1, 2), (3, 4);

SELECT * FROM t1;
+------+
| col1 |
+------+
|    1 |
|    3 |
+------+

SELECT col1, col2 FROM t1;
+------+------+
| col1 | col2 |
+------+------+
|    1 |    2 |
|    3 |    4 |
+------+------+

https://dev.mysql.com/doc/refman/8.0/en/invisible-columns.html @sqlhub

💻Настройка обслуживания PostgreSQL. Основное и простое ⏩Обслуживание БД — это не единственный вопрос, который следует решать администратору СУБД. И при этом не самый первый, если речь идет о сопровождении сервера. ⏩В этой статье мы не будем рассматривать все вопросы обслуживания и сопровождения в этой публикации, это слишком большое количество информации. Вместо этого мы рассмотрим только самые основные стороны вопроса обслуживания баз данных, при этом подразумевая, что вы уже сделали: — Настроили под себя оптимальным образом настройки PostgreSQL, например, с помощью сервиса pgtune. — Решены все инфраструктурные вопросы в части работы сети, железа, дисков и так далее. — Вы понимаете как работает PostgreSQL в части модификации строк, как работает версионирование, что такое “мертвые” строки и так далее. Сосредоточимся только на базовых вопросах обслуживания. Итак, поехали! 📎 Статья @sqlhub