Data Science. SQL hub

🖥 Не забывайте обновлять Postgres! Регулярные обновления могут значительно повысить производительность и безопасность вашей базы данных. Кроме того, с postgresql_cluster этот процесс полностью автоматизирован ▪ Github @sqlhub

🖥 Не забывайте обновлять Postgres! Регулярные обновления могут значительно повысить производительность и безопасность вашей базы данных. C postgresql_cluster этот процесс полностью автоматизирован ▪ Github

Ты готов принять вызов и доказать, что заслуживаешь место среди лучших разработчиков баз данных? Наши курсы MS SQL Server Developer откроют перед тобой мир, где знания превращаются в силу, а умения – в власть над данными!   Покори вершины IT, освоив MS SQL Server – ключ к доминированию в сфере баз данных!   Не упусти шанс: ✅ Стать пионером в сообществе SQL-разработчиков. ✅ Получить работу в ведущих IT-компаниях. ✅ Создавать топовые продукты, которые будут диктовать рыночные тренды.   Только один тест отделяет тебя от начала пути к профессиональным вершинам. Справишься ли ты? Преодолей свои сомнения и подтверди свои навыки уже сейчас! Пройти тест и начать обучение: https://otus.pw/OHcx/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

💻Microsoft запустила общедоступную предварительную версию Copilot в базе данных SQL Azure Microsoft выпустила ограниченную общедоступную предварительную версию Copilot в базе данных SQL Azure. ИИ-помощник интегрирует данные и формулирует применимые ответы с использованием общедоступной документации, динамических представлений управления, хранилища запросов, представлений каталога и диагностики поддерживаемости Azure. Новое расширение Copilot будет включать два интерфейса: ⏩преобразование естественного языка в SQL. Эта функция в редакторе запросов портала Azure для базы данных SQL Azure преобразует запросы на естественном языке в SQL, делая взаимодействие с базой данных более интуитивным; ⏩интеграцию Azure Copilot. Она позволит клиентам самостоятельно управлять своими базами данных и решать проблемы с ними. Доступ к функции естественного языка можно получить, перейдя в базу данных SQL Azure и нажав «Launch inline copilot» на панели инструментов редактора запросов. Оттуда можно ввести свой вопрос. После этого нужно кликнуть «Создать запрос», и появится новый оператор присваивания кода T-SQL. Его можно выполнить или отклонить и ввести новое приглашение на естественном языке, которое создаст новый оператор кода, но не заменит предыдущий. Интеграция предоставляет пользователям базы данных SQL Azure доступ к Microsoft Copilot для Azure. Чтобы опробовать предварительную версию, нужно перейти на эту веб-страницу и зарегистрироваться в программе. Пока неизвестно, как долго продлится её тестирование. @sqlhub

Чтобы эффективно противостоять кибератакам, нужно быть в курсе основных тенденций киберугроз. В собственном центре исследования киберугроз «Солар» изучает актуальные тактики злоумышленников, а о последних событиях и новых решениях в сфере кибербезопасности рассказывает в своем канале. Подписывайтесь, и вы узнаете: - Как (Ex)Cobalt заразило госучреждение вредоносным модулем CobInt - Какие уязвимости скрывают популярные CMS-системы - Как будут действовать хакеры в 2024 году «Солару» есть что рассказать о кибербезопасности, ведь под его защитой данные более 850 компаний и миллионов пользователей. erid: LjN8K5zkS

💻Держите подборку самых актуальных команд для администрирования PostgreSQL ⏩В первую очередь команды ориентированы на PostgreSQL v.11.13, но большинство из них исправно работает в более старых и новых версиях. Особенности работы комманды в других версиях указаны в сноске*. Команды установки приведены для Ubuntu 20.04, но работать будут практически аналогично и в других средах. 📎 Полная шпаргалка (на скринах только часть) @sqlhub

Вы можете присваивать столбцу значение по УМОЛЧАНИЮ при добавлении или изменении строк с помощью ключевого слова DEFAULT

INSERT INTO ... VALUES ( DEFAULT, ... )

UPDATE ... SET ... = DEFAULT

#SQL #ORACLE @sqlhub

💻DDL лог в PostgreSQL. Описание и пример создания журнала DDL операций Неплохая статья, в которой рассматривается пример создания DDL лога в PostgreSQL – это своего рода журнал DDL операций. Подробно описывается, как реализовывать DDL лог с помощью триггеров событий. Структура статьи ⏩Что такое DDL лог и зачем он нужен ⏩Как создать DDL Log в PostgreSQL ⏩Триггеры событий в PostgreSQL — Типы событий — Команды DDL, на которые срабатывают триггеры событий — Функции для триггеров событий — Функции для получения информации в событийных триггерах — Команда CREATE EVENT TRIGGER ⏩Пример создания DDL лога в PostgreSQL — Таблица для хранения информации — Функция, которая будет вызываться при наступлении события — Создание событийных триггеров — Пример работы DDL лога 📎 Статья @sqlhub

💻Сложные SELECT в PostgreSQL Отличная статья, в которой обсуждаются: ⏩Операции над множествами (UNION, INTERSECT, EXCEPT) ⏩Common Table Expression, CTE (WITH) ⏩Оконные функции (WINDOW / OVER) ⏩Расширенные возможности агрегатных функций (GROUP BY) ⏩Функции в исходной выборке (FROM) ⏩Соединения (JOIN) и выражения подзапросов ⏩Управление порядком выполнения 📎 Статья @sqlhub

⛔Работаешь с базами данных и все еще не освоил ClickHouse? Исправь это всего за пару часов на бесплатном практическом уроке «Особенности индексов в колоночных БД на примере ClickHouse» от OTUS. Спикер Константин Трофимов — SRE/DBA-специалист в VK. На вебинаре вы сможете: - познакомиться с понятием индекс применительно к ClickHouse; - оценить пользу и применение индексов; - рассмотреть доступные варианты индексов и их особенности; - задать вопросы и получить ответы от эксперта. 🔔Встречаемся 26 марта в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД».  ➡️Регистрируйтесь прямо сейчас, чтобы посетить бесплатный урок.  💥Бонусом получите: - запись открытого урока - доступ ко всем открытым урокам курса - спец. цену на курс и даже рассрочку

💻Поговорим немного о автогенерации первичного ключа ⏩Первичный ключ в базах данных принято заполнять автоматически, используя встроенные в базу данных возможности. Такой подход лучше ручного заполнения по двум причинам. Во-первых, это просто реализовать. Во-вторых, база данных сама следит за уникальностью во время генерации. ⏩Автогенерация работает по следующим принципам: — Внутри базы создается отдельный счетчик, который привязывается к каждой таблице — Счетчик увеличивается на единицу при вставке новой строки — Получившееся значение записывается в поле, которое помечается как автогенерируемое ⏩Автогенерацию первичного ключа часто называют автоинкрементом (autoincrement). Что переводится как автоматическое увеличение и напоминает операцию инкремента из программирования ++. ⏩До определенного момента механизм автоинкремента был реализован по-своему в каждой СУБД разными способами. Это создавало проблемы при переходе от одной СУБД к другой и усложняло реализацию программного слоя доступа к базе данных. ⏩Эта функциональность добавлена в стандарт SQL:2003, то есть очень давно. И только в 2018 году PostgreSQL в версии 10 стал его поддерживать. Такой автоинкремент известен под именем GENERATED AS IDENTITY:

CREATE TABLE colors (
  -- Одновременное использование и первичного ключа и автогенерации
  id bigint PRIMARY KEY GENERATED ALWAYS AS IDENTITY,
  name varchar(255)
);

INSERT INTO colors (name) VALUES ('Red'), ('Blue');

SELECT * FROM colors;

-- id    name
-- 1     Red
-- 2     Blue

Если удалить запись с id равным двум и вставить еще одну запись, то значением поля id будет 3. Автогенерация не связана с данными в таблице. Это отдельный счетчик, который всегда увеличивается. Так избегаются вероятные коллизии и ошибки, когда один и тот же идентификатор принадлежит сначала одной записи, а потом другой. ⏩Вот его структура из документации:

column_name type GENERATED { ALWAYS | BY DEFAULT } AS IDENTITY[ ( sequence_option ) ]

@sqlhub

💻 Yandex Cloud выпустила большое обновление платформы для работы с данными Облачная платформа запустила сервис для управления метаданными Yandex MetaData Hub, повысила безопасность баз данных, а инструмент BI-аналитики Yandex DataLens получил новые возможности. Всё это позволит компаниям быстро и надёжно создавать дата-проекты в облаке — от корпоративных хранилищ данных до аналитических и рекомендательных систем. 💬 Больше об обновлениях платформы данных читайте в статье.

🖥 Harlequin — SQL IDE в вашем терминале Функции, которые вы ожидаете от IDE, работают прямо в вашем терминале". Среди этих функций: - Каталог данных: просмотр таблиц, столбцов и их типов. - Редактор запросов. - Окно для отображения результатов (возможность вывода 1M+ записей). - Экспорт результатов и история запросов. ▪Github @sqlhub

Рассказываем, как мигрировать на отечественную базу данных правильно. Приходите на вебинар «Инструменты миграции СУБД Ред База Данных» 🗓 22 марта в 11:00 Миграция базы данных — задача ответственная и масштабная. От принятых при миграции решений зависит качество работы всей инфраструктуры. Важно иметь под рукой проверенное руководство, которое поможет грамотно настроить процессы. К счастью, мы такое руководство как раз подготовили. На вебинаре 22 марта мы расскажем, как целостно перенести данные и адаптировать прикладное ПО под российскую СУБД Ред База Данных. Сопроводим рассказ демонстрацией миграции с помощью конвертера ora2rdb. Вы получите наиболее полное представление о миграции из надёжного источника. 📖 Программа: I. Особенности и проблемы миграции СУБД - Источники проблем - Этапы миграции - Инструменты II. Демонстрация конвертера ora2rdb - Возможности конвертера при миграции - Демонстрация примера конвертировани III. Блок вопросов и ответов Разобраться вам помогут: 🎙 Роман Симаков - архитектор СУБД Ред База Данных, директор департамента развития системных продуктов РЕД СОФТ 🎙Денис Висенте - разработчик СУБД Ред База Данных Регистрируйтесь по ссылке erid: 2Vtzqwm8bn9 Реклама, Общество с ограниченной ответственностью "Ред Софт", ИНН: 9705000373

💻Пару полезных советов при работе с PostgreSQL ⏩Используйте отдельные схемы для разных модулей Скажем, вам необходимо реализовать систему рассылки пуш-уведомлений на android-устройства клиентов. Вы пишете сервис, который будет работать с FCM. Пишете функции в вашей БД, которые будут выдавать списки token-текст (да там много полей вообще). Так вот, необходимо, чтобы такие ручки для разных модулей (бэкендов) лежали в отдельных схемах. ⏩Используйте группы ролей и назначайте гранты именно на роли Предположим, что вы реализовали пункт выше, теперь ваш сервис должен подключаться к БД и крутить свои запросы. Но под каким пользователем? Не будет же он бегать под postgres или admin?) ⏩Используйте расширения PostgreSQL — это мощная СУБД. Но и она не может быть универсальной. Не надо полагать, что всё делается штатными средствами PostgreSQL. Так-же не надо пробовать писать свои системы чего-либо. ⏩Храните дататайм в timestamptz Возьмите за привычку в БД всегда хранить timestampTZ и когда-нибудь Вам скажут большое спасибо за это. ⏩Используйте метрики. Пользуйтесь pg_stat_statements Так-же рекомендую сразу установить расширения для мониторинга запросов (например pg_stat_statements) ⏩В функциях лучше использовать CTE и длинные запросы, чем временные таблицы PostgreSQL всегда временные таблицы кладёт на диск, это займёт много времени. Используйте табличные выражения. Да и лучше всё писать одним оператором. ⏩Не делайте секции везде, где только можно Да да, секции — это круто. Но вот их использовать я бы рекомендовал только в некоторых случаях ⏩Не забывайте делать дополнительную статистику Да, когда планировщик не так представляет выхлоп — у вас могут получиться очень медленные запросы. ⏩Старайтесь не пихать всё в TOAST Наверное сразу стоит добавить и тот пункт, что не надо хранить в TOAST ( например json/text с дефолтным параметром хранения ) аналитические данные. 📎 Статья @sqlhub

Зачем учиться MS SQL Server в 2024? Чтобы эффективно работать с MS SQL Server крупному бизнесу нужны специалисты, которые хорошо понимают язык запросов, точно знают, что делает тот или иной код, где могут возникнуть потенциальные проблемы и как их можно разрешить На курсе «MS SQL Server Developer» от OTUS вы глубоко освоить MS SQL, сможете оптимизировать код и управлять рисками, даже если у вас миллиарды данных! Специалисты с такими компетенциями ценятся в крупнейших технологических компаниях, в финтехе и у лидеров рынка телекоммуникационных услуг. Осталось меньше половины мест. Поэтому успейте занять место по спец.цене, пройдите вступительный тест и узнайте насколько вы соответствуете требованиям рынка! Доступна рассрочка на обучение! Пройти тест: https://otus.pw/J8T5/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Как проверить, является ли строка продолжением предыдущей. В статье показано, как с помощью matching в Oracle #SQL найти серию последовательных строк с начальной даты и до конечной: MATCH_RECOGNIZE ( ... PATTERN (str e+) DEFINE e AS start_date = PREV(end_date) + 1 --start is 1 day after previous end ) https://how2ora-en.blogspot.com/2023/01/how-to-check-if-row-is-continuation-of.html @sqlhub

Знание SQL — must have в сфере аналитики Этот язык программирования помогает создавать, менять, обновлять базы данных и извлекать из них информацию для анализа. Он будет полезен не только аналитикам, но и всем, кто связан с данными — продакт- и проджект-менеджерам, маркетологам, финансистам. На бесплатном курсе-симуляторе «Введение в SQL и работу с базой данных» вы сможете примерить на себя роль аналитика. Перед вами будет стоять реальная аналитическая задача, в ходе решения которой вы узнаете: - как хранятся данные - какие бывают виды баз данных и чем они отличаются - как подключаться к реляционным базам данных - как делать простые запросы в SQL - как создавать простые отчёты и аналитику Все участники курса получат гайд для начинающих аналитиков. К концу курса SQL станет для вас близким и понятным. Приглашаем вас в увлекательное путешествие! Зарегистрироваться - https://netolo.gy/c0Sf Реклама ООО “Нетология” LatgBScV5

💎 Квантизация нейросетевых моделей Интересная статья, в которой ML-разработчик Яндекса рассказывает, что такое квантизация и как она помогает экономить ресурсы, разбирает типы данных и объясняет, что квантизовать, чтобы улучшить эффективность модели. Автор также рассказывает, что такое выбросы, как они портят жизнь ML-инженерам, а также как с ними бороться. 📎Статья @sqlhub

erid: LjN8KawpL Построение DWH в Yandex Cloud: кейс крупной логистической компании 21 марта в 16.00   На вебинаре эксперты iiii Tech и Yandex Cloud совместно с клиентом Рулог поделятся кейсом, как в рамках локализации отчетности развернуть DWH (КХД) на Yandex Cloud.  Расскажем о: - современном стеке аналитических инструментов - бесшовной миграции с международных облачных платформ  - о проекте построения DWH (КХД) на основе дата-контрактов  Вебинар будет полезен CDO, CTO, руководителям направлений по работе с данными, архитекторам данных, аналитиками и дата-инженерам.  Спикеры: Георгий Цыганков,  руководитель направления BI Андрей Суренский,  архитектор по работе с партнёрами Yandex Cloud Венера Никитина, бизнес-аналитик логистической компании Рулог Зарегистрироваться можно по ссылке