Data Science. SQL hub

🔥 Краткий обзор 25 баз данных, которые актуальны в 2023 году. Сейчас я познакомлю вас с 25 актуальными базами данных. От классических фаворитов до передовых новичков, приготовьтесь к дикой поездке по стране баз данных! 1. MySQL – The Classic CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; MySQL – это надежный дедушка баз данных – он существует с самой зари времен и каким-то образом продолжает становиться все лучше. Благодаря высокой производительности и совместимости почти со всеми языками программирования. 2. MongoDB – NoSQL Hipster Kid // Connect to MongoDB and insert a document const { MongoClient } = require("mongodb"); const uri = "mongodb://localhost:27017"; const client = new MongoClient(uri); await client.connect(); const db = client.db("mydb"); await db.collection("users").insertOne({ name: "John Rush" }); MongoDB - это крутая NoSQL база, которую я часто использую в своих проектах. 3. PostgreSQL – The Sophisticated One CREATE TABLE users (id SERIAL PRIMARY KEY, name VARCHAR(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; PostgreSQL, возможно, представляет собой идеальное сочетание производительности, функциональности и элегантности. 4. Oracle – The Enterprise Behemoth CREATE TABLE users (id NUMBER GENERATED BY DEFAULT ON NULL AS IDENTITY PRIMARY KEY, name VARCHAR2(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; Oracle похож на популярного школьника, который получает одни пятерки, но при этом играет в каждой спортивной команде – он все делает хорошо! 5. Cassandra – Distributed Dynamo from cassandra.cluster import Cluster cluster = Cluster(["127.0.0.1"]) session = cluster.connect() session.execute(""" CREATE KEYSPACE mykeyspace WITH replication={'class':'SimpleStrategy', 'replication_factor':1} """) session.set_keyspace("mykeyspace") session.execute(""" CREATE TABLE users ( id UUID PRIMARY KEY, name text ) """) Cassandra – это королева пчел распределенных баз данных – она обладает высокой масштабируемостью и отказоустойчивостью. 6. Redis – The Speedster import redis r = redis.Redis(host="localhost", port=6379) r.set("name", "John Rush") print(r.get("name")) Redis – это тот единственный друг, который может бегать быстрее Усэйна Болта, жонглируя горящими бензопилами. Это хранилище данных in-memory отличается молниеносной скоростью и идеально подходит для кэширования или приложений реального времени. 7. MariaDB – MySQL’s Open-Source Sibling CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; MariaDB имеет много общего с MySQL, но при этом делает упор на открытый исходный код и ориентированность на сообщество. Это как выбор между Pepsi и Coke – они обе утоляют жажду, просто зависит от того, какой вкус вы предпочитаете! ▪ Читать дальше @sqlhub

🧑‍🏫 9 лучших курсов и сертификаций по Spark. Apache Spark — фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. 1. NoSQL, Big Data, and Spark Foundations Specialization Время прохождения – 4 месяца (если тратить 3 часа в неделю) Кому стоит записаться? Для новичков. 2. Distributed Computing with Spark SQL Время прохождения – 13 часов Кто должен записаться на курс? Тем, кто уже имеет представление о SQL. 3. Apache Spark (TM) SQL for Data Analysts Время прохождения – 13 часов Кому стоит записаться на курс? Тем, кто уже знаком с SQL. 4.Meta Spark Creator AR Certification Prep Specialization Время прохождения – 3 месяца Кому стоит записаться? Тем, кто является новичком. 5. Data Analysis Using Pyspark Время выполнения – 1,5 часа Кому стоит записаться на курс? Тем, кто уже знает программирование на Python. 6. Scalable Machine Learning on Big Data using Apache Spark Время прохождения – 6 часов Кому стоит записаться? Тем, кто уже владеет Python, машинным обучением и базовыми знаниями SQL. 7. Big Data Analysis with Scala and Spark Время прохождения – 27 часов Кому стоит записаться? Тем, у кого есть предыдущие знания программирования на любом языке. 8. Data Engineering with MS Azure Synapse Apache Spark Pools Время прохождения – 7 часов Кому стоит записаться на курс? Тем, кто уже знает Python или SQL. 9. Building Machine Learning Pipelines in PySpark MLlib Время выполнения – 1,5 часа Кому стоит записаться? Тем, кто знает Python и основы машинного обучения. @sqlhub

🔥 Подборка каналов для Дата сайентиста 🖥 Machine learning ai_ml – машинное обучение, ии , нейросети. datasc - Data science в телеграм! @bigdatai - Big Data @machinelearning_ru – гайды по машинному обучению @machinelearning_interview – подготовка к собеседованию мл. @datascienceiot – бесплатные книги ds @ArtificialIntelligencedl – ИИ @machinee_learning – чат о машинном обучении @datascienceml_jobs - вакансии ds, ml @Machinelearning_Jobs - чат с вакансиями #️⃣ c# c++ C# - погружение в C# @csharp_cplus чат С++ - обучающий канал по C++. @csharp_1001_notes - инструменты C# 🖥 SQL базы данных @sqlhub - Повышение эффективности кода с грамотным использованием бд. @chat_sql - чат изучения бд. 👣 Golang @Golang_google - восхитительный язык от Google, мощный и перспективный. @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @golangtests - интересные тесты и задачи GO @golangl - чат изучающих Go @GolangJobsit - отборные вакансии и работа GO @golang_jobsgo - чат для ищущих работу. @golang_books - полезные книги Golang @golang_speak - обсуждение языка Go @golangnewss - новости go 🖥 Linux linux - kali linux ос для хакинга linux chat - чат linux для обучения и помощи. @linux_read - бесплатные книги linux 🖥 Python @pythonl - главный канал самого популярного языка программирования. @pro_python_code – учим python с ментором. @python_job_interview – подготовка к Python собеседованию. @python_testit - проверочные тесты на python @pythonlbooks - современные книги Python @python_djangojobs - работа для Python программистов @python_django_work - чат обсуждения вакансий 🖥 Javascript / front @react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов. @javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS @Js Tests - каверзные тесты JS @hashdev - погружение в web разработку. @javascriptjobjs - отборные вакансии и работа FrontEnd. @jsspeak - чат поиска FrontEnd работы. 🖥 Java @javatg - выучить Java с senior разработчиком на практике @javachats - чат для ответов на вопросы по Java @java_library - библиотека книг Java @android_its - Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 👷‍♂️ IT работа https://t.me/addlist/_zyy_jQ_QUsyM2Vi -ит каналы по яп с вакансиями 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп @rust_chats - чат rust 📓 Книги https://t.me/addlist/HwywK4fErd8wYzQy - актуальные книги по всем яп ⭐️ Нейронные сети @vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы. @aigen - сети для генерации картинок. видео, музыки и многого другого. @neural – погружение в нейросети. 📢 English for coders @english_forprogrammers - Английский для программистов 🖥 Devops Devops - канал для DevOps специалистов.

📌Подключаем SQLAlchemy к существующей базой данных SQL Server в Python Создание ORM-модели SQLAlchemy из существующей базы данных SQL Server. 📖Библиотеки * SQLAlchemy * pyodbc Вы можете установить эти библиотеки с помощью команды pip в терминале. pip install sqlalchemy pip install pyodbc Давайте писать! Во-первых, нам нужно создать базовый класс для нашей модели. Создайте файл с именем base.py и добавьте в него следующий код: from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() Теперь нам нужно сопоставить существующую таблицу с нашим классом. В данном случае мы сопоставим таблицу с двумя колонками с нашей моделью. Таблица представляет собой базу клиентов с полями кода и именем. Для этого мы создадим файл customer.py и добавим в него следующий код: import sqlalchemy as sa from base import Base # Reference to the previously created class class Customer(Base): __tablename__ = 'customer' # Name of the table in the database customerid = sa.Column('customerid',sa.String(20), primary_key=True) customername = sa.Column('customername',sa.String(20)) После того как мы создали базовый класс и класс отображения таблиц, пришло время создать модель. Для этого мы создадим отдельный файл dbmodel.py и импортируем класс таблиц клиентов, который мы только что создали, чтобы выполнять в нем запросы. from sqlalchemy import create_engine, select from sqlalchemy.orm import sessionmaker from customer import Customer # Customer map class class dbmodel(object): db_config = '' engine = object def __init__(self, conn_string) -> None: self.engine = create_engine(conn_string) # Function to get the name of a customer by id def get_customer_name_by_id(self, customer_id): Session = sessionmaker(bind=self.engine, future=True) session = Session() result = customer_id try: customer_row = session.execute( select( Customer ).where( Customer.customerid == customer_id ) ).scalar_one_or_none() if customer_row is not None: result = customer_row.customername return result except Exception as ex: print(ex.args) Обратите внимание, что в коде мы передаем строку подключения в качестве параметра. Эта строка подключения немного отличается от той, что нужна для SQLite, и мы определим ее в файле run.py, где мы соберем все вместе и запустим тест. Добавим в файл следующий код: import sys import dbmodel as db def main(argv): user = 'youruser' password = 'yourpassword' server = 'yourhost' dbname = 'yourdbname' # SQL Server connection string connString = 'mssql+pyodbc://{0}:{1}@{2}/{3}?driver=SQL Server'.format(user, password, server, dbname) accountToGet = 'xxx' dbSQL = db.dbmodel(connString) customer_name = dbSQL.get_customer_name_by_id(accountToGet) print(customer_name) if __name__ == '__main__': main(sys.argv[1:]) @sqlhub

Город засыпает, просыпаются рекрутеры и делают выбор: кто попадет в команду разработки внутренних продуктов. Мы в МТС любим играть в мафию и проводить One day offer. И подумали, почему бы не совместить эти две активности и заодно найти аналитиков разных профилей. Наша команда развивает сервисы в рамках экосистемы HR Tech. Например, разработка системы управления эффективностью или создание корпоративного портала для сотрудников. У нас амбициозные планы — стать первым цифровым HR с комплексным подходом к разработке и поддержке внутренних продуктов. Но для этого нам нужны настоящие профи. Готовы участвовать и проверить — вы Дон SQL или мирный аналитик? Кликайте по ссылке и начните игру. Да, нужно успеть до 19 июня

🖥 Улучшаем производительность SQLite SQLite – это легковесная и удобная в использовании система управления базами данных. Но приложения, использующие SQLite, могут столкнуться с проблемами производительности, которые могут негативно отразиться на работе всего приложения. Благодаря новому гайду от Google, разработчики получат ценные рекомендации по оптимизации работы с SQLite. Новейшие техники и советы помогут избежать возможных проблем с производительностью и ускорят работу приложения. Хотя эти рекомендации сконцентрированы на Android-приложениях и примеры кода даны на Kotlin и Java, техники оптимизации производительности могут быть полезны для любого разработчика, работающего с SQLite. 📌 Читать @sqlhub

Как устроены нейронные сети и как применять их в продуктовой аналитике Разберёмся в прямом эфире: 14 июня в 19:00 (по Москве) Вебинар проведёт Анатолий Карпов — автор тех самых бесплатных курсов на stepik, основатель школы karpovꓸcourses и по совместительству ведущий аналитик с опытом работы в Mail.Ru, VK и JetBrains. Ждём вас на трансляции! Регистрируйтесь, чтобы не пропустить

💫 Как вместо id подставить значение sql Чтобы вместо значения id вставить другое значение в SQL, вы можете использовать оператор UPDATE для обновления данных в таблице. Допустим, у вас есть таблица my_table со столбцами id, name и age. Чтобы обновить значение name для строки с определенным значением id, используйте следующий запрос: UPDATE my_table SET name = 'New Name' WHERE id = 1; В этом запросе my_table - это название вашей таблицы, name - это название столбца, значение которого нужно обновить, New Name - это новое значение, которое вы хотите установить, а id = 1 - это условие, которое определяет, какая строка должна быть обновлена. Вместо 1 вы можете использовать любое значение, которое соответствует условию. Также вы можете использовать оператор UPDATE для обновления нескольких столбцов в одной строке. Например, чтобы обновить значения столбцов name и age для строки с определенным значением id, используйте следующий запрос: UPDATE my_table SET name = 'New Name', age = 30 WHERE id = 1; В результате выполнения этого запроса значения столбцов name и age будут обновлены для строки с id равным 1. @sqlhub

💫 SQLite для работы Рассказываю, почему SQLite отлично подойдет вам в повседневной работе. И неважно, разработчик вы, аналитик, тестировщик, админ или продакт-менеджер. Для затравки несколько известных фактов: ▪SQLite — самая распространенная СУБД в мире, включена во все популярные ОС. ▪Работает без сервера. ▪Для разработчиков — встраивается прямо в приложение. ▪Для всех остальных — удобная консоль (REPL) одним файлом (sqlite3.exe на Windows, sqlite3 в Linux / macOS). 📌 Читать @sqlhub

Умение анализировать данные и извлекать из них пользу для бизнеса — востребованный навык во многих компаниях. Освоить SQL и другие инструменты дата-анализа и стать ключевым специалистом бизнеса со средней зарплатой от 130 000 рублей и выше поможет программа дополнительного профобразования «Профессия аналитика данных» от школы аналитики Changellenge >> Education! Преимущества курса: — Будете учиться у действующих сотрудников Google, СитиМобила, VK, СИБУРа и других компаний на живых практических занятиях. — Решите 13 бизнес-задач в роли аналитика данных и получите обратную связь от куратора курса и сотрудника Google Федора Лисицына. — Освоите работу с данными в Excel, SQL, Python и BI-системах. Изучите маркетинговые и продуктовые показатели и unit-экономику. — Попадете в закрытое бизнес-сообщество из 1300+ наших выпускников и преподавателей, где получите доступ к инсайдерским вакансиям или даже личную рекомендацию в желаемую компанию. — Сможете пропустить этапы отбора в компании-партнеры — Ozon, Kept (ex-KPMG), ДРТ (ex-Deloitte). — Получите диплом установленного образца о профпереподготовке и сможете вернуть 13% от стоимости курса в качестве налогового вычета. Старт курса — 30 июня. Оставьте заявку до 12 июня и получите дополнительную скидку в 10 000 руб. (то есть до 41% скидки на сайте плюс 10 000 рублей) по промокоду SQLHUB по этой ссылке: https://u.to/fZK3Hw

🦆 DuckDb: эффективная OLAP-база данных DuckDB набирает популярность, поскольку столбцово-векторный механизм этой базы данных позволяет выполнять аналитические типы запросов. Это аналитическая или OLAP-версия SQLite, широко распространенной встроенной СУБД. Хотя DuckDB  —  это СУБД, ее установка проще по сравнению с Microsoft SQL Server и Postgres. Кроме того, для выполнения запроса не требуется никаких внешних зависимостей. Выполнить SQL-запрос можно с помощью DuckDb CLI. Если вы предпочитаете интерфейс SQL, DuckDb может стать для вас лучшей альтернативой анализу данных непосредственно в CSV или Parquet-файлах. Продолжим с примерами кода и одновременно покажем, насколько просто работать с SQL в DuckDb. В DuckDb есть функция read_csv_auto для вывода CSV-файла и загрузки этих данных в память. Во время выполнения было обнаружено, что нужно изменить SAMPLE_SIZE=-1, чтобы пропустить выборку, так как некоторые поля в наборе данных не были выведены правильно, а выборка по умолчанию составляет 1000 строк. import duckdb from repeat_helper import repeat_executor con = duckdb.connect(database=':memory:') con.execute("""CREATE TABLE parking_violations AS SELECT "Summons Number", "Vehicle Make", "Issue Date" FROM read_csv_auto('/Users/chengzhizhao/projects/pandas_alternatives/Parking_Violations_Issued_-_Fiscal_Year_2017.csv', delim=',', SAMPLE_SIZE=-1);""") con.execute("""SELECT COUNT(1) FROM parking_violations""") print(con.fetchall()) # ## Фильтрация по марке автомобиля (для BMW) @repeat_executor(times=5) def test_filter(): con.execute(""" SELECT * FROM parking_violations WHERE "Vehicle Make" = 'BMW' """) return con.fetchall() # # ## Группировка по марке автомобиля и подсчет @repeat_executor(times=5) def test_groupby(): con.execute(""" SELECT COUNT("Summons Number") FROM parking_violations GROUP BY "Vehicle Make" """) return con.fetchall() # # # ## SELF join @repeat_executor(times=5) def test_self_join(): con.execute(""" SELECT a."Summons Number" FROM parking_violations a INNER JOIN parking_violations b on a."Summons Number" = b."Summons Number" """) return con.fetchall() # ## оконная функция @repeat_executor(times=5) def test_window_function(): con.execute(""" SELECT *, ROW_NUMBER() OVER (PARTITION BY "Vehicle Make" ORDER BY "Issue Date") FROM parking_violations """) return con.fetchall() test_filter() # Время медианы - 0.410 с test_groupby() # # Время медианы - 0.122 с test_self_join() # # Время медианы - 3.364 с test_window_function() # # Время медианы - 6.466 с Тест фильтрации показал достижение паритета, а в остальных трех тестах производительность намного выше по сравнению с Pandas. Чтобы не писать на Python, можно использовать DuckDb CLI с SQL-интерфейсом в командной строке или TAD. https://duckdb.org/ @sqlhub

Специально для тех, кто всё пропустил, — напоминаем, что осталось не так много времени до конца приёма заявок в Академию Аналитиков Авито! Онлайн-программа для аналитиков данных и DS-инженеров стартует в сентябре, но успеть податься нужно до 13 июня. На курсе с каждым студентом работает команда профессионалов — куратор, экспертные преподаватели и ментор из числа действующих опытных аналитиков или DS-инженеров Авито. Курс будет особенно интересен студентам, но ждём всех желающих научиться чему-то новому или прокачать свои навыки. Потребуются знания мат. статистики, теории вероятностей и умением программировать на любом языке. 🤳 За подробностями ныряем по ссылке — изучаем программу и заполняем заявку. Реклама. ООО «Авито Тех». LdtCK3uav

🖥 Полезные инструменты для защиты от SQL и NoSQL инъекций 1.SuIP.biz Обнаружение уязвимости для SQL-инъекций в режиме онлайн с помощью sup.biz и поддержка баз данных MySQL, Oracle, PostgreSQL, Microsoft SQL, IBM DB2, Firebird, Sybase. SQLMap поможет протестировать сервис на все 6 методов инъекции. 2.Тест на уязвимость SQL-инъекции онлайн c Hacker Target Еще один онлайн-инструмент Hacker Target на основе SQLMap для поиска уязвимости bind & error против GET-запроса HTTP. 3. Netsparker Netsparker готов просканировать уровень веб-безопасности предприятий: он делает даже больше, чем просто тест на уязвимость SQL. Человек также может интегрировать приложения для автоматизации веб-безопасности. Пользователь может проверить индекс уязвимости сайта, который прошел сканирование от Netsparker. 4. Vega Vega – это сканер безопасности с открытым исходным кодом, который может быть установлен на Linux, OS X и Windows. Vega написан на Java, он имеет графический интерфейс. Не только SQLi: Vega можно использовать для тестирования на многие другие типы уязвимостей, такие как: Инъекция XML/Shell/URL; Directory listing; Remote file includes; XSS. Vega выглядит многообещающим бесплатным сканером безопасности сети. 5. SQLMap SQLMap – это один из популярных инструментов тестирования с открытым исходным кодом на выполнение SQL-инъекций в системе управления реляционными базами данных. Sqlmap проводит перечисление пользователей, паролей, хэшей, баз данных и поддерживает полный дамп таблиц базы данных. Если пользователь использует Kali Linux, то он может применить SQLMap, не устанавливая его дополнительно. 6.SQL Injection Scanner Онлайн сканер для проведения пентестинга, который использует OWASP ZAP. Есть две версии – упрощенная (бесплатная) и полная (нужно зарегистрироваться). 7.Appspider Appspider, разработанный Rapid7, — это динамическое решение для тестирования безопасности приложений на обход защиты и более чем 95 типов атак. Уникальная функция Appspider под названием «vulnerability validator» позволяет разработчику воспроизвести уязвимость в режиме реального времени. Это очень удобно, когда администратор исправил уязвимость и хочет повторно протестировать ресурс, чтобы точно убедиться, что риска для системы больше нет. 8. Acunetix Acunetix – это готовый к работе сканер уязвимостей веб-приложений, которому доверяют более 4000 компаний по всему миру. Не только сканирование SQLi: инструмент способен найти более 6000 других уязвимостей. Каждая находка классифицируется, и показываются потенциальные корректировки системы безопасности: поэтому пользователь всегда знает, что нужно сделать, чтобы исправить ситуацию к лучшему. Кроме того, человек может интегрироваться с системой CI/CD и SDLC, поэтому каждый риск безопасности идентифицируется и фиксируется до того, как приложение будет развернуто. 9. Wapiti Wapiti – это сканер уязвимостей на основе Рython. Он поддерживает большое количество инструментов для обнаружения следующих атак: Sql и XPath; CRLS и XSS; Shellshock; File disclosure; Server-side request forgery; Command execution. Он поддерживает конечную точку HTTP/HTTPS, несколько типов аутентификации, такие как Basic, Digest, NTLM и Kerberos. У пользователя есть возможность создавать отчеты о сканировании в формате HTML, XML, JSON и TXT. 10. Scant3r Scant3r – это «легкий сканер», основанный на Python. Он ищет возможность проведения атак XSS, SQLi, RCE, SSTI в заголовках и параметрах URL-адресов. @sqlhub

Как переписать и оптимизировать ваши SQL-запросы к Pandas на пяти простых примерах Аналитики данных, инженеры и учёные одинаково знакомы с SQL. Язык запросов по-прежнему широко используется для работы с реляционными базами данных любого типа. Однако, в настоящее время, всё больше и больше, особенно для аналитиков данных, растут технические требования, и ожидается, что люди, по крайней мере, знают основы языка программирования. При работе с данными Python и Pandas являются обычным дополнением к списку требований в описании вакансий. Хотя Pandas может быть новым для людей, знакомых с SQL, концепции выбора, фильтрации и агрегирования данных в SQL легко переносятся в Pandas. Давайте рассмотрим в этой статье некоторые распространённые SQL-запросы и способы их написания и оптимизации в Pandas. Читать @sqlhub

🧰 ts-sql-query — инструмент для построения типобезопасных SQL-запросов. Это что-то вроде QueryDSL/JOOQ в Java или LINQ в .NET, только для TypeScript с поддержкой MariaDB, MySql, Oracle, PostgreSql, Sqlite и SqlServer.  🔗 Документация & Репозиторий

🖥 SQL Server Tools Полезные инструменты разработки и администрирования для Microsoft SQL Server 1. Common-Info Cкрипты общего назначения для просмотра состояния и настроек инстанса и др 2. Data-Model-Info Просмотр модели данных и других связанных объектов 3. Databases-Info Информация о базах данных 4. Statistics Информация о статистиках, вопросах производительности и их анализе 5. Indexes Информация об индексах, вопросах производительности и их анализе 6. File-Groups Информация о файловых группах 7. Partitioned-Tables-and-Indexes Секционирование таблиц и индексов 8. Perfomance Производительность и оптимизация запросов, настроек сервера и поиск узких мест 9. Backup Резервное копирование и восстановление данных 10. Maintenance Обслуживание баз данных и сервера 11. 1С-Extended-Settings Инструмент для поддержки произвольных индексов, изменение существующих объектов, сжатия таблиц и индексов, файловых групп и прочего для баз 1С:Предприятия 12. BCP Работа с утилитой Bulk Insert Programm (BCP) 13. Bulk-Operations Раздел с полезной информацией об операциях массовой модицикации данных 14. AlwaysOn О работе с группами высокой доступности AlwaysOn, настройке WSFC и др. 15. Diagnostics Диагностика работы SQL Server 16. FullText-Search Полнотекстовый поиск и все что с ним связано 17. TempDB Все что связано с TempDB и временными таблицами 18. Monitoring Мониторинг стабильности и производительности 19. Internals Информация о внутренностях работы СУБД 20. SSAS Подраздел об SQL Server Analysis Services 21. PowerShell Работа со SQL Server из PowerShell 22. Linux Работа со SQL Server под Linux 23. Integration Информация о средствах интеграции SQL Server с другими системами и наоборот. 24. Jobs Информация о заданиях и их настройке. 25. Trace-Flags Флаги трассировки. 26. Replication-And-High-Availability Информация о механизмах репликации данных, высокой доступности и отказоустойчивости. 27. Track-Data-Changes Механизмы отслеживания изменения данных. 28. Security Безопасность, управление доступом и связанные темы. 29. SQLCLR Материалы по созданию расширений для SQL Server на базе SQLCLR @sqlhub

🔥 6 бесплатных ресурсов для практики в SQL SQLZoo - рекомендуем тем, кто начинает изучать язык. На сайте 9 разделов с задачами по sql. Их решение займет 18–20 часов. Среди тем — вложенные запросы или обработка значений null. Также доступны разборы решений. В SQLZoo есть справочник терминов. SQLTest - здесь можно изменять или замещать значения и масштабировать их. Это позволяет имитировать взаимодействие с БД произвольного количества пользователей или запросов. Сервис генерирует запросы к базе данных SQL Server и поддерживает MySQL и Oracle. SQLTest доступен в десктопной и облачной версии. Pgexercises - Сайт состоит из 80 упражнений для работы с объектно-реляционной системой PostgreeSQL. Доступен один набор данных, который состоит из 3 таблиц: members, booking и facilities. Упражнения начинаются с предложений select и where, затем рассматриваются оконные функции и рекурсивные запросы. Курс разделен на блоки: ▪Простые запросы SQL; ▪Присоединение и подзапросы; ▪Изменения данных; ▪Агрегация; ▪Работа с метками времени; ▪Операции с рядами; ▪Рекурсивные запросы. SQL Fiddle — сервис с открытым исходным кодом. Сайт позволяет делиться информацией с другими пользователями. Он поддерживает БД Oracle, SQLite, MySQL. Также есть возможность экспортировать данные в разных форматах: иерархические файлы (например, XML-документы), текстовые и таблицы. Oracle LiveSQL — это облачная платформа для тестирования и обмена сценариями SQL и PL/SQL. Среди функций — инструмент меню Quick SQL, который позволяет создавать операторы с помощью сокращенного синтаксиса. Система сохраняет информацию о предыдущих сеансах, наборах операторов, которые можно перезапустить или сохранить как сценарии. Также сценарии можно воспроизвести повторно или загрузить созданные на сторонних ресурсах. В последней версии СУБД Oracle Database 19c разработчики добавили функцию Automatic Indexing, которая автоматически создает индексы к БД. HackerRank - социальная платформа для соревновательного программирования предлагает упражнения для разных языков. Среди них — сложные практические задачи по SQL. К некоторым задачам нет опубликованных ответов, а за лучшие решения пользователь получает больше баллов в рейтинге сообщества. @sqlhub

Хотите освоить SQL и научиться решать реальные продуктовые задачи? karpov.courses сделали бесплатный Симулятор, где SQL изучают с нуля до продвинутого уровня на практике. Сейчас на курсе более 120 задач: от базовых до оконных функций. Это не просто курс, где вы изучите синтаксис языка и основные виды запросов. Здесь вы попробуете себя в роли настоящего аналитика сервиса доставки, поработаете в реальном рабочем окружении и научитесь решать нетривиальные задачи. Вы разберётесь как: • переводить запросы с языка бизнеса на язык аналитики • формулировать и проверять гипотезы • рассчитывать продуктовые метрики • визуализировать результаты анализа • строить интерактивные дашборды Обучение проходит на платформе школы [Начать учиться SQL]

🖥 Оператор EXCLUDE в PostgreSQL: Продвинутые ограничения для базы данных PostgreSQL известна множеством мощных функциональных возможностей, и одна из них — оператор EXCLUDE. Этот оператор позволяет создавать продвинутые ограничения на множества значений внутри столбцов таблицы. В этой статье хочу рассказать про оператор EXCLUDE, показать примеры его использования, чтобы вы могли лучше понять, как использовать его для создания гибких и эффективных баз данных. Оператор EXCLUDE как и UNIQUE в PostgreSQL используется для определения ограничений на множества значений внутри столбцов таблицы. В отличие от UNIQUE он позволяет указать правила, которые определяют, какие значения не могут существовать вместе в определенном столбце или наборе столбцов. Оператор EXCLUDE часто используется с индексом типа GiST или SP-GiST, чтобы обеспечить эффективность выполнения запросов, хотя может применяться и вместе с обычным B-Tree индексом. Примеры использования 1. Стандартным примером использования EXCLUDE может служить ограничение на пересечение временных интервалов (например сеансов в кинозале). create table events ( id serial primary key, event_time tstzrange, -- дата и время начала и конца constraint no_screening_time_overlap exclude using gist ( event_time WITH && -- проверка на пересечение ) ); insert into events (event_time) values ('["2023-01-01 19:00:00", "2023-01-01 20:45:00"]'); После этого Вы можете попробовать вставить еще олдну строку с интервалом пересекающим один из уже существующих в таблице. Скорей всего у Вас не получится и база данных вернет ошибку. Если же Вы преуспеете — отпишитесь в комментах! Так же как и UNIQUE, ограничение EXCLUDE может налагаться на нруппу столбцов. Например Вы можете использовать колонки event_start и event_end типа timestamp и также ограничить наложения по времени. Ниже пример: CREATE TABLE events ( event_id SERIAL PRIMARY KEY, event_name VARCHAR(100) NOT NULL, event_start TIMESTAMPTZ NOT NULL, event_end TIMESTAMPTZ NOT NULL, EXCLUDE USING GIST (event_start WITH &&, event_end WITH &&) ); Аналогично временным диапазонам можно накладывать ограничения на диапазону чисел: CREATE TABLE ranges ( range_id SERIAL PRIMARY KEY, start_value INTEGER NOT NULL, end_value INTEGER NOT NULL, EXCLUDE USING GIST (int4range(start_value, end_value, '[]') WITH &&) ); В этом примере создается таблица ranges, которая содержит числовые диапазоны. Оператор EXCLUDE с индексом GiST указывает, что числовые диапазоны в столбцах start_value и end_value не могут перекрываться. @sqlhub