Data Science. SQL hub

💻Коллекция готовых SQL-запросов для PostgreSQL Нереально полезная подборка SQL-запросов, количество запросов вы и сами видите, это покрывает большую часть того, что может встретиться в практике В том числе здесь: ⏩Обсуждаются различные функции и операторы для выполнения запросов и модификации данных ⏩Рассматриваются способы разбиения больших таблиц на N тысяч записей и распараллеливания запросов ⏩Обсуждаются особенности сравнения record и NULL и способы быстрого получения количества записей в большой таблице ⏩Рассматриваются рекурсивные запросы, модификация пользовательских данных (UPSERT) и журналирование изменений таблицы ⏩Рассматриваются модификации схемы данных (DDL) и способы добавления ограничений таблицы и изменения ограничений внешнего ключа без блокирования таблицы 📎 Коллекция @sqlhub

Ищем системных аналитиков и технических писателей в команду Riverstart! Компания в IT с 2012 года, аккредитована Минцифры. Наши преимущества: ● вы сами выбираете формат работы - парттайм, фултайм или попроектно; ● можно работать в удобное время из любой точки мира; ● сможете выбирать проекты в тех отраслях, которые любите; ● платим по рынку, даем премии и составляем план развития на каждые полгода; ● 1 собеседование - не мучаем вас сериями собеседований. Поможем комфортно и плавно вкатиться в рабочий процесс. Организуем условия для развития и роста, назначим куратора, к которому можно обращаться по техническим вопросам. Узнайте больше о вакансиях и оставьте отклик на сайте!

🖥 Допустим вы хотите получить минимальное или максимальное значения из индексированного столбца. Очевидно, что это будет первая, либо последняя запись в этом столбце. База данных Oracle знает об этом, поэтому может оптимизировать данный запрос: INDEX FULL SCAN (MIN/MAX) или INDEX RANGE SCAN (MIN/MAX) При этом запросе считывается только одна необходимая запись. @sqlhub

erid: LjN8KchLQ Работу с каталогами данных обсудят на Х5 Tech Talk! X5 Tech и сообщество dbt & modern data stack собирают экспертов, чтобы поделиться опытом работы с каталогами данных, а также рассмотреть успешные внедрения решений на реальных кейсах. Темы выступлений: -- OpenMetadata как платформа для развития собственного каталога данных -- 2 года с OpenMetadata: как заманить и не отпускать пользователей -- Путь с каталогом данных от таблиц до моделей машинного обучения Спикеры из X5 Tech, Beeline и Tele2. Успей зарегистрироваться! ✅ Встречаемся 11 апреля в 19:00 __ Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689

💻Исследователи обнаружили, что GitHub Copilot генерирует уязвимые SQL-запросы (да и не только SQL-запросы) ⏩Не так давно исследователи компании Snyk, специализирующейся на безопасности, рассказали, что ИИ-помощник GitHub Copilot генерирует уязвимый код, если в проекте уже есть такой. Это связано с тем, что нейросеть просто анализирует кодовую базу, в том числе и плохие практики. ⏩Snyk провела эксперимент, чтобы доказать способность GitHub Copilot генерировать уязвимый код на основе такого же в проекте. На 1 этапе исследователи попросили ИИ-помощника сгенерировать SQL-запрос и получили это:

// create query to match input with the description or product name
var query = em.createQuery("SELECT p FROM Product p WHERE LOWER(p.description) like  OR lower(p.productName) like :input", Product.class);

Это качественный и безопасный запрос с именованными параметрами, что делает невозможным использование инъекций. ⏩После этого в соседнем файле проекта самостоятельно написали уязвимый SQL-запрос и снова попросили нейросеть написать код. Во второй раз GitHub Copilot сгенерировал следующий фрагмент:

// create query to match input with the description or product name
String query = "Select * from Product where lower(description) like '%" + lowerInput + "%' OR lower(product_name) like '%" + lowerInput + "%'";

Для контекста нейросеть использовала уязвимый код и на его основе сгенерировала ещё одну ошибку. Факторы, усугубляющие использование GitHub Copilot: — Закрепление плохого подхода. Начинающие разработчики, использующие ИИ-помощников, не замечают своих ошибок и начинают думать, что если код сгенерировала нейросеть, то он верный. — Отсутствие проверок. Ассистенты не могут проверять безопасность предложенных фрагментов, а разработчики редко пересматривают их. Это увеличивает количество уязвимостей в проекте. — Устаревшие шаблоны. GitHub Copilot может предлагать фрагменты, которые в сообществе уже признаны неверными и содержащими ошибки. Будьте аккуратнее, в общем) @sqlhub

Яндекс подготовит на треть больше  топовых специалистов по ML и Data Science Школа анализа данных Яндекса открыла набор на следующий учебный год. Школа решила увеличить число своих студентов — на обучение примут 400 человек, что обеспечит приток новых датасаентистов на рынок. Конкурс при приёме в ШАД остаётся стабильно высоким (17 человек на место в 2023 году), но добавляется новая возможность поступить — теперь абитуриенты смогут поступить также через очную олимпиаду. В недавнем исследований ШАД выяснил, что 77% выпускников устраиваются в лидирующие  технологические компании, а каждый четвёртый работает в научной сфере. Больше о карьерных треках выпускников ищите в карточках. @sqlhub

▶️7 типов баз данных, понимание которых пригодится специалисту Data Science ⏩Иерархические БД — DNS, LDAP В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей. ⏩Сетевые БД — IDMS Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения. ⏩Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов. ⏩Базы данных «ключ-значение» — Redis, Memcached В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект. ⏩Документная база данных — MongoDB, RethinkDB Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML. ⏩Графовая база данных — Neo4j, JanusGraph, Dgraph Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства. ⏩Колоночные БД — Cassandra, HBase Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами. 📎 Читать подробнее @sqlhub

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней. Ближайшее Fast Track мероприятия: • 13–14 апреля — Fast Track для дата-аналитиков со знанием SQL и Python, офер за 2 дня в команду Фудтеха. Зарегистрироваться

💻Вышла новая версия СУБД Postgres Pro Enterprise 16.2.1 Postgres Professional заявила о выпуске новой версии Postgres Pro Enterprise. Релиз включает возможности мажорных версий Postgres Pro Enterprise 16.1.1, PostgreSQL 16.2 и ряд новых разработок для повышения безопасности, улучшенной оптимизации запросов, аналитики и работы с большими объектами, рассказали информационной службе Хабра в пресс‑службе компании. Среди ключевых обновлений Enterprise 16.2.1: ⏩сделана интеграция с расширением Citus, обеспечивающим масштабируемость PostgreSQL за счёт шардирования данных на нескольких узлах PostgreSQL. В отличие от выпущенной в феврале 2024 года в широкое пользование СУБД Postgres Pro Shardman, ориентированной на OLTP‑нагрузку, Citus ориентирован на аналитическую OLAP‑нагрузку; ⏩стал доступен перепланировщик запросов Replan, один из компонентов adaptive query execution (адаптивного выполнения), срабатывающий по максимальному времени выполнения; ⏩добавлено расширение dbms_lob, позволяющее обращаться к определённым частям больших объектов (LOB) или большим объектам целиком и управлять ими (поддерживаются объекты CLOB, BFILE и временные BLOB); ⏩появилась новая версия pg_proaudit 2.0, поддерживающая правила, обобщающие типичные группы действий пользователей и срабатывание правил по группам пользователей, а не по их индивидуальным учётным записям; ⏩введены два новых модификатора для работы с пакетами: #private и *#export.* Модификатор #private определяет функции и процедуры как внутренние, а модификатор #export определяет, какие переменные пакета являются публичными; ⏩добавлены ассоциативные массивы и хэш‑коллекции (аналог indexed by таблиц PL/SQL в Oracle); 📎Подробная информация о новой версии доступна на сайте компании. @sqlhub

📆 23 апреля, с 09:00 до 19:00, Москва. Отраслевая дата-конференция для CDO и DWH-архитекторов. Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever. 📌 Также на мероприятии: — тренды в работе с данными; — обзор функционала и roadmap развития дата-платформы Arenadata; — дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud). — обзор состояния и перспектив рынка данных в России. 🏢 Место: отель Hyatt Regency Moscow Petrovsky Park. 🎦 Гибридный формат (онлайн + офлайн) ➡️ Регистрация здесь https://vk.cc/cvR1mo @sqlhub

💻Как управлять версиями вашего SQL Теоретически многие понимают, что контроль версий может: — Помочь нам сравнить запросы, чтобы найти различия — Сравнить предыдущую версию с новой версией запроса. — Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта. — Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом Но на практике всё не так просто. Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий. Я думаю, что лучший способ учиться — это брать и делать. Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver. 📎 Туториал @sqlhub

Канал для аналитиков уже в Telegram! Его ведет Влад Князев, аналитик из финтеха, который ярко и с юмором пишет заметки и проводит эфиры о том, как выйти на новый уровень в карьере в IT. Начинай прокачивать насмотренность системно уже сейчас👇 Подпишись на @godnolytika

💻Как управлять версиями вашего SQL Теоретически многие понимают, что контроль версий может: — Помочь нам сравнить запросы, чтобы найти различия — Сравнить предыдущую версию с новой версией запроса. — Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта. — Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом Но на практике всё не так просто. Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий. Я думаю, что лучший способ учиться — это брать и делать. Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver. 📎 Туториал @sqlhub

💻Инструменты для визуализации базы данных (и не только) Держите подборку отличных инструментов для работы с БД. Про некоторые вы 100% слышали, но по-любому найдёте в этом посте для себя полезное ⏩Tableau — Обеспечивает расширенные возможности для стилизации и визуализации данных. — Позволяет создавать разнообразные цветные диаграммы и наглядные графики. — Поддерживает широкий спектр источников информации, включая популярные системы управления базами данных SQL Server, PostgreSQL, Oracle и MySQL. ⏩Power BI Power BI от Microsoft – это мощный инструмент для бизнес-аналитики, который поддерживает широкий спектр типов данных и возможностей для их визуализации. Он позволяет создавать детализированные отчеты и интерактивные презентации, превращая комплексные наборы данных в понятные и привлекательные визуальные представления. ⏩SQL Server Management Studio (SSMS) SSMS – это интегрированная среда для работы с инфраструктурой SQL Server, которая обеспечивает эффективное управление базами данных и разработку SQL-запросов. Она позволяет управлять базами и объектами данных с использованием графического интерфейса пользователя. ⏩MySQL Workbench MySQL Workbench – это комплексный механизм для работы с базами данных MySQL. — Предлагает широкий спектр возможностей для администрирования, проектирования, разработки и тестирования баз данных. — Обеспечивает единую интегрированную среду (IDE) для различных операций. — Включает возможности для визуального моделирования, то есть создания и модификации структуры баз данных графическим способом. А ещё можно вспомнить pgAdmin, Oracle SQL Developer, DBeaver, PopSQL, Apache Superset, Google Data Studio, dbdiagram.io, Diagrams.net, QuickDBD 📎 Читать подробнее @sqlhub

4 апреля в 18:00 на ютуб-канале AvitoTech пройдет собеседование на позицию аналитика в Авито, где вы сможете отвечать на вопросы интервьюера и задавать свои. Вас ждут реальные задачи и кейсы, развернутый фидбек – всё то, что поможет подготовиться к важному этапу. Не упустите возможность узнать больше о том, как пройти интервью! А 6, 7 апреля для самых смелых аналитиков пройдет Weekend Offer в Авито. Оставляйте заявку – готовьтесь быть на высоте! 🚀

💻Годная Статья о SQLite в проде ⏩В последнее время SQLite вызывает всеобщий ажиотаж, но действительно ли он может конкурировать с MySQL и PostgreSQL в продакшне веб-приложений? ⏩Оглавление Зачем выбирать SQLite вместо MySQL или PostgreSQL — SQLite проще — SQLite переносим — SQLite быстр — SQLite надёжен — SQLite экономически эффективен — SQLite легко защитить Может ли SQLite подойти как БД для проекта в продакшене — Потребуется немного проб и ошибок, чтобы научиться использовать его правильно — Не масштабируется по горизонтали — Ограничение параллелизма — Ограниченная поддержка миграции — Ограничения типов данных Использование SQLite в продакшене, в реальном мире ⏩Усталость от DevOps реальна, от разрабов ожидают всё больше знаний об инфраструктуре, CI/CD, Docker, сетевых технологиях, Kubernetes, кластеризации, шардинге, и список можно продолжать. Но в реальности большинству проектов не нужна и половина всего этого. В современной веб-разработке наблюдается откат от сложности, сопровождающийся возвращением монолита и неуклонным ростом более простых фронтенд-фреймворков, таких, как Alpine.js и htmx. ⏩SQLite вписывается в эту логику, предоставляя более простую альтернативу традиционной клиент-серверной модели MySQL и PostgreSQL, об этом и говорится в статье. 📎 Статья @sqlhub

Если вы введете в поисковую строку «миграция на PostgreSQL», то найдете множество информации о миграции и инструментах, которые для нее используются. Кажется, что задача изучена всеми и точно по силам опытному эксперту. Но на практике, особенно при работе со сложными высоконагруженными системами, большинство вызовов возникает уже после миграции данных и кода. Разберемся, как справиться со всеми вызовами и провести миграцию без заметных изменений для бизнеса на онлайн-митапе Миграция на PostgreSQL: трудности перевода. 🔍 В программе ✔️ Как оценить миграцию на PostgreSQL ✔️На какие СУБД мигрируют российские компании ✔️Миграция схемы, данных и кода ✔️Тестирование и производительность ✔️Мониторинг и эксплуатация 📅 11 апреля, 16:00 Регистрируйтесь на митап и узнайте, как избежать всех «трудностей перевода» при миграции на PostgreSQL Реклама. Рекламодатель АО «К2 ИНТЕГРАЦИЯ».

💎 Яндекс выкатит линейку нейросетей YandexGPT 3 Самая первая языковая модель из третьего поколения уже доступна на Yandex Cloud. Это YandexGPT 3 Pro, которую можно встроить в продукты бизнеса через API и дообучить в сервисе ML-разработки Yandex DataSphere для потребностей компании, а именно — загрузить файл с примерами запросов и эталонными ответами на них. Новая нейросеть особенно хорошо проявляет себя в таких сферах, как клиентская поддержка, онлайн-продажи, цифровые коммуникации, маркетинг, реклама и управление персоналом. Также языковая модель лучше работает с документами: например, составляет договоры, счета, нормативную документацию, должностные инструкции и не только. Цена на использование нейросети снизилась почти в два раза. Плюс её можно попробовать в демо-режиме. @sqlhub

🖥 Sqlelf Инструмент, использующий функциональность виртуальной таблиц Sqlite, позволяющий исследовать объекты Linux ELF с помощью SQL. ELF (англ. Executable and Linking Format — это формат исполнимых и компонуемых файлов) — формат исполняемых двоичных файлов, используемый во многих современных UNIX-подобных операционных системах, таких как FreeBSD, Linux, Solaris и др. Традиционно изучение файлов ELF ограничивалось такими инструментами, как objdump или readelf. Несмотря на то, что эти инструменты обладают широкими возможностями синтаксического анализа, формат вывода и возможность задавать исследовательские функции инструментов довольно ограничены. ▪ Github Аналитика данных

Системным аналитикам DWH В апреле пройдет Tinkoff DWH Connect — три онлайн-ивента о DWH в Тинькофф. Для специалистов уровня мидл и выше. Вот что там будет: — 4 апреля — митап. Узнаете о проектах в DWH и команде. — 10 апреля — открытое собеседование. Посмотрите разбор технического интервью в прямом эфире. — 20 и 21 апреля — Weekend Offer. Можете пройти все этапы собеседования и присоединиться к команде Тинькофф за выходные. Можно участвовать во всех ивентах или сразу прийти на собеседование. Зарегистрируйтесь до 17 апреля. Детали тут. erid:2VtzqvuDXYh Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673