Data Science. SQL hub

🖥 Эта статья посвящена обновлению материализованных представлений (Materialized Views, MViews) в Oracle SQL по требованию! 🌟 Автор обсуждает сценарии, в которых материализованные представления используются для повышения производительности, например, при работе с большими объемами данных. 💡 Ключевая идея статьи — необходимость и способы ручного обновления MViews для синхронизации данных между исходными таблицами и представлением. Автор рассматривает подходы к настройке обновлений, использованию PL/SQL и управлению данными в различных бизнес-кейсах, а также демонстрирует, как работать с процедурой DBMS_MVIEW.REFRESH. 🔗 Ссылка: *клик* @sqlhub

Устроиться аналитиком в Яндекс за выходные 7–8 декабря проводим Weekend Offer Analytics. До 4 декабря оставьте заявку на участие, 7 декабря пройдите технические собеседования, а 8 декабря познакомьтесь с командами и получите офер. В мероприятии участвует 7 команд: Crowd, Карты, Поиск, YaGPT 2, Автономный транспорт, Реклама и Ecom-сценарии. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным. Нанимаем в офисы России и Республики Беларусь. Узнать подробности и зарегистрироваться можно здесь.

📊 D2 — современный язык для описания диаграмм с помощью текста! 💡 Этот инструмент преобразует текстовые сценарии в визуальные диаграммы, используя декларативный подход: вы описываете, что хотите видеть, а D2 автоматически создает визуализацию. 🔍 Особенности D2: 🌟 Простая синтаксическая структура и встроенные темы для быстрой визуализации. 🌟 Поддержка анимаций, LaTeX, нескольких языков, Markdown, UML и последовательностных диаграмм. 🌟 Экспорт в форматы PNG, SVG и PDF. 🌟 Возможность использования в локальном CLI или в онлайн-песочнице для быстрого создания и редактирования диаграмм. 🌟 Поддержка различных движков для компоновки, работы с контейнерами и импорта изображений. 🔐 Лицензия: MPL-2.0 🖥 Github @sqlhub

🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников! 🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов. 🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей. 🔐 Лицензия: BSD-2-Clause 🖥 Github @sqlhub

🔐 keyring — библиотека для работы с системными хранилищами паролей на Python! 🌟 Она позволяет разработчикам безопасно хранить и получать учетные данные, используя стандартные механизмы защиты, встроенные в операционные системы, такие как Windows Credential Locker, macOS Keychain, и Linux Secret Service. 💡 Основной функционал включает в себя автоматический выбор подходящего хранилища для текущей системы, поддержку плагинов для расширения возможностей и интеграцию с популярными менеджерами паролей. Это упрощает создание безопасных приложений, которые требуют работы с конфиденциальными данными. 🔐 Лицензия: MIT 🖥 Github @sqlhub

🌎 PostgreSQL и ClickHouse — два мира, два подхода к индексации! 💡 Вы когда-нибудь задумывались, как индексация может влиять на производительность ваших баз данных? На открытом вебинаре мы раскроем тайны реляционных и колоночных БД и покажем, как правильно использовать индексацию для оптимизации работы с большими объемами данных. 👨‍🏫 Спикер: Алексей Железной — Senior Data Engineer с более чем 5-летним опытом разработки и проектирования пайплайнов для обработки, хранения и визуализации данных. 📅 Дата: 2 декабря в 20:00 МСК 🎁 Бонус: Участники вебинара получат скидку на обучение на курсе «ClickHouse для инженеров и архитекторов БД» 👉 Регистрируйтесь на открытый урок по ссылке: ссылка Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Использование DuckDB для анализа Ad-Hoc: альтернатива Pandas для любителей SQL! 🌟 Анализ ad-hoc является неотъемлемой частью любого человека в области данных. Нам приходится регулярно объединять данные из различных источников, таких как файлы CSV или базы данных, для некоторого ad-hoc тестирования или быстрого составления отчетов. 🌟 Наиболее распространенным инструментом в нашем распоряжении является Pandas Python, где мы можем считывать данные из различных источников в dataframes, а затем выполнять анализ. Однако для тех, кому удобнее в SQL, чем в Python, DuckDB является отличной альтернативой! Он позволяет запрашивать данные с помощью SQL, без необходимости загружать их в базу данных или преобразовывать в dataframe Pandas. 🔗 Подробнее: *клик* @sqlhub

🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников! 🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов. 🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей. 🔐 Лицензия: BSD-2-Clause 🖥 Github @sqlhub

Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым». Все мы знаем, что цена ошибки в бизнесе - не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специалисты в этой области ценятся на рынке, а их зарплаты непрестанно растут. Если вы хотите углубиться в эту тему с нуля или апгрейднуть свои скиллы — пятого декабря декабря присоединяйтесь к бесплатному онлайн-вебинару «A/B тестирование на практике с Анатолием Карповым», с CEO karpov courses и ex ведущим аналитиком VK Сплитование трафика, контроль ошибок, работа с необычными распределениями, проведение А/А-тестов, это лишь малая часть задач, с которыми работают аналитики. На эфире вам расскажут из чего складывается А/B-тест на практике и что необходимо знать аналитику для грамотного проведения тестов. Присоединяйтесь к бесплатному онлайн-вебинару: https://clc.to/erid_LjN8K4jBN Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

🖥 libsql — это форк SQLite с добавлением новых возможностей, таких как обработка запросов по HTTP и gRPC, а также поддержка прозрачной репликации! 💡 LibSQL позволяет создавать распределенные базы данных, где запись обрабатывается основным сервером, а чтение может выполняться с реплик. Проект поддерживает безопасную передачу данных с помощью TLS и предоставляет Docker-образ для простого развертывания. 🔐 Лицензия: MIT 🖥 Github @sqlhub

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем. Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов. Где и когда? 👉 Нижний Новгород, 5 декабря 👉 Санкт-Петербург, 6 декабря Тебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем. Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

🖥 SurrealDB — это современная многомодельная база данных, предназначенная для универсального управления данными! 💡 Она объединяет возможности SQL, NoSQL и графовых баз данных в едином решении, позволяя использовать реляционные, документные, графовые, временные и ключ-значение модели данных без необходимости переключаться между разными системами. 🌟 SurrealDB также поддерживает запросы через SQL, GraphQL, REST и SDK для различных языков программирования, таких как Rust, JavaScript, Python, PHP, Java и другие. Кроме того, она включает функции реального времени, масштабируемости, встроенной поддержки AI и машинного обучения, а также обладает мощной системой управления схемами и разрешениями. 🔐 Лицензия: Apache-2.0 🖥 Github @sqlhub

Как с помощью простой шаблонизации выстроить гибкий CI/CD-пайплайн с самого начала? Расскажем на открытом уроке как эффективно использовать шаблоны: 1. Для минимизации времени на создание 2. Чтобы избежать переделки в будущем  ✅ Практика: Создание адаптируемых пайплайнов с использованием шаблонов 👉 Регистрация и подробности о курсе CI/CD на основе GitLab https://otus.pw/8owH/?erid=LjN8KVYqV #реклама О рекламодателе

🖥 Полезная статья с Postgre Wiki, которая рассказывает о распространенных ошибках при работе и более правильных методах для каждого случая! 🔗 Ссылка: *клик* @sqlhub

🎓 Администраторы баз данных, ищете способ повысить эффективность и гибкость работы с данными? 👨‍💻🛠👨🏻‍💻Присоединяйтесь к бесплатному вебинару курса «Highload Architect» и узнайте, как управлять данными из внешних источников с помощью Foreign-Data Wrappers (FDW) в PostgreSQL! Вы научитесь подключаться к внешним базам данных, таким как MySQL и MongoDB, и работать с ними прямо в PostgreSQL, как с обычными таблицами. 🌐 В рамках вебинара вы: - освоите практические приемы объединения данных из разных источников без сложных ETL-процессов - узнаете, как настраивать FDW для интеграции с облачными хранилищами и Big Data - получите ключевые советы по оптимизации производительности работы с внешними данными Готовьтесь к запуску курса «Highload Architect». Все участники вебинара получат спеццену на обучение. Улучшите свои навыки и работайте с данными еще эффективнее! 🔴 Ссылка для регистрации: https://otus.pw/JcdK/?erid=LjN8Kab8r Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 SQLFluff — это инструмент для статического анализа SQL-кода (SQL-linter), который помогает проверять и форматировать SQL-запросы в соответствии с определёнными стилевыми правилами! 🌟 Этот проект поддерживает гибкость за счёт настройки под разные диалекты SQL, такие как ANSI SQL, PostgreSQL, MySQL, BigQuery, Snowflake и многие другие. 🌟 Он особенно полезен в проектах ETL и ELT, а также совместим с такими инструментами, как Jinja и dbt (Data Build Tool), поддерживая шаблонизированные SQL-запросы. SQLFluff может автоматически исправлять большинство ошибок форматирования, экономя время разработчиков и позволяя сосредоточиться на задачах высокой важности. Для удобства пользователей доступно расширение для Visual Studio Code и подробная документация. 🔐 Лицензия: MIT 🖥 Github @sqlhub

Прокачивайте скилы на релевантных бизнес-задачах с помощью Яндекс Практикума. Наставники из Яндекса и других крупных компаний помогут со сложными темами, а ревьюеры дадут обратную связь. Как всё устроено: 1️⃣ Учитесь где и когда удобно Обучение разбито на спринты по несколько недель, а график позволяет совмещать учёбу с другими делами. 2️⃣ Практика с первого дня Учимся на примерах из работы и используем популярные рабочие инструменты. 3️⃣ Задачи из реальных сфер На курсе будут проекты из разных сфер бизнеса, чтобы вы набрались опыта и сразу же применяли новые знания. Прежде чем платить, любой курс можно попробовать и убедиться, что он вам подходит. Вот несколько наших курсов: ✅ Инженер данных ✅ Инженер машинного обучения ✅ SQL для работы с данными и аналитики ✅ SQL для разработки Получите скидку 20% после прохождения первой темы любого курса. Она бесплатная🔥

🖥 restic — это инструмент для создания резервных копий данных с фокусом на надежность, шифрование и скорость! 🌟 Разработанный как кросс-платформенное решение, restic поддерживает системы Windows, macOS, Linux и другие, предоставляя пользователям возможность хранить резервные копии в локальных или облачных хранилищах, таких как Amazon S3, Google Cloud Storage и другие. 🔍 Особенности: 🌟 Шифрование по умолчанию — все данные шифруются с использованием AES-256, что обеспечивает их безопасность. 🌟 Дедупликация данных — инструмент автоматически исключает дублирующиеся данные, что снижает объем хранимых резервных копий. 🌟 Поддержка различных источников и хранилищ — можно создавать резервные копии как локально, так и в облаке, на FTP или SFTP-серверах. 🌟 Удобство и скорость — restic оптимизирован для быстрого создания и восстановления резервных копий с минимальными ресурсами. 🔐 Лицензия: BSD-2-Clause 🖥 Github @sqlhub

PostgreSQL vs Oracle: что выбрать для вашего проекта? Построение базы данных — основа любой надежной системы. Oracle и PostgreSQL — два популярных выбора, но какой из них лучше для ваших задач? На бесплатном вебинаре 27 ноября в 20:00 мск разберем ключевые отличия PostgreSQL и Oracle! Вы узнаете, как их архитектура и лицензирование влияют на масштабируемость и стоимость, чем различаются их подходы к безопасности, и почему PostgreSQL становится фаворитом в современных компаниях. Спикер Игорь Тоескин — автор статей, участник центра компетенций СУБД в Магните.  Регистрируйтесь на вебинар и получите скидку на курс «PostgreSQL для администраторов баз данных и разработчиков». #реклама О рекламодателе

🖥 Освоение служб интеграции SQL Server: полное руководство! 💡 В современном мире, где все движет технологиями, эффективное управление данными и их перемещение играют ключевую роль в обеспечении бесперебойной работы предприятий. Одним из мощных инструментов, который существенно помогает в этом процессе, являются SQL Server Integration Services (SSIS). В этом видео вы углубитесь в тонкости SSIS, проливая свет на ее функциональность, предварительные условия, настройку, выполнение и расширенные функции, в конечном итоге предлагая подробное руководство по интеграции данных. 🕞 Продолжительность: 1:59:16 🔗 Ссылка: *клик* @sqlhub