Data Science. SQL hub

👣 RoseDB — высокопроизводительная NoSQL база данных на основе Bitcask RoseDB поддерживает такие структуры данных, как string, list, hash, set и sorted set. Написана RoseDB на Go 🖥 GitHub 🟡 Доки @Golang_google

PGConf.СПб 2024 — главная встреча постгресистов в Санкт-Петербурге! 1 октября в Питере пройдёт техническая конференция по PostgreSQL от российского СУБД-разработчика Postgres Professional. Более 20 докладов по темам: ✔️Эксплуатация СУБД. Опыт DBA ✔️Миграция на Postgres ✔️Мониторинг и настройка СУБД ✔️Отказоустойчивые и масштабируемые системы ✔️Новости от разработчиков Среди спикеров прошлого года — эксперты Сбера, ВТБ, Ozon, SoftSwiss, Netcracker, Нетрики и др. 💥На конференции пройдёт единственная в России сертификация по PostgreSQL! ГДЕ? Онлайн и офлайн: Гостиница «Санкт-Петербург», г. Санкт-Петербург, Пироговская набережная, д. 5/2 КОГДА? 1 октября 2024 года Участие в конференции для студентов и преподавателей — бесплатное. РЕГИСТРАЦИЯ

💻YugabyteDB — высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям. Быстрое создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
 yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
 --background=false

🖥 GitHub 🟡 Доки @sqlhub

MongoDB in Action 📖 Книга @sqlbooks

🖥 dbt-core Громоздкие #SQL запросы трудно читать, понимать и поддерживать. С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

models/average_order_amount.sql:

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

▪ Github @data_analysis_ml

⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде. ▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4. ▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более. ▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут. Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе. https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/ @sqlhub

ТОП-профессия у работодателей сразу после айтишников — аналитик Искусственный интеллект, большие данные, нейросети — самый сок технологий собрался в сфере аналитики и Data Science. При этом в профессию нередко идут бывшие «гуманитарии». Разобраться в сфере, направлениях, рабочих задачах и даже написать свой первый SQL-запрос можно на бесплатном курсе Нетологии «Профессии в аналитике: что выбрать». За 4 занятия вы узнаете: - Как работает наука о данных — что такое Big Data, искусственный интеллект, машинное обучение. - Какие инструменты используют аналитики, попробуете написать свой первый код. - Какие задачи решают разные специалисты, разберёте примеры. - Как стартовать в аналитике, даже с нуля. Обо всём этом простым языком расскажут преподаватели со стажем. Начните учиться бесплатно — https://netolo.gy/dqfm Реклама. ООО "Нетология". Erid 2VSb5x2uDpU

⚡️ Grafana Это открытая и компонуемая платформа для наблюдения и визуализации данных. Визуализируйте метрики, журналы и трассировки из нескольких источников, таких как Prometheus, Loki, Elasticsearch, InfluxDB, Postgres и многих других. ▪ Github @sqlhub

ИТ-команда Гринатома ищет разработчика форсайт. ✅ Предстоит участвовать в создании и изменении функциональности системы, выполнять разработки форсайт на основе функциональных спецификаций, проводить тестирования и актуализировать документацию. ✅ Идеальный кандидат знаком с продуктом Форсайт. Аналитическая платформа и языком программирования Fore, умеет писать SQL-запросы, понимает возможности виртуализации данных, а также имеет опыт в формировании модели данных и разработке на макро-языках. Если это про вас, узнайте о вакансии больше по ссылке (https://sochi.hh.ru/vacancy/99149187).

🖥 sqlite-vec Чрезвычайно маленькое и "достаточно быстрое" расширение для векторного поиска SQLite, которое работает в любом месте! Проект преемник sqlite-vss. - Храните и запрашивайте float, int8 и двоичные векторы в виртуальных таблицах vec 0. - Написан на чистом C, без зависимостей, работает везде, где работает SQLite (Linux/ macOS /Windows, в браузере с WASM, Raspberry Pis и т.д.) - Предварительная фильтрация векторов с rowid В подзапросах (...) ▪ Github @sqlhub

🖥 Pgroll - это полезная CLI утилита с открытым исходным кодом, предназначенная для безопасных и обратимых миграций схем для PostgreSQL, которая поддерживает работу с несколькими версиями схем одновременно. Она способна выполнять сложные операции миграции, гарантируя, что клиентские приложения продолжат функционировать во время обновления схемы базы данных. Это достигается без блокировки базы данных и позволяет старым и новым версиям схемы работать одновременно, даже при внесении критических изменений. Это устраняет риски, связанные с миграциями схем, и значительно упрощает развертывание клиентских приложений, предоставляя возможность мгновенного отката. Основные функции Pgroll включают: - Миграции без простоев (без блокировки базы данных, без критических изменений). - Поддержка одновременной работы старых и новых версий схемы. - Автоматическое заполнение столбцов при необходимости. - Мгновенный откат в случае возникновения проблем во время миграции. - Работа с существующими схемами, нет необходимости начинать с нуля. - Совместимость с Postgres 14.0 и более поздними версиями. - Работа с любым сервисом Postgres (включая RDS и Aurora). Pgroll написана на языке программирования Go, является кроссплатформенной и не требует внешних зависимостей. https://github.com/xataio/pgroll #postgres #migration #базыданных @sqlhub

Обрабатывай большие данные в реальном времени с эффективным сочетанием ClickHouse и Kafka 🔹Оптимизируйте производительность ваших решений открытом уроке «Интеграция ClickHouse с Apache Kafka» от Otus. Разберёмся в лучших практиках для оптимизации производительности и управления нагрузкой. ✅ Практика: Настрайка интеграции ClickHouse с Apache Kafka Урок приурочен курсу «ClickHouse для инженеров и архитекторов БД» от Otus. 👉 Регистрация и подробности: https://otus.pw/kMJC/?erid=LjN8KQH4P

💻Vectorlite — быстрое и настраиваемое расширение SQLite для векторного поиска — pip install vectorlite-py Vectorlite — это расширение для SQLite, которое обеспечивает быстрый векторный поиск на основе hnswlib и работает под Windows, MacOS и Linux. 🖥 GitHub @sqlhub

Как увеличить производительность DBaaS в 10 раз? Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS. Преимущества DBaaS на выделенном облачном сервере: - Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с. - Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса. - Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД. - Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018. Разверните базу данных на выделенном облачном сервере: https://slc.tl/0kzwp Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqumxLUM

💻FrostDB — встраиваемая колоночная БД, написанная на Go Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API). В первую очередь, FrostDB оптимизирована для записи. FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3. 🖥 GitHub @sqlhub

Как легко и просто администрировать кластеры Apache Ignite и Platform V DataGrid: вебинар от СберТеха 29 августа в 11.00 спикер СберТеха, владелец продукта Илья Степанов познакомит слушателей с инструментом Platform V Grid Center. Гости вебинара узнают, как продукт помогает расширить возможности администрирования кластера. А также – обо всех ключевых особенностях и функциях Platform V Grid Center: • просмотр и редактирование топологии кластера (baseline topology); • изменение статуса активации кластера; • создание и просмотр кэшей; • работа с SQL-консолью; • ручное и автоматическое создание снапшотов по расписанию; • запуск и анализ процедуры согласованности данных (idle verify). Ждем вас, будет интересно и полезно! Зарегистрироваться на мероприятие.

💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis. Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow. Особенности Kvrocks: — Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis. — Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен. — асинхронная репликация с использованием binlog, как в MySQL. — поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства. Быстрый старт с Docker:

docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0

🖥 GitHub 🟡 Доки @sqlhub

Хотите узнать, как эффективно хранить и анализировать большие данные в PostgreSQL? Ждем вас на открытом вебинаре 28 августа в 20:00 мск, где мы разберем: - как использовать расширения PostgreSQL для работы с временными рядами и распределенной обработкой данных; - стратегии проектирования схемы и партиционирования таблиц для повышения производительности; - эффективные методы написания запросов и анализа больших наборов данных; - интеграцию PostgreSQL с инструментами анализа данных. 👨‍💻🛠👨🏻‍💻 Урок подходит для разработчиков, аналитиков данных и администраторов БД. Спикер Алексей Железной — Senior Data Engineer. Встречаемся в преддверии старта курса «PostgreSQL для администраторов баз данных и разработчиков». Все участники вебинара получат специальную цену на обучение! 🔴 Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/Fes6D/?erid=LjN8KadLP