Data Science. SQL hub

MongoDB in Action 📖 Книга @sqlbooks

🖥 dbt-core Громоздкие #SQL запросы трудно читать, понимать и поддерживать. С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

models/average_order_amount.sql:

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

▪ Github @data_analysis_ml

⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде. ▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4. ▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более. ▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут. Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе. https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/ @sqlhub

ТОП-профессия у работодателей сразу после айтишников — аналитик Искусственный интеллект, большие данные, нейросети — самый сок технологий собрался в сфере аналитики и Data Science. При этом в профессию нередко идут бывшие «гуманитарии». Разобраться в сфере, направлениях, рабочих задачах и даже написать свой первый SQL-запрос можно на бесплатном курсе Нетологии «Профессии в аналитике: что выбрать». За 4 занятия вы узнаете: - Как работает наука о данных — что такое Big Data, искусственный интеллект, машинное обучение. - Какие инструменты используют аналитики, попробуете написать свой первый код. - Какие задачи решают разные специалисты, разберёте примеры. - Как стартовать в аналитике, даже с нуля. Обо всём этом простым языком расскажут преподаватели со стажем. Начните учиться бесплатно — https://netolo.gy/dqfm Реклама. ООО "Нетология". Erid 2VSb5x2uDpU

⚡️ Grafana Это открытая и компонуемая платформа для наблюдения и визуализации данных. Визуализируйте метрики, журналы и трассировки из нескольких источников, таких как Prometheus, Loki, Elasticsearch, InfluxDB, Postgres и многих других. ▪ Github @sqlhub

ИТ-команда Гринатома ищет разработчика форсайт. ✅ Предстоит участвовать в создании и изменении функциональности системы, выполнять разработки форсайт на основе функциональных спецификаций, проводить тестирования и актуализировать документацию. ✅ Идеальный кандидат знаком с продуктом Форсайт. Аналитическая платформа и языком программирования Fore, умеет писать SQL-запросы, понимает возможности виртуализации данных, а также имеет опыт в формировании модели данных и разработке на макро-языках. Если это про вас, узнайте о вакансии больше по ссылке (https://sochi.hh.ru/vacancy/99149187).

🖥 sqlite-vec Чрезвычайно маленькое и "достаточно быстрое" расширение для векторного поиска SQLite, которое работает в любом месте! Проект преемник sqlite-vss. - Храните и запрашивайте float, int8 и двоичные векторы в виртуальных таблицах vec 0. - Написан на чистом C, без зависимостей, работает везде, где работает SQLite (Linux/ macOS /Windows, в браузере с WASM, Raspberry Pis и т.д.) - Предварительная фильтрация векторов с rowid В подзапросах (...) ▪ Github @sqlhub

🖥 Pgroll - это полезная CLI утилита с открытым исходным кодом, предназначенная для безопасных и обратимых миграций схем для PostgreSQL, которая поддерживает работу с несколькими версиями схем одновременно. Она способна выполнять сложные операции миграции, гарантируя, что клиентские приложения продолжат функционировать во время обновления схемы базы данных. Это достигается без блокировки базы данных и позволяет старым и новым версиям схемы работать одновременно, даже при внесении критических изменений. Это устраняет риски, связанные с миграциями схем, и значительно упрощает развертывание клиентских приложений, предоставляя возможность мгновенного отката. Основные функции Pgroll включают: - Миграции без простоев (без блокировки базы данных, без критических изменений). - Поддержка одновременной работы старых и новых версий схемы. - Автоматическое заполнение столбцов при необходимости. - Мгновенный откат в случае возникновения проблем во время миграции. - Работа с существующими схемами, нет необходимости начинать с нуля. - Совместимость с Postgres 14.0 и более поздними версиями. - Работа с любым сервисом Postgres (включая RDS и Aurora). Pgroll написана на языке программирования Go, является кроссплатформенной и не требует внешних зависимостей. https://github.com/xataio/pgroll #postgres #migration #базыданных @sqlhub

Обрабатывай большие данные в реальном времени с эффективным сочетанием ClickHouse и Kafka 🔹Оптимизируйте производительность ваших решений открытом уроке «Интеграция ClickHouse с Apache Kafka» от Otus. Разберёмся в лучших практиках для оптимизации производительности и управления нагрузкой. ✅ Практика: Настрайка интеграции ClickHouse с Apache Kafka Урок приурочен курсу «ClickHouse для инженеров и архитекторов БД» от Otus. 👉 Регистрация и подробности: https://otus.pw/kMJC/?erid=LjN8KQH4P

💻Vectorlite — быстрое и настраиваемое расширение SQLite для векторного поиска — pip install vectorlite-py Vectorlite — это расширение для SQLite, которое обеспечивает быстрый векторный поиск на основе hnswlib и работает под Windows, MacOS и Linux. 🖥 GitHub @sqlhub

Как увеличить производительность DBaaS в 10 раз? Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS. Преимущества DBaaS на выделенном облачном сервере: - Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с. - Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса. - Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД. - Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018. Разверните базу данных на выделенном облачном сервере: https://slc.tl/0kzwp Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqumxLUM

💻FrostDB — встраиваемая колоночная БД, написанная на Go Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API). В первую очередь, FrostDB оптимизирована для записи. FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3. 🖥 GitHub @sqlhub

Как легко и просто администрировать кластеры Apache Ignite и Platform V DataGrid: вебинар от СберТеха 29 августа в 11.00 спикер СберТеха, владелец продукта Илья Степанов познакомит слушателей с инструментом Platform V Grid Center. Гости вебинара узнают, как продукт помогает расширить возможности администрирования кластера. А также – обо всех ключевых особенностях и функциях Platform V Grid Center: • просмотр и редактирование топологии кластера (baseline topology); • изменение статуса активации кластера; • создание и просмотр кэшей; • работа с SQL-консолью; • ручное и автоматическое создание снапшотов по расписанию; • запуск и анализ процедуры согласованности данных (idle verify). Ждем вас, будет интересно и полезно! Зарегистрироваться на мероприятие.

💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis. Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow. Особенности Kvrocks: — Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis. — Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен. — асинхронная репликация с использованием binlog, как в MySQL. — поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства. Быстрый старт с Docker:

docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0

🖥 GitHub 🟡 Доки @sqlhub

Хотите узнать, как эффективно хранить и анализировать большие данные в PostgreSQL? Ждем вас на открытом вебинаре 28 августа в 20:00 мск, где мы разберем: - как использовать расширения PostgreSQL для работы с временными рядами и распределенной обработкой данных; - стратегии проектирования схемы и партиционирования таблиц для повышения производительности; - эффективные методы написания запросов и анализа больших наборов данных; - интеграцию PostgreSQL с инструментами анализа данных. 👨‍💻🛠👨🏻‍💻 Урок подходит для разработчиков, аналитиков данных и администраторов БД. Спикер Алексей Железной — Senior Data Engineer. Встречаемся в преддверии старта курса «PostgreSQL для администраторов баз данных и разработчиков». Все участники вебинара получат специальную цену на обучение! 🔴 Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/Fes6D/?erid=LjN8KadLP

🖥 introduction-to-sql — введение в SQL бесплатная книга, которая поможет вам освоить основы SQL и начать использовать реляционные базы данных в ваших проектах SysOps, DevOps и другой разработке. Независимо от того, работаете ли вы инженером DevOps/SysOps, разработчиком или просто увлекаетесь Linux, SQL, скорее всего, понадобится вам на каком-то этапе карьеры. Это руководство подходит для всех, кто работает разработчиком, системным администратором или инженером DevOps и хочет изучить основы SQL. ▪ GitHub @sqlhub

🖥 RavenDB — ACID NoSQL документоориентированная БД

mkdir HelloWorld && cd HelloWorld
dotnet new console
dotnet add package RavenDB.Client --version 6.0.0-*

# изменить Program.cs

dotnet restore && dotnet build && dotnet run

Вообще, RavenDB — довольно известная NoSQL БД; если кто не пробовал — возможно именно RavenDB поможет в вашем кейсе. Особенности RavenDB: — Простота развертывания. Можно использовать как встроенное в проект решение, так Windows service и консольное приложение. — Простота перехода на новую версию. Просто нужно остановить Raven и закинуть новый билд в рабочую папку сервера. В проекте все обходится обновлением NuGet пакета. — Расширяемость. Есть множество возможностей по встраиванию своего функционала на стороне сервера. Можно кастомизировать всё, начиная от триггеров на изменение данных и индексов до создания своих расширений, позволяющих обогатить API сервера. 🖥 GitHub 🟡 Доки @sqlhub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pro_python_code Хакинг: t.me/linuxkalii Devops: t.me/devOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math C++ собеседования: t.me/cppsobes Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

💻Spice — унифицированный интерфейс запросов SQL и портативная среда выполнения для быстрого извлечения данных из любой БД, хранилища данных или озера данных

curl https://install.spiceai.org | /bin/bash
spice init spice_qs
cd spice_qs
spice run

Spice — open-source портативная среда выполнения, предлагающая унифицированный интерфейс SQL для получения данных из любой базы данных и не только. Spice написана на Rust для максимальной производительности. 🖥 GitHub 🟡 Доки @sqlhub