Data Science. SQL hub

СберТех представил замену IntelliJ IDEA – среду разработки GIGA IDE 1 июля JetBrains отключила россиянам возможность скачивать одну из самых известных сред разработки на Java – IntelliJ IDEA, что заставило многих разработчиков побеспокоиться. Но СберТех представил решение – российскую среду разработки GIGA IDE, которая может стать заменой ушедшей среде. GIGA IDE позволяет вести разработку на популярных языках программирования, обеспечивает совместимость с востребованными плагинами, а встроенный в среду AI-ассистент GIGA CODE позволяет писать код до 25% быстрее. · GIGA IDE Desktop – это интегрированная среда разработки, которая включает 70 инструментов для облегчения задач разработки, автоматизации тестирования и администрирования приложений. Разработчики уже могут скачать GIGA IDE Desktop на платформе GitVerse. · GIGA IDE Cloud позволит вести разработку в облаке, расширив возможности устройства дополнительными облачными ресурсами. Чтобы первыми получить доступ к GIGA IDE Cloud – регистрируйтесь на платформе GitVerse на раннее тестирование. *AI (Artificial Intelligence) - «искусственный интеллект»

💻 Postgres Professional выпустила в свободном доступе книгу «PostgreSQL 16 изнутри» Компания-разработчик СУБД Postgres Professional выпустила новую книгу «PostgreSQL 16 изнутри». Электронная версия учебника находится в свободном доступе. Автор книги — Егор Рогов, директор по разработке образовательных программ Postgres Professional. Первое издание этого учебника, основанное на 14-й версии PostgreSQL, было выпущено в марте 2022 года и обновлено до 15 версии. Из-за большого читательского интереса компания перевела книгу на английский язык. Позже она стала самым популярным тематическим изданием 2023 года по версии Postgres Weekly и вошла в список профессиональной литературы на официальном сайте сообщества PostgreSQL. В актуальной редакции книги «PostgreSQL 16 изнутри» учтены замечания читателей, исправлены опечатки, а также отражены изменения, произошедшие в версии PostgreSQL 16. Также Postgres Professional обновила локализованную документацию к PostgreSQL 16. 📎 «PostgreSQL 16 изнутри» @sqlhub

Доклады, развлечения и полезные знакомства для ИТ-сообщества Казани ☄️ 13 июля Т-Банк открывает Сезон кода — большой летний фестиваль для опытных специалистов по Java, Scala, Mobile, QA и Data. Опытом поделятся спикеры из крупных технологичных компаний: T-Банка, VK, Сбера и Магнит Маркета. А кроме докладов вас ждут полезные знакомства, настольный теннис и баскетбол, ИТ-квиз, живая музыка и много других активностей. Бесплатная еда и кофе-брейк тоже будут — куда без этого. Залетайте, чтобы прокачать навыки и пообщаться с коллегами в неформальной обстановке. Для участия пожертвуйте от 1 000 ₽ благотворительному фонду. erid:2VtzqwtN2ZN Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

💻 Beekeeper Studio — современный и удобный open-source SQL-клиент для MySQL, Postgres, SQLite, SQL Server и не только

git clone git@github.com:<your-username>/beekeeper-studio.git beekeeper-studio
cd beekeeper-studio/
yarn install

yarn run electron:serve

Beekeeper Studio без проблем работает на всех платформах: Linux, MacOS и Windows 🖥 GitHub @sqlhub

⚠️ Как создать собственный тип данных с помощью PostgreSQL? Расскажем на открытом уроке «Пользовательские типы данных в PostgreSQL» в рамках практического курса «PostgreSQL для администраторов баз данных и разработчиков» от OTUS 🔹На открытом уроке рассмотрим как можно создать пользовательский тип и как с ним работать. 🔹Разберем несколько примеров детально "до винтика" 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты. Тестируйте занятие на бесплатном уроке и начните обучение уже 30 июля.  👉  Регистрация и подробности https://otus.pw/fYAs/?erid=LjN8KS97n

🖥 Oracle сформировала новую ветку СУБД MySQL 9.0.0. Сборки MySQL Community Server 9.0.0 доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Согласно новой модели релизов, внедренной в прошлом году, MySQL 9.0 относится к веткам "Innovation". К этой категории также будут отнесены будущие значительные релизы MySQL 9.1 и 9.2. Ветки "Innovation" рекомендованы для пользователей, желающих получать доступ к новым функциям как можно раньше. Эти версии публикуются каждые 3 месяца и поддерживаются только до выхода следующего значительного релиза (например, поддержка ветки 9.0 прекратится с появлением ветки 9.1). Примерно через год планируется выпустить LTS-релиз, который будет рекомендован для внедрений, требующих стабильности и длительной поддержки. После LTS-релиза будет создана новая ветка "Innovation" — MySQL 10.0. Главные изменения в MySQL 9.0: При выполнении конструкции "EXPLAIN ANALYZE INTO" добавлена возможность сохранения вывода в формате JSON в пользовательскую переменную, которая затем может использоваться в качестве аргумента в функциях для работы с JSON. sqlEXPLAIN ANALYZE FORMAT=JSON INTO @variable select_stmt Разрешено оформление выражений "CREATE EVENT", "ALTER EVENT" и "DROP EVENT" в виде параметризованных запросов внутри хранимых процедур. Создание параметризованного запроса осуществляется с использованием выражения PREPARE, а выполнение - выражения EXECUTE. CREATE PROCEDURE sp(n INT) BEGIN SET @s1 = "CREATE EVENT e ON SCHEDULE EVERY "; SET @s2 = " SECOND STARTS CURRENT_TIMESTAMP + INTERVAL 10 SECOND ENDS CURRENT_TIMESTAMP + INTERVAL 2 MINUTE ON COMPLETION PRESERVE DO INSERT INTO d.t VALUES ROW(NULL, NOW(), FLOOR(RAND()*100))"; SET @s = CONCAT(@s1, n, @s2); PREPARE ps FROM @s; EXECUTE ps; DEALLOCATE PREPARE ps; END Добавлены две новые системные таблицы, содержащие сведения о системных переменных: variables_metadata - содержит информацию об именах, области действия, типах и диапазонах значений всех поддерживаемых MySQL-сервером системных переменных; global_variable_attributes - содержит значения атрибутов, выставленных для глобальных переменных, таких как offline_mode и read_only. Удалён ранее объявленный устаревшим серверный плагин mysql_native_password, обеспечивающий аутентификацию при помощи паролей. Вместо mysql_native_password рекомендуется перейти на использование плагина caching_sha2_password, применяющего для хэширования алгоритм SHA2 вместо SHA1. Добавлено 15 переменных для настройки и инспектирования движка MLE (Multilingual Engine Component), позволяющего использовать в хранимых процедурах и функциях код на языках, отличных от SQL. @sqlhub

30+ команд Docker, которые вы Должны Знать! ▪Видео ▪DEVOPS ЛУЧШИЕ Бесплатные курсы Docker

💻 XTDB — неизменяемая open-source БД, которая хранит время транзакций и историю всех действий XTDB — документо-ориентированная БД; была создана для удовлетворения сложных требований к соответствию данных. К XTDB можно писать запросы с помощью SQL и XTQL. XTDB использует: — Apache Kafka для хранения транзакций и документов в виде почти неизменяемых журналов — RocksDB или LMDB для размещения индексов для богатой поддержки запросов — Clojure-протоколы для расширения возможностей (например, для замены Kafka на SQLite) Такая конструкция позволяет поддерживать XTDB как небольшое и эффективное ядро, которое может легко масштабироваться для поддержки множества вариантов использования Быстрый старт с Docker:

docker run --pull=always -tip 6543:3000 ghcr.io/xtdb/xtdb-standalone-ea

🖥 GitHub 🟡 Доки @sqlhub

💻 IceFireDB — open-source платформа, предоставляющая разные БД, для децентрализованного хранения данных

git clone https://github.com/IceFireDB/IceFireDB.git IceFireDB-NoSQL

cd IceFireDB-NoSQL

make && ls ./bin/IceFireDB

Один из компонентов IceFireDB — IceFireDB-SQLite, — децентрализованная база данных SQLite. Предоставляет удобный механизм для построения глобальной распределенной системы баз данных. Поддерживает запись данных в IceFireDB-SQLite по протоколу MySQL. IceFireDB-SQLite хранит данные в SQLite и синхронизирует их между узлами в автоматической сети P2P. 🖥 GitHub 🟡 Доки @sqlhub

⚠️ Что такое DDL и как он используется для управления схемой базы данных? Приглашаем на открытый урок «DDL: создание, изменение и удаление объектов в PostgreSQL» в рамках практического курса «PostgreSQL для администраторов баз данных и разработчиков» от OTUS 🔹 На встрече рассмотрим использование команд CREATE, ALTER, DROP и права, необходимые для выполнения DML-команд, пользователей и роли. 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты. Тестируйте занятие на бесплатном уроке и начните обучение уже 30 июля.  👉 Регистрация и подробности erid: LjN8KZJd4

💻 Azimutt — open-source инструмент для изучения любых БД — npx azimutt explore $db_url Azimutt — это многофункциональный инструмент для изучения баз данных Позволяет быстро перемещаться по БД, облегчает документирование и анализ данных. Быстрый старт с Docker:

docker run -d --name azimutt \
--env-file <path_to_your_env_file> \
-p 4000:4000 \
ghcr.io/azimuttapp/azimutt:main

🖥 GitHub 🟡 Исследовать свою БД с Azimutt онлайн 🟡 Доки @sqlhub

Хотите создавать архитектуры, которые выдерживают огромные нагрузки, как в крупнейших российских и международных компаниях? Присоединяйтесь к курсу «Highload Architect»! Вы научитесь использовать в своих проектах решения, которые выдерживают сотни тысяч и даже миллионы запросов в секунду, сможете правильно оптимизировать работоспособность серверов и станете востребованным специалистом для развивающихся компаний. 👨‍💻 Программа подходит для веб-разработчиков, тимлидов, архитекторов, технических руководителей и SRE-специалистов. Готовы к вызовам высоких нагрузок? Успейте начать обучение со скидкой 5%🤑 (акция до 30.06)🤑 Пройдите вступительный тест, чтобы занять место в группе по спеццене: https://otus.pw/Mgyk/?erid=LjN8JwPEe

💻 Milvus — open-source векторная БД — pip install -U pymilvus Milvus — это векторная база данных с открытым исходным кодом, которая подходит для ИИ-приложений любого масштаба (почти) — от запуска демонстрационного чатбота в Jupyter Notebook до создания веб-поиска, обслуживающего миллиарды пользователей. Можно установить Milvus локально и использовать для создания, хранения и поиска векторов. 🖥 GitHub 🟡 Доки @sqlhub

Как стать инженером данных: какие навыки нужны, как найти работу и зачем нужны алгоритмы? Ответы на все эти вопросы можно получить на серии вебинаров от факультета компьютерных наук НИУ ВШЭ. Впереди еще 2 вебинара: 1️⃣ Как поменять работу: личный опыт и рекомендации 📆 Когда: 27 июня, 19:00 В рамках профориентационного вебинара участники получат рекомендации по подготовке к собеседованиям и чеклист «Что сделать, чтобы начать искать работу?». Вебинар поможет всем, кто ищет работу или задумывается о смене карьеры. 🎙️ Спикер: ➖ Влад Бояр, инженер данных во Вкусно и точка; 2️⃣ Основы алгоритмов 📆 Когда: 1 июля, 19:00 На вебинаре спикер расскажет основы построения алгоритмов. Вы узнаете, что такое асимптотика, и разберете некоторые популярные алгоритмы. 🎙️ Спикер: ➖ Мария Горденко, преподаватель программы; 📕 Для участия регистрируйтесь по ссылке Реклама ЗАО ГК Аккорд 2SDnje8bASv

💻 TDengine — высокопроизводительная облачная open-source БД для временных рядов, оптимизированная для IoT и DevOps sudo apt-get install -y gcc cmake build-essential git libssl-dev libgflags2.2 libgflags-dev libexpat1-dev libapr1-dev libaprutil1-dev libmxml-dev geos-devel В качестве языка запросов TDengine использует чистый SQL. В дополнение к нему TDengine предлагает собственные функции для лучшего анализа временных рядов. Быстрый старт с Docker: docker run -d -p 6030:6030 -p 6041:6041 -p 6043-6060:6043-6060 -p 6043-6060:6043-6060/udp tdengine/tdengine 🖥 GitHub 🟡 Доки @sqlhub

🖥 SQLMC - SQL Injection Massive Checker Официальный инструмент Kali Linux для проверки всех URL-адресов домена на наличие SQL-инъекций. ▪Github @linuxkalii

💻SpiceDB — open-source графовая БД, предназначенная для хранения разрешений приложений SpiceDB — это БД с открытым исходным кодом, вдохновленная Google Zanzibar, для хранения разрешений и прав доступа отдельных приложений Быстрый старт с Docker:

docker run \
    --name spicedb \
    -p 50051:50051 \
    authzed/spicedb \
    serve \
    --grpc-preshared-key "somerandomkeyhere"

🖥 GitHub 🟡 Доки @sqlhub

Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика! 🔥 Мы знаем, что разбор тестовых заданий - ваш любимый формат. Поэтому мы приглашаем вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных! Собираемся в прямом эфире 25 июня (вт) в 19:00 (Мск). Ссылка на трансляцию придет в бота, записывайтесь! 👉🏻 Записаться на live-интенсив 👈🏻 Что будем делать на интенсиве: ◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д. ◾️ Научимся легко генерировать большой DataFrame с синтетическими данными ◾️ Посчитаем описательные статистики ◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др. ◾️ Построим интерактивные графики с помощью plotly ◾️ Научимся строить и читать необычные графики - например, violinplot Вебинар подойдет даже если вы только-только начинаете свой путь в аналитике - будем разбирать все по шагам понятным языком 🧡 Короче, ждем всех – будет мега-круто! 👉🏻 Записаться на live-интенсив 👈🏻 Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134. Erid:LjN8KXFbs

💻 NebulaGraph — распределенная, легко масштабируемая open-source БД для графов

git clone -b release-3.6 https://github.com/vesoft-inc/nebula-docker-compose.git
cd nebula-docker-compose/
docker-compose up -d

NebulaGraph — это популярная база данных для графов с открытым исходным кодом, способная обрабатывать большие объемы данных с задержкой в миллисекунды, быстро масштабироваться и выполнять быструю графовую аналитику. Широко используется в социальных сетях, рекомендательных системах, графах знаний, безопасности, в приложениях с искусственным интеллектом и т. д. NebulaGraph способна хранить графы с сотнями миллиардов вершин и триллионами ребер и обслуживать запросы с миллисекундной задержкой. 🖥 GitHub 🟡 Доки @sqlhub

💻Harlequin — SQL IDE для терминала (работает со всеми БД, в т.ч. с DuckDB) — pipx install harlequin Harlequin может работать практически в любой среде, на любом терминале. Для работы используется fish в tmux на Alpine по SSH? Harlequin будет работать в этой среде. Windows cmd? Без проблем. Harlequin поддерживает работу почти со всеми БД, скоро завезут ещё (при желании можно создать свой адаптер для своей БД) 🟡 Страничка Harlequin 🖥 GitHub 🟡 Доки @sqlhub