Data Science. SQL hub

Устал от многоэтапных собеседований и длительных тестовых заданий при приёме на работу? А что, если оффер в IT-компанию можно получить за один день? 🚀 Приходи на One Day Offer в Navio 26 апреля! Мы ищем Дата инженеров уровней middle и senior в команду BigData, которые готовы к профессиональным вызовам! Оставь отклик с резюме на сайте, получи тайм-слот от рекрутера и пройди все этапы собеседований за 1 день на онлайн-мероприятии. У нас классные нестандартные проекты: end-to-end разработка, один из крупнейших в СНГ дата-лейков автономных машин, мониторинг данных с физическим воплощением на дороге и все преимущества работы в аккредитованной IT-компании. 📈Меняй карьеру прямо сейчас!

✔️ Presto (prestoDB/presto) Это высокопроизводительный распределённый движок SQL для анализа больших объёмов данных в реальном времени. Основные характеристики: Распределённая архитектура Состоит из координатора и множества воркеров, которые параллельно выполняют фрагменты запросов, обеспечивая низкую задержку даже при обработке петабайтовых данных GitHub Поддержка ANSI SQL и UDF Полноценная поддержка стандартного SQL с возможностью расширения набором пользовательских функций (UDF), агрегатов и аналитических функций. Плагинные коннекторы Из коробки доступны коннекторы к Hive (HDFS/S3), Cassandra, Kafka, MongoDB, MySQL, PostgreSQL, Elasticsearch и многим другим системам хранения. При желании можно написать собственный плагин GitHub . Масштабируемость и отказоустойчивость Горизонтальное масштабирование за счёт добавления воркеров, автоматическое перераспределение задач при выходе узлов из строя. Удобство развёртывания Можно собрать из исходников через Maven (./mvnw clean install), развернуть через Docker (официальный образ есть в папке docker/), или сразу использовать готовые пакеты на prestodb.io. Клиенты и интеграции Имеется CLI (presto-cli), JDBC/ODBC‑драйверы, REST API. Лёгко встраивается в BI‑инструменты и платформы визуализации. Сферы применения Ad‑hoc‑аналитика, интерактивные дашборды, federated query (объединение данных из разных источников), подготовка данных для машинного обучения. https://github.com/prestodb/presto @sqlhub

Мечтаешь хакнуть свою продуктивность с помощью ИИ? Приходи на AI-митап в Нижнем Новгороде! 👌 📍 Встречаемся 24 апреля в 18:00 по адресу: ул. Октябрьская, 35, пространство «Гараж». Регистрируйся на митап и готовься к апгрейду своих скиллов!

🖥 Задача: “Невидимая строка” Дана таблица users:

CREATE TABLE users (
  id SERIAL PRIMARY KEY,
  name TEXT,
  deleted_at TIMESTAMP
);

Вы выполняете:

SELECT COUNT(*) FROM users WHERE deleted_at = NULL;

✔️ И получаете... 0. Хотя вы уверены, что есть пользователи, у которых deleted_at не задано. Вопрос: Что не так с запросом? Как правильно получить количество “неудалённых” пользователей? Вопрос: В чем ошибка? И как надо правильно писать такой фильтр? ✔️ Правильный запрос будет выглядеть так: Чтобы проверить, является ли значение NULL, нужно использовать специальный оператор IS NULL. SELECT COUNT(*) FROM users WHERE deleted_at IS NULL; Этот запрос корректно найдёт все строки, где в столбце deleted_at действительно отсутствует значение (т.е. он равен NULL), и посчитает их количество. Итог: Не используйте = или != для сравнения с NULL. Используйте IS NULL для проверки на NULL. Используйте IS NOT NULL для проверки на не NULL (если бы вам понадобилось посчитать удалённых пользователей, у которых deleted_at заполнено). @sqlhub

📕Открытый урок о NoSQL с Cassandra для разработчиков, администраторов, специалистов по базам данных, Data engineers, Backend и FullStack-разработчиков. На открытом уроке 21 апреля в 20:00 мск мы погрузимся в тонкости работы c NoSQL в Cassandra. 📗В результате вы: - Узнаете, как работает Cassandra и какие есть особенности про которые никто говорит; - Разберетесь, как избежать и решать проблемы в работе Сassandra; - Освоите техники и лайфхаки в Сassandra на практике. Спикер Дмитрий Гурьянов — Team Lead команды разработки CRM-решений на платформе .NET в Промсвязьбанке, 9+ лет в разработке, работал в Microsoft над продуктом Bing, аспирант кафедры "Системы обработки информации и управления" в МГТУ им. Н.Э. Баумана. 👉Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/6XKr/?erid=2W5zFH7KsWx 📙Все участники открытого урока получат скидку на курс "Базы данных" Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

👣 Оптимизация выделения памяти в Go: как одна строчка замедлила всё на 30% В базе данных Dolt (аналог Git, но для SQL-таблиц) после рефакторинга один из бенчмарков (types_scan) внезапно стал работать на 30% медленнее. Причина? Казалось бы, невинная строчка кода. 📉 Что произошло Метод GetBytes() начал вызывать ReadBytes() у интерфейса ValueStore. Всё выглядело логично, пока не включили профилировщик Go и не обнаружили странную активность: 🔍 runtime.newobject вызывался слишком часто → программа делала много лишних аллокаций в куче. 📦 Где зарыта собака

func (vs nodeStore) ReadBytes(...) ...

Этот метод использовал приёмник по значению (vs nodeStore). Это значит, что вся структура копировалась при каждом вызове метода, даже если она большая. 🚑 Как пофиксили Просто поменяли на приёмник по указателю:

func (vs *nodeStore) ReadBytes(...) ...

Вуаля — аллокейшны исчезли, производительность восстановилась. 🧠 Вывод ❗ Методы с приёмником по значению = риск лишнего копирования и аллокаций 🛠 Даже один маленький метод может резко замедлить ваш код 🔍 Профилировка в Go — мощный инструмент. Используй pprof! Полный разбор в блоге DoltHub Подробнее про Dolt @golang_google

🚀 AWESOME DATA SCIENCE Репозиторий данных с открытым исходным кодом для изучения, применения и решения реальных проблем в data science. Это кратчайший путь к началу изучения науки о данных. Опытным специалистам, репозиторий поможет найти необходимые топики, которые удобно систематизированы. 🖥 GitHub @sqlhub

Тратите много времени на повторяющиеся SQL-запросы, выполняя рутинные задачи вручную?  На бесплатном вебинаре, который пройдет 22 апреля в 20:00, мы решим эту проблему и научим вас создавать и использовать хранимые процедуры для автоматизации процессов в SQL! https://otus.pw/sYDb/ Представьте, что вы можете автоматизировать эти задачи с помощью хранимых процедур в MS SQL Server и PostgreSQL, увеличив свою эфффективность. Больше не придется тратить на это лишние силы. Записывайтесь на урок, получайте практические навыки, а также скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/sYDb/ erid: 2W5zFGp9d2g

📒 Awesome LangChain — коллекция лучших инструментов для работы с LLM. В этом репозитории собраны 500+ проектов — порты на другие языки (Go, Java, Ruby), шаблоны для быстрого старта и даже готовые решения вроде DB GPT для приватного общения с данными. Особенно выделяются: ▪️LangServe — развёртывание цепочек как REST API от создателей LangChain ▪️GPTCache — семантическое кеширование запросов к LLM ▪️SuperAGI — фреймворк для автономных агентов с продвинутым планированием 🤖 GitHub @sqlhub

⏰Регистрируйся на вебинар 🔋 Миграция приложений с Oracle Apex, Oracle Forms на Postgres. На вебинаре расскажем как сохранить команду разработчиков и перейти с Oracle Apex, Oracle Forms. • 10 лет за 5 минут как мы делали клон Oracle Apex/Forms/Reports на PostgreSQL • Разработка приложений с применением только SQL / plpgSQL • Oracle Apex на PostgreSQL на стероидах Visual Studio Code  • Пару слов об xDac for Postgres. Презентация XSQUARE – DAC for ORACLE 📌Обещаем технический вебинар, без слайдов и маркетинга. #реклама О рекламодателе erid: 2W5zFK8o3be

🧩 SQLite Internal — визуализатор структуры .sqlite-файлов Если ты хочешь понять внутреннюю структуру SQLite, то этот инструмент — находка. SQLite Internal — веб-приложение для интерактивного анализа .sqlite-файлов. 📝 Что умеет: • Загрузи .sqlite и изучай структуру файла • Визуализация страниц, заголовков и схем • Всё работает локально в браузере 💡 Технологии: • TypeScript, Tailwind CSS, Vite • GitHub — invisal/sqlite-internal 🧪 Попробуй онлайн: https://sqlite-internal.pages.dev #SQLite #DevTools #WebApp @sqlhub

🔥 FireEdit — новая методика редактирования изображений по инструкции 🌟 В основе FireEdit — усовершенствованная Vision Language Model (VLM), способная выполнять тонкое и точное редактирование изображений на основе текстовых промптов. 🌟 Что внутри: 🟢Region Tokens Позволяют VLM точно определять редактируемые объекты даже в сложных сценах, не затрагивая остальное изображение. 🟢Time-Aware Target Injection Динамически регулирует степень редактирования на разных этапах шумоподавления, интегрируя информацию о времени с текстовыми эмбеддингами. 🟢Hybrid Visual Cross-Attention Позволяет сохранить высокочастотные визуальные детали и семантическую согласованность изображения. ✔️Результаты FireEdit превосходит другие SOTA-методы на датасете Emu Edit — как по точности локализации, так и по качеству результата. ✔️ Визуальные сравнения показывают, что FireEdit: 🟢Лучше локализует редактируемые области 🟢Меньше искажает фон и окружающие детали 🟢Сохраняет высокую семантическую точность 🔜 Статья 🔜Проект @ai_machinelearning_big_data #AI #VLM #Diffusion #ImageEditing #FireEdit #ML

Muse Group — the team behind Ultimate Guitar, MuseScore, Audacity and more — invites you to an online meetup on how analytics drives top digital products in the creative industry. 🔵 April 22, 6:00 PM (GMT+3) 🔵 Online 🔵 Free At the meetup, you’ll: — Utilizeyears of development on your own A/B testing platform. — Learn how to measure the impact of changes without running experiments. — Master tools that let you conduct research using p-values and confidence intervals instead of simple "before and after" comparisons. We’d love to see you there! Sign up here: https://www.tickettailor.com/events/musemeetup

🚀 SQLModel — удобное решение для работы с базами данных в Python, объединяющее силу SQLAlchemy и валидацию Pydantic. Проект устраняет главную боль разработчиков: необходимость дублировать модели для БД и API. Инструмент имеет синтаксис на основе аннотаций типов. Один класс одновременно описывает таблицу в БД и схему для FastAPI, а встроенная поддержка IDE сразу подсказывает поля и выявляет ошибки. Например, модель Hero с полями name и secret_name готова к использованию и в миграциях, и в эндпоинтах без лишнего кода. 🤖 GitHub @sqlhub

📌 Kor — прототип для извлечения структуры из текста через LLM Проект имеет интеграцию с LangChain, но предлагает свой подход: вместо JSON-режима или function calling он полагается на шаблонизацию промптов. Это позволяет работать даже с моделями, не поддерживающими новые режимы вроде GPT-4-turbo. Новая версия 1.0.0 принесла совместимость с Pydantic v2, хотя разработчики предупреждают, что работа может заметно замедлиться 🤖 GitHub @sqlhub

Присоединяйтесь к дискуссии — задавайте свои вопросы в комментариях к посту Рекламодатель БАНК ВТБ (ПАО), ИНН 7702070139, Генеральная лицензия банка России №1000. Реклама, erid: 2SDnjcASwTr. 0+ https://t.me/Data_fusion/152

🚀 Релиз: SQL Formatting Preview в T-SQL Analyzer CLI​ В последнем обновлении инструмента T-SQL Analyzer CLI от ErikEJ появилась функция предварительного просмотра форматирования SQL-кода.​ ✨ Основные возможности: Автоматическое форматирование T-SQL скриптов с использованием встроенных правил.​ Интеграция с анализатором кода, позволяющая одновременно проверять и форматировать скрипты.​ Поддержка командной строки, что удобно для автоматизации процессов и интеграции в CI/CD пайплайны.​ 🔧 Пример использования: tsqlanalyze -i "C:\scripts\proc.sql" --format Эта команда проанализирует и отформатирует указанный SQL-скрипт согласно установленным правилам.​ 📌 Подробнее о новых возможностях и инструкциях по установке читайте в официальной документации.​ #sqlserver #tsql #dotnet #cli #devtools https://github.com/ErikEJ/SqlServer.Rules/tree/master/tools/SqlAnalyzerCli#sql-formatting-preview @sqlhub

🖥 Блокировка состояния Terraform с использованием S3 (без DynamoDB) В этом посте мы рассмотрим: - Зачем нужна блокировка состояния Terraform - Блокировка состояния с помощью DynamoDB - Блокировка состояния только с использованием S3, без DynamoDB - Когда стоит использовать DynamoDB - Когда можно обойтись только S3 - Лучшие практики хранения state-файлов в S3 🔗 Подробнее #devops #девопс @sqlhub

⚡️Как Docker упрощает жизнь аналитиков и инженеров данных Когда вы работаете с данными, анализируете их или строите модели машинного обучения, Docker позволяет сосредоточиться на самой работе, не отвлекаясь на настройку окружения. На бесплатном вебинаре вы научитесь упаковывать приложения вместе со всеми зависимостями, избегать проблем с несовместимостью, а значит и повысите эффективность работы и сэкономите время на настройку окружения. Что будем делать на вебинаре: 🟠Разберём основы Docker и как контейнеры упрощают работу; 🟠Выполним анализ данных, запустив Python прямо внутри контейнера; 🟠Автоматизируем окружение с помощью Docker Compose (Python + PostgreSQL); 🟠Настроим удобный доступ к результатам анализа; 🟠Организуем ускоренную обработку больших данных. 😶Зарегистрироваться на бесплатный вебинар

🌐 openHalo позволяет приложениям, написанным для MySQL, работать с PostgreSQL, предлагая при этом лучшую производительность, чем MySQL! openHalo поддерживает диалект SQL MySQL и использует тот же протокол соединения, что позволяет легко адаптировать приложения с MySQL к openHalo с минимальными изменениями кода. Это значительно упрощает миграцию с MySQL 5.7 или новее на openHalo, делая процесс быстрее, безопаснее и экономичнее. С openHalo вы получаете повышенную производительность без дополнительных усилий и затрат, особенно для сложных SQL-запросов. Вы можете продолжать использовать знакомые инструменты, команды и драйверы MySQL для разработки. 🔗 GitHub #openHalo #MySQL #PostgreSQL #database #migration @sqlhub