Data Science. SQL hub

Продвинутый SQL-трюк: Как одним запросом вытащить только самую последнюю запись по каждой группе — и при этом сохранить все остальные поля Если ты хочешь, например, получить последний заказ по каждому клиенту, но у тебя нет оконных функций или ты хочешь максимально производительный запрос — вот чистый, понятный способ.

-- Найдём последнюю покупку по каждому customer_id
SELECT o.*
FROM orders o
JOIN (
    SELECT customer_id, MAX(order_date) AS max_date
    FROM orders
    GROUP BY customer_id
) latest
ON o.customer_id = latest.customer_id
AND o.order_date = latest.max_date;

-- Работает даже если в таблице десятки миллионов строк, индекс на order_date и customer_id ускорит запрос

@sqlhub

💡 Полезный SQL-трюк: как получить первую строку в каждой группе — без подзапросов и оконных функций (если они недоступны) Иногда нужно из каждой группы выбрать одну запись, например, самую раннюю по дате. Если у вас нет оконных функций (например, в старом MySQL), используйте трюк с GROUP BY и JOIN:

SELECT t1.*
FROM orders t1
JOIN (
  SELECT customer_id, MIN(order_date) AS min_date
  FROM orders
  GROUP BY customer_id
) t2 ON t1.customer_id = t2.customer_id AND t1.order_date = t2.min_date;

✅ Этот приём вытаскивает первую покупку каждого клиента без оконных функций. @sqlhub

Хочешь знать, что происходит внутри ИТ крупного банка? Команда ПСБ рассказывает о работе и жизни в блоке ИТ!   🔹 Знакомься с командой, их проектами и хобби 🔹 Участвуй в активностях: митапы, конференции, спорт 🔹 Читай и комментируй экспертные статьи   Подписывайся на канал  ИТ ПСБ !

📊 GridDB — гибридная СУБД для IoT с поддержкой SQL и NoSQL. Этот проект предлагает необычное сочетание: ключ-значение хранилище с возможностью SQL-запросов, что делает его удобным для промышленного IoT. Инструмент имеет встроенную поддержка временных рядов и распределённую архитектуру, оптимизированную под высокую нагрузку сенсорных данных. Система работает на Linux и предоставляет клиентские библиотеки для Java, Python, Go и других языков. Установка возможна через RPM/DEB-пакеты или сборку из исходников. Для управления есть CLI и WebAPI. 🤖 GitHub @sqlhub

⚡️ Replibyte — реалистичные данные для разработки без рисков. Инструмент для безопасного копирования продакшен-данных в тестовые окружения. Поддерживает PostgreSQL, MySQL и MongoDB, автоматически заменяя конфиденциальную информацию на правдоподобные фейковые значения. Инструмент умеет работать с большими БД (10+ ГБ), сжимать и шифровать данные на лету, а также масштабировать данные до разумного размера. Всё в одном бинарном файле без серверных компонентов. 🤖 GitHub @sqlhub

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Базы данных: t.me/sqlhub Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat SQL: t.me/databases_tg Базы данных: t.me/sqlhub Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🖥 Chatgpt для кода в тг: @Chatgpturbobot - 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

🦆 DuckDB vs 🐼 pandas: кто быстрее разберётся с «капризным» CSV? 📊 Сценарий 1. pandas read_csv("flight_data.csv") → весь файл свалился в одну колонку 2. DuckDB SELECT * FROM read_csv('flight_data.csv') → автоматически подхватил разделитель и выдал аккуратные столбцы 💡 Вывод Если работаете с CSV с нестандартным delimiter’ом, попробуйте прочитать его через DuckDB: детектирует разделители сам и экономит ваше время на ручной настройке. @sqlhub

Андрей Рыбинцев стал управляющим директором по ИИ в Авито — позицию ввели на уровне правления в рамках стратегии масштабного внедрения искусственного интеллекта. Под его управлением будет команда из 900 специалистов, несколько департаментов, в том числе новый кластер AI Experience. Среди приоритетов: развитие ассистентов на базе генеративных моделей, масштабирование A-Vibe и A-Vision, агентский ИИ, интеграция технологий ИИ в максимальное количество сервисов платформы. Рыбинцев работает в компании более 10 лет. Под его руководством развивались ключевые технологии: антифрод, автоматическая модерация, индикатор рыночной цены (IMV), собственные генеративные решения. По оценкам компании, GenAI может принести Авито более 21 млрд ₽ допвыручки к 2028 году.

🖥 Продвинутый SQL-трюк: как найти строки, отличающиеся только одним символом Иногда нужно найти пары строк, которые почти совпадают — например, из-за опечатки в одной букве. Такой кейс часто встречается при поиске дублей в именах, email или товарах. С помощью функции levenshtein() из расширения pg_trgm в PostgreSQL, можно находить строки, отличающиеся ровно на 1 символ. Это удобно для очистки данных, поиска дублей и реализации "умного" поиска в интерфейсе.

-- Убедись, что pg_trgm расширение включено
CREATE EXTENSION IF NOT EXISTS pg_trgm;

-- Найдём строки из таблицы users, у которых name отличается на 1 символ
SELECT a.name AS name1, b.name AS name2
FROM users a
JOIN users b ON a.id < b.id
WHERE levenshtein(a.name, b.name) = 1;

-- Пример: найдёт пары вроде ('Anna', 'Anya') или ('John', 'Joan')

📌Больше видео @sqlhub

📊 Argilla — инструмент для создания качественных датасетов под AI. Проект помогает разработчикам и экспертам совместно работать над разметкой данных для NLP, LLM и мультимодальных моделей. Платформа предлагает удобный интерфейс для аннотирования с фильтрами, семантическим поиском и AI-подсказками. Argilla используют в Red Cross и других организациях для задач классификации, RAG и тонкой настройки моделей. 🤖 GitHub

🔥 Nhost — свежий взгляд на backend-разработку с открытым исходным кодом. Этот проект предлагает готовую облачную платформу или возможность самому развернуть альтернативу Firebase, но с GraphQL и PostgreSQL под капотом. Вместо NoSQL — привычный SQL, вместо REST — мощный GraphQL API на базе Hasura, а также встроенные аутентификация, хранилище и serverless-функции. При этом Nhost не привязывает разработчика к конкретному фронтенд-фреймворку. Один и тот же SDK работает с React, Vue, Next.js и даже Flutter. Локальная разработка упрощена благодаря CLI, а для продакшна можно выбрать как managed-решение от создателей, так и развернуть всё на своих серверах через Docker. 🤖 GitHub @sqlhub

🎁 РАЗЫГРЫВАЕМ MacBook Air! Разыгрываем шикарный 13-дюймовый MacBook Air! Отличная рабочая машинка! Условия участия максимально простые: 🔸Подписаться на телеграм-канал: @sqlhub 🔸Подписаться на телеграм-канал: @ai_machinelearning_big_data 🔸Нажать кнопку "Участвовать" ниже. ВСЁ! Вы участник! Бот выберет одного человека, которому мы подарим этот MacBook. Доставка по зоне СДЭК. Итоги подведём 14 августа. Всем удачи! Пусть победит самый приятный человек! ⚠️ Если бот подвис — не беспокойтесь, вас все равно зарегистрирует, просто выполните условия и нажмите «Участвую».

🔑 Oracle выпустила масштабные обновления безопасности для своих ключевых продуктов. В июльском патче устранено 309 уязвимостей разной степени критичности, затрагивающих популярные решения компании. Наибольшую опасность представляли 9 уязвимостей в Java SE, позволяющих удалённое выполнение кода без аутентификации. Серьёзные проблемы обнаружены и в VirtualBox — три критические уязвимости дают возможность скомпрометировать гипервизор из гостевой системы. Обновления уже доступны для всех поддерживаемых версий затронутых продуктов. 🔗 Ссылка - *клик* @sqlhub

🧠 HASH — открытая база данных с элементами ИИ, которая самостоятельно структурирует информацию и проверяет её достоверность. Проект объединяет данные из разных источников в реальном времени, предлагая удобные инструменты для работы с ними даже не-техническим пользователям. HASH имеет автономных агентов, которые автоматически дополняют и очищают данные, а в будущем система превратится в полноценную рабочую среду с AI-интерфейсами. Для старта можно использовать облачную версию или развернуть локально. 🤖 GitHub @sqlhub

😈 Немного токсичности — на пользу? В финальном обзоре от команды AI VK с ICML 2025 — работа, в которой добавление умеренно токсичных текстов в обучающую выборку помогает улучшить ответы LLM, не повышая при этом токсичность. Всё дело в согласованной настройке данных, обучения и инференса (prompting & steering). 💡 Результат — +10% к объёму датасета, рост качества по MMLU и управляемая токсичность за счёт лучшего подавления нежелательных паттернов на инференсе.

🦉 Tonbo — новый игрок в мире embedded-баз данных. В отличие от традиционных key-value хранилищ, использует LSM-дерево поверх Apache Arrow/Parquet, что открывает интересные возможности для аналитических запросов с pushdown-оптимизациями. Проект находится в активной разработке, но уже примечателен type-safe API через derive-макросы и поддержкой транзакций. Интересно наблюдать, как он будет развивать интеграцию с экосистемой Arrow (DataFusion) в будущих версиях. 🤖 GitHub @sqlhub

🚀 *Amazon запускает S3 Vectors — и это может перевернуть рынок векторных БД* На первый взгляд — просто новый сервис. На деле — возможно, главная новость для AI-инфраструктуры в 2024. Когда Amazon представил S3 в 2006, он навсегда изменил подход к хранению данных: больше не нужно думать о дисках — только API и бесконечное масштабирование. S3 Vectors может сделать то же самое с векторными БД. 💡 Почему это важно 1️⃣ Резкое удешевление - $0.06/GB за хранение, $0.004/TB за запросы - В 10–400 раз дешевле, чем популярные векторные хостинги - Подходит для стартапов, особенно с бесплатными AWS-кредитами 2️⃣ Масштабируемость без DevOps - Храни миллиарды векторов - Запросы — за сотни миллисекунд - Без серверов: просто создаёшь *vector bucket* и используешь API 3️⃣ Глубокая интеграция с AWS-экосистемой - Bedrock (RAG-приложения) - OpenSearch (tiered storage) - SageMaker и другие сервисы - Всё подключается "из коробки" 🛠️ Что можно делать - Масштабируемый RAG с низкой ценой - Поиск по смыслу в документах, видео, медизображениях, коду - Долгосрочная память для AI-агентов - Семантический корпоративный поиск 📈 Сообщество уже тестирует: среднее время запроса — ~250 мс. Preview-доступ открыт в регионах US East/West, Frankfurt и Sydney. 🔗 https://aws.amazon.com/blogs/aws/introducing-amazon-s3-vectors-first-cloud-storage-with-native-vector-support-at-scale/ Если пробуете — делитесь результатами. Это может быть началом нового стандарта. @sqlhub

От аналитики до AI — онлайн-магистратура УрФУ Спрогнозировать погоду, диагностировать болезни по снимкам или создать умную рекомендательную систему — для ML-инженеров нет ничего невозможного. Онлайн-магистратура УрФУ и Нетологии «Инженерия машинного обучения» поможет освоить востребованную профессию. За 2 года обучения вы: — Освоите создание ML-моделей и автоматизацию процессов; — Научитесь работать с Big Data, проектировать архитектуру для хранения данных и настраивать ETL-процессы; — Получите практический опыт на реальных проектах, сможете участвовать в Kaggle-соревнованиях и хакатонах; — Пройдёте полный цикл разработки систем ИИ — от математических основ до продакшена; — Получите два диплома: государственного образца от УрФУ и дополнительный от Нетологии. Гибкий онлайн-формат обучения позволит совмещать учёбу с работой, а карьеру строить уже во время магистратуры. 👉 Подробнее о магистратуре - https://netolo.gy/ef2e Реклама. ООО "Нетология". ИНН 7726464125 Erid: 2VSb5wX4r9v

Огромная Python-шпаргалка с удобной навигацией! В репозитории собраны шпаргалки (на русском) по Python и не только, разделённые по категориям. Каждая ссылка ведёт к PDF с нужной темой. 🗂 Кроме Python, есть материалы по Git, CORS, Docker, API, SQL, CI/CD, Kubernetes и другим темам разработки. 👉 https://github.com/Dv-nn/Cheat-Sheet-Python #Python #Программирование #Шпаргалки @sqlhub