Data Science. SQL hub
Kanalga Telegram’da o‘tish
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Ko'proq ko'rsatish
📈 Telegram kanali Data Science. SQL hub analitikasi
Data Science. SQL hub (@sqlhub) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 36 052 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 3 727-o'rinni va Rossiya mintaqasida 17 578-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 36 052 obunachiga ega bo‘ldi.
04 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 86 ga, so‘nggi 24 soatda esa -4 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 8.96% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 3.89% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 3 231 marta ko‘riladi; birinchi sutkada odatda 1 404 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 7 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent sql, индекс, postgres, index, sqlite kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 05 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
36 052
Obunachilar
-424 soatlar
-657 kun
+8630 kun
Postlar arxiv
36 052
Сбер расширяет географию своих ивентов: 6 октября в Тбилиси состоится первый технологический митап, посвящённый разработке рекомендательных систем 👨💻
На RecSys MeetUp вы познакомитесь с экспертами Сбера, станете частью одного из крупнейших IT-комьюнити и узнаете о:
✔️ Технологических трендах в области искусственного интеллекта и машинного обучения.
✔️ Устройстве современных стримингов компаний-партнёров Сбера.
Гарантируем: будет интересно и безумно полезно каждому DS-специалисту. Регистрируйтесь по ссылке, встречаемся 6 октября в 18:30 по адресу: Тбилиси, Ресторан на 6 этаже отеля «Golden Palace», переулок Агмашенебели 62 💚
36 052
+1Использование рекурсивных запросов для управления иерархиями данных
Некоторые таблицы в SQL могут иметь неявный вид иерархии данных. Например, в нашей таблице сотрудников для каждого сотрудника имеется идентификатор
manager_id. У нас есть менеджер, который отвечает за других менеджеров, которые, в свою очередь, отвечают за других сотрудников, и так далее.
При такой организации мы можем иметь иерархию различных уровней. В каждой строке столбец manager_id относится к строке, находящейся на непосредственном верхнем уровне иерархии. В таких случаях хорошим запросом является получение списка всех сотрудников, подчиняющихся генеральному директору компании (который в данном случае имеет идентификатор employee_id, равный 110). Для этого используем следующий запрос
WITH RECURSIVE subordinate AS (
SELECT
employee_id,
first_name,
last_name,
manager_id
FROM employee
WHERE employee_id = 110 -- id of the top hierarchy employee (CEO)
UNION ALL
SELECT
e.employee_id,
e.first_name,
e.last_name,
e.manager_id
FROM employee e
JOIN subordinate s
ON e.manager_id = s.employee_id
)
SELECT
employee_id,
first_name,
last_name,
manager_id
FROM subordinate ;
В этом запросе мы создали рекурсивный CTE под названием subordinate. Он является ключевой частью запроса, поскольку проходит по иерархии данных, переходя от одной строки к строкам иерархии, расположенным непосредственно под ней.
Есть два подзапроса, соединенных между собой UNION ALL; первый подзапрос возвращает верхнюю строку иерархии, а второй запрос возвращает следующий уровень, добавляя эти строки к промежуточному результату запроса. Затем снова выполняется второй подзапрос, возвращающий следующий уровень, который снова добавляется к промежуточному результату. Этот процесс повторяется до тех пор, пока в промежуточный результат не будет добавлено ни одной новой строки. Наконец, главный запрос возвращает данные в том виде, в котором мы ожидаем.
@sqlhub36 052
Многие хотят стать аналитиками данных, но не у многих получается
Мы не понаслышке знаем, как трудно ворваться на рынок труда и хотим поделиться нашими советами на бесплатном вебинаре.
Вы узнаете:
- Какие навыки нужны для старта карьеры, и что изменилось за последние годы
- Как найти первую работу или стажировку?
- Обязательно ли профильное высшее образование для работы аналитиком?
- Можно ли начать карьеру после 30?
Вебинар проведёт Анатолий Карпов — тот самый автор курсов на степике, которые обучили основам анализа данных более 200 тыс. человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses.
🕖Вебинар пройдет 28 сентября в 19:00
Регистрируйтесь по ссылке
Реклама. ООО "Карпов Курсы". Erid: LjN8KNZ3W
36 052
+2🖥StereoDB
Сверхбыстрая и легкая база данных внутрипроцессной памятм, написанная на языке F#, поддерживающая: транзакции, вторичные индексы, персистентные структуры данных и инструменты управления памятью.
StereoDB поддерживает создание Stateful Services (API или ETL Worker), которые хранят все данные в памяти и могут обеспечить миллионы запросов в секунду для RPS с одного узла.
• Github
@sqlhub
36 052
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Искусство ETL. FAQ по Data Cooker ETL
— Microsoft предлагает БЕСПЛАТНЫЕ онлайн курсы с сертификацией
— Clickhouse — непростая жизнь в продакшене
— MySQL в Google Colab: Бесшовная интеграция
— Искусство ETL. Пишем собственный движок SQL на Spark [часть 5 из 5]
— Bamboolib : Инструментарий для интеллектуального исследования и анализа данных
— 7 шагов по контейнеризации Python-приложений
— Understanding Joins in SQL
— My Experience learning Python and SQL
— SQL 50–1683. Invalid Tweets
— Tudo que você precisa saber sobre SQL
— Select transactions
— Temp table in SQL Server
— Memory behind Postgres
— Discover the Hidden Powers of PostgreSQL: Lateral Joins and JSON Columns Decoded!
— Bitmap Scan in YugabyteDB
— SQL 50–1148. Article Views I
Посмотреть:
🌐 Вся база SQL для начинающих за 1 час
🌐 SQL For Web Developers - Complete Database Course
🌐 Python Matplotlib. Визуализация данных на PRO уровне. (⏱ 24:43)
🌐 Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior. (⏱ 20:28)
🌐 Уроки Golang с нуля /#29 - Дженерики/обобщения (⏱ 10:52)
🌐 Уроки Golang с нуля /#30 - Горутины (⏱ 08:09)
🌐 Как защитить телеграм бота от атак и перегрузок. (⏱ 08:29)
Хорошего дня!
@sqlhub
36 052
❗️ Хардкорный тест для разработчиков MS SQL Server
Вырвитесь из однотипных задач. Освойте продвинутые подходы.
Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на углубленном курсе «MS SQL Server Developer» https://otus.pw/0u1i/
⏰ Время прохождения теста ограничено 30 минут
⚠️ Курс создан для разработчиков, которые хотят понять, как устроены БД, научиться писать сложные запросы или заниматься проектированием на SQL профессионально.
👉 ПРОЙТИ ТЕСТИРОВАНИЕ https://otus.pw/0u1i/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K6PRA
36 052
🖥 SQL-запросы, которые вы рано или поздно погуглите, часть 2
На сей раз я использую таблицу subject_selection, которая описывает изучаемые студентами предметы:
|student_id|subject|semester|student_name|
|----------|-------|--------|------------|
|eb1490a6 |Физика |2 |Иван |
|1c5bf433 |Физика |4 |Андрей |
|b16a764b |Тервер |1 |Ирина |
|48b3a7f6 |Матстат|2 |Мария |
|c179c5cc |Тервер |2 |Сергей |
|6306ceed |Матстат|1 |Инна |
|5853f444 |Иняз |3 |Эрик |
|… |… |… |… |
|550ca6a5 |Тервер |2 |Елена |
Запросы исполнены на диалекте BigQuery.
WHERE + LIKE: найти все таблицы с определенным столбцом
Допустим, администратор университетской базы данных управляет большим хранилищем и уже не тратит усилия на запоминания всех структур таблиц. Он хочет вспомнить, в каких наборах упоминались студенты.
Во многих СУБД на базе SQL существует information_schema с метаданными, к которой можно обращаться с запросами. Вот так, к примеру, она выглядит в BigQuery (документация): *в изображении.
Вы также можете обратиться к:
▪️резервной копии таблицы (TABLE_SNAPSHOT);
▪️перечню запросов, выполненных определенным сотрудником (JOBS_BY_USER);
▪️частоте использования расшаренных датасетов (SHARED_DATASET_USAGE).
Чтобы получить искомый список таблиц, содержащими столбец с подстрокой ‘student’, нужно запустить такую команду:
SELECT * FROM `project.tutorials.INFORMATION_SCHEMA.COLUMNS`
WHERE column_name LIKE '%student%'
В результате мы получим список с 20+ параметрами. Располагая также данными о типе столбца, возможности пропусков в нем и прочих интересных настройках вы сможете управлять своими данными на новом уровне: ведь по любому из полей можно производить фильтрацию, модификацию и проч.
📌 Читать весь разбор
@sqlhub36 052
«Ты не можешь остановить восстание машин, но ты можешь его возглавить»
13 ноября в Слёрм стартует поток «Профессия Data Scientist».
Эксперты курса:
⚡️Иван Аникин, Team Lead Yandex.Edadeal
⚡️Владимир Бугаевский, Team Lead СберМаркет
Они расскажут, как создавать алгоритмы, которые автоматизируют труд и заставляют компьютеры «думать» самостоятельно.
Посмотреть подробную программу можно на сайте Слёрм
На курсе вы сможете научиться:
✔️анализировать и визуализировать большие объёмы данных;
✔️сводить бизнес-задачу в задачу машинного обучения;
✔️работать с данными разных типов.
Мы поможем уверенно стартовать в профессии: в конце обучения вы сможете сделать итоговый проект на реальных данных.
Записаться на курс можно по ссылке
Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545
36 052
🖥 usql
usql – универсальный командный интерфейс для работы с SQL и NoSQL базами данных
usql предоставляет простой способ работы с базами данных
SQL и NoSQL через командную строку, созданную на основе psql от PostgreSQL.
usql поддерживает большинство основных возможностей psql, таких как переменные, обратные знаки, команды обратной косой черты, и имеет дополнительные возможности, которых нет в psql, такие как поддержка нескольких баз данных, копирование между базами данных, подсветка синтаксиса и завершение на основе контекста.
$ brew install xo/xo/usql
🖥 Github
✔️ Установка
#github #Go #sql #nosql
@sqlhub36 052
Семь раз проверь: Х5 Tech проведет Data Quality Meetup
На онлайн-митапе 27 сентября выступят спикеры из X5 Tech, чтобы поделиться своим опытом и обсудить темы, касающиеся качества и надежности данных:
➖ Каким прибором измеряется качество данных и для чего нужен этот показатель
➖ Всё для удобства менеджеров DQ: что такое базовые проверки и сколько их нужно для счастья
🔔 27 сентября в 18:00
Участие бесплатно, нужна регистрация
Реклама. ООО "Корпоративный центр ИКС 5", ИНН 7728632689 , erid: LjN8KRxDd
36 052
36 052
Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах.
В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python.
Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества.
👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!
36 052
🖥 SQL Translator - это инструмент для преобразования
запросов на естественном языке в SQL-запросы с помощью искусственного интеллекта. Этот проект является 100% бесплатным и с открытым исходным кодом.
git clone https://github.com/whoiskatrin/sql-translator.git
▪Github
▪Проект
@sqlhub36 052
Попробуйте свои силы в Data Science на бесплатном мини-курсе, который подходит для любого уровня подготовки. Вас ждут 4 задания для отработки знаний на практике, полезные материалы, подарки и живое общение со экспертом.
Зарегистрируйтесь прямо сейчас и получите гайд «Как пользоваться ChatGPT и Midjourney из России и Беларуси»: https://epic.st/iIRG3
В программе знакомство с профессиями в Data Science и практика:
— ML Engineer — пишем нейросеть для подбора новостных статей.
— Data Engineer — изучаем основные конструкции SQL на примере базы данных заказов.
— Data Analyst — визуализируем данные индекса счастья c помощью Python.
— Изучаем основы Python и SQL.
После просмотра видеоматериалов будет онлайн-встреча с Анастасией Борневой — руководителем направления по исследованию данных в Сбере. Разберём пройденный материал и обсудим актуальные вопросы профессии.
🎁 Вас ждут подарки:
— год изучения английского бесплатно;
— персональная карьерная консультация;
— 5 полезных чек-листов для старта карьеры;
— сертификат на скидку 10 000 рублей на любой курс Skillbox.
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
36 052
36 052
🖥 SQL-запросы, которые вы рано или поздно погуглите
Отвечу на вопросы, которые возникают у новичков в SQL, в частности в PostgreSQL и BigQuery. Мы не будем обсуждать совсем базовые SELECT, CREATE или DROP.
Для удобства восприятия будем использовать тестовые данные. Первая таблица players содержит данные о пользователях и дате установки мобильной игры:
|playerId|name |installationDate|game |os |
|--------|----------------|----------------|----------|----------|
|9e8a0174|Трофимова Алёна |2023-07-30 |basketball|iOS 16 |
|3e2e04ad|Семенова Алиса |2022-07-21 |consumer |iOS 13 |
|642eafb2|Абрамова Диана |2022-06-06 |curtain |iOS 15 |
|8c231f49|Ефимова Ульяна |2022-06-21 |conductor |Android 12|
|a085caf1|Захаров Михаил |2023-04-11 |appear |Android 11|
|c4deb869|Николаева Марта |2022-03-31 |possible |iOS 11 |
вторая, levels, — даты прохождения игроком с определенным ID того или иного уровня:
|playerId|level|completionDate|
|--------|-----|--------------|
|7b50274d|6 |2023-05-17 |
|b0c9a9da|20 |2022-02-19 |
|09b3d5b5|15 |2022-07-22 |
|52b3bfa9|11 |2022-02-18 |
|3e2e04ad|17 |2022-08-17 |
|642eafb2|17 |2022-04-14 |
|8c231f49|20 |2022-05-30 |
|a085caf1|20 |2023-02-24 |
|36545ec1|16 |2022-08-10 |
|44e9653f|3 |2023-06-02 |
Я буду верстать в BigQuery на таком же датасете, так что использую соответствующий диалект.
INNER JOIN
Это тип объединения по умолчанию, и он оставит наименьшее число строк. Слово INNER можно опустить:
SELECT
p.playerId,
installationDate,
game,
level,
completionDate
FROM `project.tutorials.players` AS p
JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId;
Посмотрим, что здесь происходит:
• В строках 1-6 мы выбираем только необходимые столбцы;
• 7-8: командой AS задаем псевдонимы таблицам;
• 8: определяем логику объединения по совпадающим playerId. Это означает также, что мы сохраним данные только об первом попавшемся уровне.
Получим всего четыре строки:
|playerId|name |installationDate|game |level|completionDate|
|--------|--------------|----------------|---------|-----|--------------|
|3e2e04ad|Семенова Алиса|2022-07-21 |consumer |17 |2022-08-17 |
|642eafb2|Абрамова Диана|2022-06-06 |curtain |17 |2022-04-14 |
|8c231f49|Ефимова Ульяна|2022-06-21 |conductor|20 |2022-05-30 |
|a085caf1|Захаров Михаил|2023-04-11 |appear |20 |2023-02-24 |
OUTER JOIN
Этот тип объединения, напротив, куда «добрее» и в случае FULL-объединения сохранит записи обо всех игроках и всех пройденных уровнях:
SELECT
p.playerId,
installationDate,
game,
level,
completionDate
FROM `project.tutorials.players` AS p
FULL OUTER JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId;
У нас появятся записи, где playerId пуст, поскольку попросили мы идентификаторы только из первой таблицы:
🔍 Читать36 052
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Проектирование БД и почему важен SQL для системного аналитика: гайд по улучшению качества требований
— Тестирование производительности на Python: Пошаговое руководство с Flask
— Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5]
— Вы вообще нормальн… нормализованный??
— SQL HowTo: ближайший общий предок в дереве (LCA)
— 7 аргументов почему UUID лучше, чем автоинкрементные идентификаторы
— MSSQL: Rebuild vs Reorganize в высоконагруженных системах
— Как я писал сервер на NodeJS для базы Firebird 3.0
— Harness the Power of SQL CASE - Your Ultimate SQL CASE Statement Guide
— Transaction Internals: Fast Path vs Multi-Shard
— The cost of additional secondary indexes in PostgreSQL & YugabyteDB
— Dominando a função WITH: Criando Consultas Temporárias no SQL
— Database Review: Top Five Missing Features from Database APIs
— SQL Roadmap for Data Analysts[Step-by-Step]
— Offline auth with Electron + SQLite + React
— SQL concept for Beginners
— Implementing hassle-free audits in the SQL database
— Simple and Efficient Full Text Search using Django and Postgres
Посмотреть:
🌐 Невероятная нейросеть переводит любое видео на другие языки с сохранением оригинального голоса. (⏱ 00:55)
🌐 Python анализ данных с Pandas. PandaSQL (⏱ 12:13)
🌐 Управление жестами всегда было в ваших часах, просто его нужно было активировать. (⏱ 00:11)
🌐 Python анализ данных с Pandas. Join, merge, concat в Pandas (⏱ 19:25)
🌐 Python+SQL часть2 создание таблиц. (⏱ 05:15)
🌐 Уроки Golang с нуля /#28 - Встраивание типов (⏱ 06:16)
🌐 Python анализ данных с Pandas. (⏱ 17:04)
🌐 Уроки Golang с нуля /#27 - Bufio. Чтение и запись (⏱ 10:35)
Хорошего дня!
@sqlhub
36 052
Бизнес-аналитика вызывает интерес? Поучаствуйте в бесплатном интенсиве Skillbox «3 дня в роли бизнес-аналитика: основы профессии и первый кейс» с 18 по 20 сентября в 19:00 по московскому времени!
Регистрируйтесь 👉: https://epic.st/-PkE0
📋 Сразу после регистрации получите два чек-листа: «Бизнес-аналитик: начинаем карьеру с нуля» и «Ключевые качества и навыки».
На интенсиве вы:
✔️ Узнаете, чем занимаются бизнес-аналитики
✔️ Поймёте, почему они особенно востребованы в нестабильное время
✔️ Изучите инструменты бизнес-анализа
✔️ Попрактикуетесь на реальных задачах — соберёте данные о деятельности структурного подразделения и проанализируете бизнес-процесс
Интенсив ведёт генеральный директор компании Business Set, аналитик с опытом более 20 лет — Антон Антипин. Он ответит на вопросы и даст обратную связь по домашним заданиям.
🎁 Никто не уйдёт без подарков: электронная книга Скотта Беркуна «Сделано» издательства МИФ и сертификат на скидку 10 000 рублей на любой курс Skillbox — каждому, кто будет онлайн!
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
36 052
🐘🤘 Hydra
Hydra - это Postgres с открытым исходным кодом, ориентированный на работу с колонками. Вы можете мгновенно запрашивать миллиарды строк без изменения кода.
Генерации аналитики за минуты, а не за недели.
Можно запустить Hydra локально.
git clone https://github.com/hydradatabase/hydra && cd hydra
cp .env.example .env
docker compose up
psql postgres://postgres:hydra@127.0.0.1:5432
• Github
• Проект
@sqlhub