Data Science. SQL hub
Открыть в Telegram
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Больше
📈 Аналитический обзор Telegram-канала Data Science. SQL hub
Канал Data Science. SQL hub (@sqlhub) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 36 051 подписчиков, занимая 3 721 место в категории Технологии и приложения и 17 582 место в регионе Россия.
📊 Показатели аудитории и динамика
С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 36 051 подписчиков.
Согласно последним данным от 03 ноября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило 95, а за последние 24 часа — -7, при этом общий охват остаётся высоким.
- Статус верификации: Не верифицирован
- Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 8.66%. В первые 24 часа после публикации контент обычно набирает 3.89% реакций от общего числа подписчиков.
- Охват публикаций: В среднем каждый пост получает 3 124 просмотров. В течение первых суток публикация набирает 1 404 просмотров.
- Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 7.
- Тематические интересы: Контент сосредоточен на ключевых темах, таких как sql, индекс, postgres, index, sqlite.
📝 Описание и контентная политика
Автор описывает ресурс как площадку для выражения субъективного мнения:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Благодаря высокой частоте обновлений (последние данные получены 04 ноября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.
36 051
Подписчики
-724 часа
-777 дней
+9530 дней
Архив постов
36 052
🖥 Хотите получить N процентов строк из вашей таблицы?
Вы можете сделать это в SQL с помощью:
SELECT * FROM ...
ORDER BY ...
FETCH FIRST 10 PERCENT ROWS ONLY
@sqlhub36 052
«Консервируем» данные: модули pickle и dill
Сериализация данных – это преобразование данных, обрабатываемых в программе (структур и объектов) в форматы, которые можно хранить и передавать.
Задача состоит в том, чтобы можно было в дальнейшем воссоздать точную копию сохранённых данных, не утратив какую-либо информацию. В python есть разнообразные способы сделать это, некоторые их которых я и приведу в этом посте.
Сериализация данных с помощью pickle
Рассмотрю для начала стандартную библиотеку pickle. Библиотека работает с двоичными потоками данных, как в файл, так и по сети. Открыв один поток можно последовательно добавлять в него данные, при этом повторное добавление данных не приводит к их задвоению в итоговом файле, так как модуль pickle хранит историю.
В общем случае, сохранение и загрузка с использованием модуля pickle выглядит так:
import pickle
with open('pickle_dump_ex', 'wb') as output_file:
pickle.dump(data_to_save, output_file)
with open('pickle_dump_ex', 'rb') as input_file:
data_to_load = pickle.load(input _file)
Pickle позволяет сериализовать большое количество разнообразных объектов, используемых в python. Можно даже выполнять сериализацию пользовательских классов и функций, с тем нюансом что код функций или классов не сериализуется, а сериализуются только конкретные объекты и ссылки на функции. Это значит, что для успешного распаковывания объектов требуется исходный код.
Примечательно, что библиотека позволяет исполнять программный код при десериализации данных. Функционал библиотеки позволяет добавить в класс методы getstate, setstate, и reduce, который описывает поведение объекта при сериализации/десериализации. Поэтому очень важно знать, что в файле не содержится вредоносного кода. С другой стороны, это может быть удобным подспорьем если требуется, например, напомнить себе о том на каком этапе находилась обработка перед сохранением объекта.
Выглядит это следующим образом:
Смотреть36 052
Розыгрыш призов
4 подписок Telegram Premium на 3 месяцев
Дата объявления победителей
36 052
🖥 Если вы работаете в области данных, вам предстоит пройти собеседование по SQL.
Неважно, кто вы - специалист по машинному обучению или инженер по обработке данных.
SQL присутствует везде.
Вот несколько кратких советов от начинающих до продвинутых, которые вы должны знать и уметь говорить на собеседовании по
SQL.
Начинающим
- Уметь объяснить различные типы объединений. Иногда я видел, что этот вопрос задается рекрутерами в качестве отборочного, чтобы убедиться, что они хотят взять вас на работу.
- Знать, когда в порядке выполнения операций в SQL используется HAVING, а когда WHERE.
- Знать разницу между UNION и UNION ALL
Mid
- Понимать, как использовать оператор CASE внутри функции SUM или COUNT
- Знать, по крайней мере, 1-2 способа оптимизации запроса, и если вы решите, что одним из этих способов является создание индекса в таблице, то вы должны знать, какие плюсы и минусы есть у индекса.
- Уметь реализовать как подзапрос, так и CTE, но использовать CTE, если вы хотите доказать, что у вас хорошие навыки работы с SQL.
Продвинутый
- Знать, как решить SQL задачу с использованием оконной функции и без нее.
- Понимать и уметь объяснить, что такое коррелированный подзапрос.
- Просто сошлитесь на то, что вы посмотрите на план выполнения запроса. Рекрутеры будут шокированы тем, что вы вообще знаете, что это такое.
Мне бы хотелось услышать, какие вопросы вам задавали на собеседованиях по SQL. Пожалуйста, поделитесь ими в комментаряих!
@machinelearning_interview36 052
Каковы основные кэш стратегии?
Считать данные из системы:
🔹 Cache aside
🔹 Read through
Запись данных в систему:
🔹 Write around
🔹 Write back
🔹 Write through
На диаграмме в изображении показано, как работают эти 5 стратегий. Некоторые из них могут использоваться совместно.
@sqlhub
36 052
❗Какую базу данных выбрать?
👉 Узнаете на бесплатном открытом уроке «Лучшая база данных? Сравнение ClickHouse с популярными БД» от OTUS
🔹 Выделите области задач, для которых Clickhouse подходит, а где его можно не использовать
🔹 Разберете его плюсы и минусы по сравнению с другими популярными решениями на основе конкретных требований
Вебинар будет полезен инженерам, аналитикам данных, DevOps-специалистам и тимлидам.
Занятие пройдёт 14 ноября в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД».
➡️ РЕГИСТРАЦИЯ
https://otus.pw/3rcf/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KaeEM
36 052
🖥 Почему PostgreSQL признан самым лбимой бд по результатам опроса разработчиков Stackoverflow?
На диаграмме показано множество вариантов использования PostgreSQL - одной базы данных, которая включает в себя почти все функции необходимых разработчикам.
🔹OLTP (Online Transaction Processing)
Мы можем использовать PostgreSQL для CRUD-операций (Create-Read-Update-Delete).
🔹OLAP (Online Analytical Processing)
Мы можем использовать PostgreSQL для аналитической обработки. PostgreSQL основан на архитектуре 𝐇𝐓𝐀𝐏 (Hybrid transactional/analytical processing), поэтому он может хорошо работать как с OLTP, так и с OLAP.
🔹FDW (Foreign Data Wrapper)
FDW - это расширение, доступное в PostgreSQL, которое позволяет нам обращаться к таблице или схеме одной базы данных из другой.
🔹Streaming
PipelineDB - это расширение PostgreSQL для высокопроизводительной агрегации временных рядов, предназначенное для работы с отчетами и аналитическими приложениями в реальном времени.
🔹Geospatial
PostGIS - это расширитель базы данных для объектно-реляционной базы данных PostgreSQL. Он добавляет поддержку географических объектов, позволяя выполнять запросы на определение местоположения в SQL.
🔹Временные ряды
Timescale расширяет PostgreSQL для работы с временными рядами и аналитикой. Например, разработчики могут объединять непрерывные потоки финансовых и тиковых данных с другими бизнес-данными для создания новых приложений и получения уникальных знаний.
🔹Распределенные таблицы
CitusData масштабирует Postgres за счет распределения данных и запросов.
Какая база данных вам нравится больше всего?
@sqlhub
36 052
Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах.
В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python.
Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества.
👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!
36 052
36 052
❗️Как развиваться разработчику и администратору баз данных?
👉 Наращивать объем знаний и навыков.
Приглашаем на открытый урок «Синхронный VS Асинхронный PostgreSQL» в рамках курса «PostgreSQL для администраторов баз данных и разработчиков» от OTUS
🔹 Рассмотрим архитектуру синхронного коммита, синхронные и асинхронные реплики
🔹Разберем особенности 5 уровней синхронности
🦾 PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты.
👉 РЕГИСТРАЦИЯ
https://otus.pw/Asnh/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KZdnZ
36 052
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Как жесткую программную систему превратить в гибкую или Двадцать лет спустя
— Многомерный анализ данных: исследование многомерных кубов и SQL OLAP-запросов
— SQL-инъекция: разбор уязвимости на примере
— Иерархическая база данных (продолжение)
— Как расширить компетенции аналитиков при работе с Big Data
— Иерархическая база данных
— XGBoost – один из наиболее эффективных алгоритмов прогнозирования временных рядов.
— PostgreSQL Antipatterns: ходим по JSON-граблям
— SQLx: raw SQL в Rust
— Explorando el Mundo de los Archivos de Recurso en C# con Visual Studio
— Easily Generate Mock Data with PostgreSQL
— Why 0 is better than NULL sometimes
— Monolithic vs. Distributed SQL
— 🚛 Deploy Database Schema Migrations with Bytebase
— Comparing Types of Databases: A Real-World Benchmark Analysis
— [SQL Performance Killers] Individual inserts vs. Bulk inserts
— SQL Server - Types of System Databases and Tables
— Postgres. How to check the top queries that use temporary files?
— PostgreSQL. How to list the most IOPs-intensive queries?
Посмотреть:
🌐 STL C++ стандартная библиотека (⏱ 00:57)
🌐 deque разбор в С++ (⏱ 00:58)
🌐 Последовательные контейнеры c++ List (⏱ 00:47)
🌐 Совет Python разработчикам - реши задачу Chain sum с реального собеседования. (⏱ 14:23)
🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28)
🌐 🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. #python (⏱ 00:20)
🌐 The Only Database Abstraction You Need | Prime Reacts
Хорошего дня!
@sqlhub
36 052
Где набраться опыта в аналитике данных, структурировать знания и узнать, как с рабочими задачами справляются профессионалы?
Получите опыт, сопоставимый с работой в крупной компании — пройдите 6 недель интенсивной практики на «Симуляторе аналитика».
Здесь вы с нуля выстроите аналитические процессы, поработаете с настоящей инфраструктурой, научитесь уверенно справляться с ежедневными задачами аналитика и поймёте, какая логика стоит за каждым решением.
Наставники курса - Анатолий Карпов и другие ведущие аналитики. Они точно знают, как эффективно решать рабочие задачи, и готовы поделиться опытом с вами.
Обучение начинается уже 13 ноября, а сейчас как раз можно вписаться по самой приятной цене
[Узнать подробнее и записаться на курс]
36 052
Выполнение побитовых операций над числами из Oracle Database 21c с помощью:
BIT_AND_AGG
BIT_XOR_AGG
BIT_OR_AGG
✔ Преобразование десятичных чисел в двоичные (5 = 101, 6 = 110 и т. д.).
✔ Сравнение значений в каждой битовой позиции
✔ Преобразование результатов обратно в десятичный вид
@sqlhub36 052
Уже в эту субботу 11 ноября в Лектории «Газпрома» в рамках выставки "Россия" выступят ИТ-эксперты Газпромбанка:
В 16:00 — Андрей Анисимов с темой «Мотивация и развитие молодых DS-специалистов и аналитиков». Узнаем, какие навыки помогают Data Science специалистам добиваться успеха и как грамотно мотивировать сотрудников.
В 18:00 — Максим Морев с темой «Джуниор в ИТ — первые сложности на первой работе». Разберем 4 принципа, которые помогут начинающему ИТ-специалисту подняться по карьерной лестнице.
Встречаемся в павильоне F «Газпром». Регистрируйтесь по ссылке — https://vk.cc/csf0qP
Реклама Банк ГПБ (АО), ИНН: 7744001497
36 052
36 052
❗️Как легко получить Spark кластер на 10 узлов?
Современные облачные инфраструктуры позволяют сделать это всего за несколько шагов.
▶️ 9 ноября в 20:00 мск в рамках онлайн-курса MLOps от OTUS пройдёт открытый урок «Big Data в облаках».
На открытом уроке:
🔹Рассмотрим как создать в Yandex Cloud Spark кластер.
🔹 Что лучше использовать в качестве хранилища: HDFS или S3.
🔹 Как можно экономить за счет динамического выделения ресурсов.
✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.
👉 РЕГИСТРАЦИЯ
https://otus.pw/LMDh/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KLS4y
36 052
+4⚡️ Впечатляющая монолитная архитектура Stack Overflow
Компания
Stack Overflow, поддерживает тенденцию развития микросервисов их сервис обрабатывает 1,3 млрд. просмотров страниц в месяц на своих 200 сайтах, используя удивительно эффективную монолитную архитектуру с минимальной инфраструктурой.
Веб-серверы:
- Используется всего 9 локальных веб-серверов IIS.
- Каждый сервер имеет 64 ГБ оперативной памяти и работает на высокооптимизированном коде .NET
- Обработка 450 пиковых запросов в секунду на каждом сервере при использовании всего 12% процессорной мощности
- Код минимизирует потребление памяти и настроен на ограничения сбора мусора
Серверы SQL:
- Организованы в 2 отказоустойчивых кластера по 2 сервера в каждом
- Первый кластер: 1,5 ТБ оперативной памяти на сервер
- Второй кластер: 768 ГБ оперативной памяти на сервер
- Около трети массива данных Q&A находится в памяти.
- Каждый кластер обрабатывает более 10 000 пиковых запросов в секунду при ~15% CPU
Redis:
- Один основной сервер с репликой на 256 ГБ.
- Обработка 60000 пиковых операций в секунду при 2% CPU
Stack Overflow эффективно масштабирует монолитное приложение.
📌 Архитектура наглядно
📌 Подкаст об архитектуре Stack Overflow
@sqlhub36 052
🤩 Data scientist может всё!
Ну практически.
Специалистов по работе с данными много: администраторы баз данных, data-инженеры, аналитики данных. И, конечно, data scientist.
👻 Зарплаты в области растут: junior-специалист может получать от 50 000₽, senior — от 300 000₽ и больше.
👾 Data scientist требуются в бизнесе, науке, медицине, транспорте — везде, где необходимо анализировать большие объемны данных и строить выигрышные гипотезы.
🧑💻 Специалисты могут минимизировать затраты ресурсов по рутинным задачам и предложить автоматическое решение.
И всему этому вы сможете научиться на курсе Data Scientist от Слёрм. Его разработали два Senior Data Scientist:
— Иван Аникин, Team Lead Yandex.Edadeal;
— Владимир Бугаевский, Team Lead СберМаркет.
Они будут преподавать на потоке, который стартует 13 ноября! Иван и Владимир будут отвечать на вопросы студентов в чате и на онлайн-встречах, смотреть учебные проекты и давать по ним обратную связь — вы сможете положить итоговый проект в ваше портфолио.
Узнать больше о программе курса и записаться на поток вы можете на сайте по ссылке.
Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqutoRZR
36 052
🖥 TRUNCATE мгновенно удаляет все строки в таблице
Одновременно удалите строки из дочерних таблиц с помощью функции
TRUNCATE TABLE ... CASCADE
Для этого внешние ключи должны быть ON DELETE CASCADE
#SQLAlchemy
@sqlhub