Data Science. SQL hub
Відкрити в Telegram
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Показати більше
📈 Аналітичний огляд Telegram-каналу Data Science. SQL hub
Канал Data Science. SQL hub (@sqlhub) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 36 066 підписників, посідаючи 3 722 місце в категорії Технології та додатки та 17 593 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 36 066 підписників.
За останніми даними від 02 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 122, а за останні 24 години на -6, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 9.02%. Протягом перших 24 годин після публікації контент зазвичай збирає 3.90% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 3 255 переглядів. Протягом першої доби публікація в середньому набирає 1 408 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 7.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як sql, индекс, postgres, index, sqlite.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Завдяки високій частоті оновлень (останні дані отримано 03 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
36 066
Підписники
-624 години
-747 днів
+12230 днів
Архів дописів
36 067
💻Исправление клиентской кодировки PostgreSQL с LATIN1 на UTF8
▶️Итак, реальный кейс. На сайте был один баг, который проявлялся при попытке прикрепления к сообщениям файлов, названия которых были на кириллице. В данном случае сайт выдавал ошибку 503. Это происходило несмотря на то, что кодировка базы данных была в
UTF8. Тогда как Django выдавал следующее сообщение:
'latin-1' codec can't encode characters in position 55-64: ordinal not in range(256)Проблема заключалась в том, что кодировка сервера была первоначально выставлена в
LATIN1. То есть следующие команды давали следующий вывод:
postgres=# show server_encoding; server_encoding ----------------- LATIN1(1 row) postgres=# show client_encoding; client_encoding ----------------- LATIN1(1 row) postgres=# \encoding LATIN1Выполнение команды
SET CLIENT_ENCODING TO 'utf8'; не давало результата, после выхода из psql кодировка возвращалась в LATIN1 .
▶️Исправление. Исправление данного бага свелось к настройке кодировки самого сервера. Поскольку в первую очередь сервер русскоязычный, то для исправления была произведена установка русскоязычных пакетов локалей.
sudo apt-get install language-pack-rusudo update-locale LANG=ru_RU.UTF-8sudo rebootpostgres=# show server_encoding; server_encoding ----------------- LATIN1(1 row) postgres=# show client_encoding; client_encoding ----------------- UTF8(1 row) postgres=# \encoding UTF8Вот такие дела, этого оказалось достаточно для исправления бага. Возможно, кому-то будет особенно актуально @sqlhub
36 067
💻Как создать процедуру в PostgreSQL?
⏩Итак, для создания процедуры в PostgreSQL используется язык PL/pgSQL, который является расширением языка SQL. Вот пример создания простой хранимой процедуры в PostgreSQL:
CREATE OR REPLACE FUNCTION 'имя_процедуры(параметры)' RETURNS 'тип_результата' AS $$
DECLARE
-- переменные_локальные тип_переменной
BEGIN
-- Тело процедуры
-- Может содержать SQL запросы, управляющие конструкции и другие операторы
END;
$$ LANGUAGE plpgsql;CREATE OR REPLACE FUNCTION hello_world()
RETURNS VOID AS $$
BEGIN
RAISE NOTICE 'Hello, World!';
END;
$$ LANGUAGE plpgsql;SELECT hello_world();36 067
💻PostgreSQL: исполнение запроса из Bash-скрипта
⏩Для выполнения запроса в PostgreSQL от имени пользователя 'postgres' используйте команду:
sudo -u postgres psql -d dbname -c "SELECT * FROM table;"dbname — это название вашей БД, table – имя таблицы.
Разумеется, используем права суперпользователя sudo для переключения пользователя на postgres, psql является инструментом командной строки PostgreSQL, а ключ -c нужен для выполнения конкретного запроса.
⏩Для более аккуратного форматирования вывода можно использовать ключ -t, который выводит данные построчно, и -X для того, чтобы .psqlrc не обрабатывался командой psql.
⏩Подобное выполнение SQL-запросов прямо из оболочки может быть особенно актуальным, если вы настраиваете какую-нибудь систему по ssh.
Пишите, кстати, если сталкивались с такими кейсами
@sqlhub36 067
Yandex Open Source Jam — необычное мероприятие от Яндекса
Что вас ждет:
—мастер-классы — как сделать документацию и лендинг для своего проекта за полчаса, а также как выбрать лицензию для своего опенсорса
— круглый стол, посвященный главным проблемам и вопросам сферы
— интересные доклады
— неформальное общение с разработчиками из Яндекса и других компаний
Встречаемся 23 апреля в Москве («Агломерат») и онлайн (трансляция на сайте). Переходите по ссылке для регистрации.
36 067
+4💻Коллекция готовых SQL-запросов для PostgreSQL
Нереально полезная подборка SQL-запросов, количество запросов вы и сами видите, это покрывает большую часть того, что может встретиться в практике
В том числе здесь:
⏩Обсуждаются различные функции и операторы для выполнения запросов и модификации данных
⏩Рассматриваются способы разбиения больших таблиц на N тысяч записей и распараллеливания запросов
⏩Обсуждаются особенности сравнения
record и NULL и способы быстрого получения количества записей в большой таблице
⏩Рассматриваются рекурсивные запросы, модификация пользовательских данных (UPSERT) и журналирование изменений таблицы
⏩Рассматриваются модификации схемы данных (DDL) и способы добавления ограничений таблицы и изменения ограничений внешнего ключа без блокирования таблицы
📎 Коллекция
@sqlhub36 067
Ищем системных аналитиков и технических писателей в команду Riverstart!
Компания в IT с 2012 года, аккредитована Минцифры.
Наши преимущества:
● вы сами выбираете формат работы - парттайм, фултайм или попроектно;
● можно работать в удобное время из любой точки мира;
● сможете выбирать проекты в тех отраслях, которые любите;
● платим по рынку, даем премии и составляем план развития на каждые полгода;
● 1 собеседование - не мучаем вас сериями собеседований.
Поможем комфортно и плавно вкатиться в рабочий процесс. Организуем условия для развития и роста, назначим куратора, к которому можно обращаться по техническим вопросам.
Узнайте больше о вакансиях и оставьте отклик на сайте!
36 067
🖥 Допустим вы хотите получить минимальное или максимальное значения из индексированного столбца.
Очевидно, что это будет первая, либо последняя запись в этом столбце.
База данных Oracle знает об этом, поэтому может оптимизировать данный запрос:
INDEX FULL SCAN (MIN/MAX)
или
INDEX RANGE SCAN (MIN/MAX)
При этом запросе считывается только одна необходимая запись.
@sqlhub36 067
erid: LjN8KchLQ
Работу с каталогами данных обсудят на Х5 Tech Talk!
X5 Tech и сообщество dbt & modern data stack собирают экспертов, чтобы поделиться опытом работы с каталогами данных, а также рассмотреть успешные внедрения решений на реальных кейсах.
Темы выступлений:
-- OpenMetadata как платформа для развития собственного каталога данных
-- 2 года с OpenMetadata: как заманить и не отпускать пользователей
-- Путь с каталогом данных от таблиц до моделей машинного обучения
Спикеры из X5 Tech, Beeline и Tele2.
Успей зарегистрироваться!
✅ Встречаемся 11 апреля в 19:00
__
Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689
36 067
💻Исследователи обнаружили, что GitHub Copilot генерирует уязвимые SQL-запросы (да и не только SQL-запросы)
⏩Не так давно исследователи компании Snyk, специализирующейся на безопасности, рассказали, что ИИ-помощник GitHub Copilot генерирует уязвимый код, если в проекте уже есть такой. Это связано с тем, что нейросеть просто анализирует кодовую базу, в том числе и плохие практики.
⏩Snyk провела эксперимент, чтобы доказать способность GitHub Copilot генерировать уязвимый код на основе такого же в проекте. На 1 этапе исследователи попросили ИИ-помощника сгенерировать SQL-запрос и получили это:
// create query to match input with the description or product name
var query = em.createQuery("SELECT p FROM Product p WHERE LOWER(p.description) like OR lower(p.productName) like :input", Product.class);
Это качественный и безопасный запрос с именованными параметрами, что делает невозможным использование инъекций.
⏩После этого в соседнем файле проекта самостоятельно написали уязвимый SQL-запрос и снова попросили нейросеть написать код. Во второй раз GitHub Copilot сгенерировал следующий фрагмент:
// create query to match input with the description or product name
String query = "Select * from Product where lower(description) like '%" + lowerInput + "%' OR lower(product_name) like '%" + lowerInput + "%'";36 067
+6Яндекс подготовит на треть больше топовых специалистов по ML и Data Science
Школа анализа данных Яндекса открыла набор на следующий учебный год. Школа решила увеличить число своих студентов — на обучение примут 400 человек, что обеспечит приток новых датасаентистов на рынок. Конкурс при приёме в ШАД остаётся стабильно высоким (17 человек на место в 2023 году), но добавляется новая возможность поступить — теперь абитуриенты смогут поступить также через очную олимпиаду.
В недавнем исследований ШАД выяснил, что 77% выпускников устраиваются в лидирующие технологические компании, а каждый четвёртый работает в научной сфере.
Больше о карьерных треках выпускников ищите в карточках.
@sqlhub
36 067
+3▶️7 типов баз данных, понимание которых пригодится специалисту Data Science
⏩Иерархические БД — DNS, LDAP
В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей.
⏩Сетевые БД — IDMS
Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения.
⏩Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL
Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов.
⏩Базы данных «ключ-значение» — Redis, Memcached
В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект.
⏩Документная база данных — MongoDB, RethinkDB
Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML.
⏩Графовая база данных — Neo4j, JanusGraph, Dgraph
Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства.
⏩Колоночные БД — Cassandra, HBase
Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами.
📎 Читать подробнее
@sqlhub
36 067
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее Fast Track мероприятия:
• 13–14 апреля — Fast Track для дата-аналитиков со знанием SQL и Python, офер за 2 дня в команду Фудтеха.
Зарегистрироваться
36 067
💻Вышла новая версия СУБД Postgres Pro Enterprise 16.2.1
Postgres Professional заявила о выпуске новой версии Postgres Pro Enterprise. Релиз включает возможности мажорных версий Postgres Pro Enterprise 16.1.1, PostgreSQL 16.2 и ряд новых разработок для повышения безопасности, улучшенной оптимизации запросов, аналитики и работы с большими объектами, рассказали информационной службе Хабра в пресс‑службе компании.
Среди ключевых обновлений Enterprise 16.2.1:
⏩сделана интеграция с расширением Citus, обеспечивающим масштабируемость PostgreSQL за счёт шардирования данных на нескольких узлах PostgreSQL. В отличие от выпущенной в феврале 2024 года в широкое пользование СУБД Postgres Pro Shardman, ориентированной на OLTP‑нагрузку, Citus ориентирован на аналитическую OLAP‑нагрузку;
⏩стал доступен перепланировщик запросов Replan, один из компонентов adaptive query execution (адаптивного выполнения), срабатывающий по максимальному времени выполнения;
⏩добавлено расширение dbms_lob, позволяющее обращаться к определённым частям больших объектов (LOB) или большим объектам целиком и управлять ими (поддерживаются объекты CLOB, BFILE и временные BLOB);
⏩появилась новая версия pg_proaudit 2.0, поддерживающая правила, обобщающие типичные группы действий пользователей и срабатывание правил по группам пользователей, а не по их индивидуальным учётным записям;
⏩введены два новых модификатора для работы с пакетами:
#private и *#export.* Модификатор #private определяет функции и процедуры как внутренние, а модификатор #export определяет, какие переменные пакета являются публичными;
⏩добавлены ассоциативные массивы и хэш‑коллекции (аналог indexed by таблиц PL/SQL в Oracle);
📎Подробная информация о новой версии доступна на сайте компании.
@sqlhub36 067
📆 23 апреля, с 09:00 до 19:00, Москва.
Отраслевая дата-конференция для CDO и DWH-архитекторов.
Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever.
📌 Также на мероприятии:
— тренды в работе с данными;
— обзор функционала и roadmap развития дата-платформы Arenadata;
— дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud).
— обзор состояния и перспектив рынка данных в России.
🏢 Место: отель Hyatt Regency Moscow Petrovsky Park.
🎦 Гибридный формат (онлайн + офлайн)
➡️ Регистрация здесь
https://vk.cc/cvR1mo
@sqlhub
36 067
💻Как управлять версиями вашего SQL
Теоретически многие понимают, что контроль версий может:
— Помочь нам сравнить запросы, чтобы найти различия
— Сравнить предыдущую версию с новой версией запроса.
— Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта.
— Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом
Но на практике всё не так просто.
Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий.
Я думаю, что лучший способ учиться — это брать и делать.
Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver.
📎 Туториал
@sqlhub
36 067
Канал для аналитиков уже в Telegram!
Его ведет Влад Князев, аналитик из финтеха, который ярко и с юмором пишет заметки и проводит эфиры о том, как выйти на новый уровень в карьере в IT.
Начинай прокачивать насмотренность системно уже сейчас👇
Подпишись на @godnolytika
36 067
💻Как управлять версиями вашего SQL
Теоретически многие понимают, что контроль версий может:
— Помочь нам сравнить запросы, чтобы найти различия
— Сравнить предыдущую версию с новой версией запроса.
— Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта.
— Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом
Но на практике всё не так просто.
Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий.
Я думаю, что лучший способ учиться — это брать и делать.
Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver.
📎 Туториал
@sqlhub
36 067
+6💻Инструменты для визуализации базы данных (и не только)
Держите подборку отличных инструментов для работы с БД. Про некоторые вы 100% слышали, но по-любому найдёте в этом посте для себя полезное
⏩Tableau
— Обеспечивает расширенные возможности для стилизации и визуализации данных.
— Позволяет создавать разнообразные цветные диаграммы и наглядные графики.
— Поддерживает широкий спектр источников информации, включая популярные системы управления базами данных SQL Server, PostgreSQL, Oracle и MySQL.
⏩Power BI
Power BI от Microsoft – это мощный инструмент для бизнес-аналитики, который поддерживает широкий спектр типов данных и возможностей для их визуализации. Он позволяет создавать детализированные отчеты и интерактивные презентации, превращая комплексные наборы данных в понятные и привлекательные визуальные представления.
⏩SQL Server Management Studio (SSMS)
SSMS – это интегрированная среда для работы с инфраструктурой SQL Server, которая обеспечивает эффективное управление базами данных и разработку SQL-запросов. Она позволяет управлять базами и объектами данных с использованием графического интерфейса пользователя.
⏩MySQL Workbench
MySQL Workbench – это комплексный механизм для работы с базами данных MySQL.
— Предлагает широкий спектр возможностей для администрирования, проектирования, разработки и тестирования баз данных.
— Обеспечивает единую интегрированную среду (IDE) для различных операций.
— Включает возможности для визуального моделирования, то есть создания и модификации структуры баз данных графическим способом.
А ещё можно вспомнить pgAdmin, Oracle SQL Developer, DBeaver, PopSQL, Apache Superset, Google Data Studio, dbdiagram.io, Diagrams.net, QuickDBD
📎 Читать подробнее
@sqlhub
36 067
4 апреля в 18:00 на ютуб-канале AvitoTech пройдет собеседование на позицию аналитика в Авито, где вы сможете отвечать на вопросы интервьюера и задавать свои.
Вас ждут реальные задачи и кейсы, развернутый фидбек – всё то, что поможет подготовиться к важному этапу. Не упустите возможность узнать больше о том, как пройти интервью!
А 6, 7 апреля для самых смелых аналитиков пройдет Weekend Offer в Авито. Оставляйте заявку – готовьтесь быть на высоте! 🚀
36 067
+2💻Годная Статья о SQLite в проде
⏩В последнее время SQLite вызывает всеобщий ажиотаж, но действительно ли он может конкурировать с MySQL и PostgreSQL в продакшне веб-приложений?
⏩Оглавление
Зачем выбирать SQLite вместо MySQL или PostgreSQL
— SQLite проще
— SQLite переносим
— SQLite быстр
— SQLite надёжен
— SQLite экономически эффективен
— SQLite легко защитить
Может ли SQLite подойти как БД для проекта в продакшене
— Потребуется немного проб и ошибок, чтобы научиться использовать его правильно
— Не масштабируется по горизонтали
— Ограничение параллелизма
— Ограниченная поддержка миграции
— Ограничения типов данных
Использование SQLite в продакшене, в реальном мире
⏩Усталость от DevOps реальна, от разрабов ожидают всё больше знаний об инфраструктуре, CI/CD, Docker, сетевых технологиях, Kubernetes, кластеризации, шардинге, и список можно продолжать. Но в реальности большинству проектов не нужна и половина всего этого. В современной веб-разработке наблюдается откат от сложности, сопровождающийся возвращением монолита и неуклонным ростом более простых фронтенд-фреймворков, таких, как Alpine.js и htmx.
⏩SQLite вписывается в эту логику, предоставляя более простую альтернативу традиционной клиент-серверной модели MySQL и PostgreSQL, об этом и говорится в статье.
📎 Статья
@sqlhub
