Data Science. SQL hub
Open in Telegram
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Show more
Network:📈 Analytical overview of Telegram channel Data Science. SQL hub
Channel Data Science. SQL hub (@sqlhub) in the Russian language segment is an active participant. Currently, the community unites 35 975 subscribers, ranking 3 614 in the Technologies & Applications category and 17 757 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 35 975 subscribers.
According to the latest data from 05 September, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 94 over the last 30 days and by -6 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 6.31%. Within the first 24 hours after publication, content typically collects 3.35% reactions from the total number of subscribers.
- Post reach: On average, each post receives 2 271 views. Within the first day, a publication typically gains 1 205 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 9.
- Thematic interests: Content is focused on key topics such as sql, индекс, postgres, index, sqlite.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Thanks to the high frequency of updates (latest data received on 06 September, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
35 975
Subscribers
-624 hours
+617 days
+9430 days
Posts Archive
35 975
💻Как получить текстовый дамп базы данных Postgres в Heroku
Для создания дампа базы данных PostgreSQL в текстовом формате на Heroku выполните два действия:
1️⃣Создайте и загрузите резервную копию:
heroku pg:backups:capture && heroku pg:backups:download
pg_restore:
pg_restore -f mydb.sql latest.dump
mydb.sql — это конечный файл с вашими данными. До начала работы убедитесь, что у вас установлен Postgres для использования команды pg_restore.
🔘Вот в принципе и всё, больше деталей и похожих кейсов тут
@sqlhub35 975
Как обнаружить SQL-уязвимость?
Освойте методы атаки и защиты на курсе SQL Injection Master! Аналогов по объему практики в СНГ и EN-cегменте нет.
На курсе подробно разберём эксплуатацию SQL-инъекций, одну из наиболее опасных и эксплуатируемых видов атак на веб-приложения. Вы освоите базовый синтаксис языка запросов SQL, внедрение SQL-кода в уязвимые приложения, раскрутку SQL-инъекций вручную и софтом, а также способы защиты своих веб-приложений.
Cтарт: 15 апреля
Продолжительность: 3 месяца
🏆 Выдаём УПК/сертификат
Получите промодоступ к обучению - 7 дней бесплатно!
@Codeby_Academy
84994441750
35 975
💻Исправление клиентской кодировки PostgreSQL с LATIN1 на UTF8
▶️Итак, реальный кейс. На сайте был один баг, который проявлялся при попытке прикрепления к сообщениям файлов, названия которых были на кириллице. В данном случае сайт выдавал ошибку 503. Это происходило несмотря на то, что кодировка базы данных была в
UTF8. Тогда как Django выдавал следующее сообщение:
'latin-1' codec can't encode characters in position 55-64: ordinal not in range(256)Проблема заключалась в том, что кодировка сервера была первоначально выставлена в
LATIN1. То есть следующие команды давали следующий вывод:
postgres=# show server_encoding; server_encoding ----------------- LATIN1(1 row) postgres=# show client_encoding; client_encoding ----------------- LATIN1(1 row) postgres=# \encoding LATIN1Выполнение команды
SET CLIENT_ENCODING TO 'utf8'; не давало результата, после выхода из psql кодировка возвращалась в LATIN1 .
▶️Исправление. Исправление данного бага свелось к настройке кодировки самого сервера. Поскольку в первую очередь сервер русскоязычный, то для исправления была произведена установка русскоязычных пакетов локалей.
sudo apt-get install language-pack-rusudo update-locale LANG=ru_RU.UTF-8sudo rebootpostgres=# show server_encoding; server_encoding ----------------- LATIN1(1 row) postgres=# show client_encoding; client_encoding ----------------- UTF8(1 row) postgres=# \encoding UTF8Вот такие дела, этого оказалось достаточно для исправления бага. Возможно, кому-то будет особенно актуально @sqlhub
35 975
💻Как создать процедуру в PostgreSQL?
⏩Итак, для создания процедуры в PostgreSQL используется язык PL/pgSQL, который является расширением языка SQL. Вот пример создания простой хранимой процедуры в PostgreSQL:
CREATE OR REPLACE FUNCTION 'имя_процедуры(параметры)' RETURNS 'тип_результата' AS $$
DECLARE
-- переменные_локальные тип_переменной
BEGIN
-- Тело процедуры
-- Может содержать SQL запросы, управляющие конструкции и другие операторы
END;
$$ LANGUAGE plpgsql;CREATE OR REPLACE FUNCTION hello_world()
RETURNS VOID AS $$
BEGIN
RAISE NOTICE 'Hello, World!';
END;
$$ LANGUAGE plpgsql;SELECT hello_world();35 975
💻PostgreSQL: исполнение запроса из Bash-скрипта
⏩Для выполнения запроса в PostgreSQL от имени пользователя 'postgres' используйте команду:
sudo -u postgres psql -d dbname -c "SELECT * FROM table;"dbname — это название вашей БД, table – имя таблицы.
Разумеется, используем права суперпользователя sudo для переключения пользователя на postgres, psql является инструментом командной строки PostgreSQL, а ключ -c нужен для выполнения конкретного запроса.
⏩Для более аккуратного форматирования вывода можно использовать ключ -t, который выводит данные построчно, и -X для того, чтобы .psqlrc не обрабатывался командой psql.
⏩Подобное выполнение SQL-запросов прямо из оболочки может быть особенно актуальным, если вы настраиваете какую-нибудь систему по ssh.
Пишите, кстати, если сталкивались с такими кейсами
@sqlhub35 975
Yandex Open Source Jam — необычное мероприятие от Яндекса
Что вас ждет:
—мастер-классы — как сделать документацию и лендинг для своего проекта за полчаса, а также как выбрать лицензию для своего опенсорса
— круглый стол, посвященный главным проблемам и вопросам сферы
— интересные доклады
— неформальное общение с разработчиками из Яндекса и других компаний
Встречаемся 23 апреля в Москве («Агломерат») и онлайн (трансляция на сайте). Переходите по ссылке для регистрации.
35 975
+4💻Коллекция готовых SQL-запросов для PostgreSQL
Нереально полезная подборка SQL-запросов, количество запросов вы и сами видите, это покрывает большую часть того, что может встретиться в практике
В том числе здесь:
⏩Обсуждаются различные функции и операторы для выполнения запросов и модификации данных
⏩Рассматриваются способы разбиения больших таблиц на N тысяч записей и распараллеливания запросов
⏩Обсуждаются особенности сравнения
record и NULL и способы быстрого получения количества записей в большой таблице
⏩Рассматриваются рекурсивные запросы, модификация пользовательских данных (UPSERT) и журналирование изменений таблицы
⏩Рассматриваются модификации схемы данных (DDL) и способы добавления ограничений таблицы и изменения ограничений внешнего ключа без блокирования таблицы
📎 Коллекция
@sqlhub35 975
Ищем системных аналитиков и технических писателей в команду Riverstart!
Компания в IT с 2012 года, аккредитована Минцифры.
Наши преимущества:
● вы сами выбираете формат работы - парттайм, фултайм или попроектно;
● можно работать в удобное время из любой точки мира;
● сможете выбирать проекты в тех отраслях, которые любите;
● платим по рынку, даем премии и составляем план развития на каждые полгода;
● 1 собеседование - не мучаем вас сериями собеседований.
Поможем комфортно и плавно вкатиться в рабочий процесс. Организуем условия для развития и роста, назначим куратора, к которому можно обращаться по техническим вопросам.
Узнайте больше о вакансиях и оставьте отклик на сайте!
35 975
🖥 Допустим вы хотите получить минимальное или максимальное значения из индексированного столбца.
Очевидно, что это будет первая, либо последняя запись в этом столбце.
База данных Oracle знает об этом, поэтому может оптимизировать данный запрос:
INDEX FULL SCAN (MIN/MAX)
или
INDEX RANGE SCAN (MIN/MAX)
При этом запросе считывается только одна необходимая запись.
@sqlhub35 975
erid: LjN8KchLQ
Работу с каталогами данных обсудят на Х5 Tech Talk!
X5 Tech и сообщество dbt & modern data stack собирают экспертов, чтобы поделиться опытом работы с каталогами данных, а также рассмотреть успешные внедрения решений на реальных кейсах.
Темы выступлений:
-- OpenMetadata как платформа для развития собственного каталога данных
-- 2 года с OpenMetadata: как заманить и не отпускать пользователей
-- Путь с каталогом данных от таблиц до моделей машинного обучения
Спикеры из X5 Tech, Beeline и Tele2.
Успей зарегистрироваться!
✅ Встречаемся 11 апреля в 19:00
__
Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689
35 975
💻Исследователи обнаружили, что GitHub Copilot генерирует уязвимые SQL-запросы (да и не только SQL-запросы)
⏩Не так давно исследователи компании Snyk, специализирующейся на безопасности, рассказали, что ИИ-помощник GitHub Copilot генерирует уязвимый код, если в проекте уже есть такой. Это связано с тем, что нейросеть просто анализирует кодовую базу, в том числе и плохие практики.
⏩Snyk провела эксперимент, чтобы доказать способность GitHub Copilot генерировать уязвимый код на основе такого же в проекте. На 1 этапе исследователи попросили ИИ-помощника сгенерировать SQL-запрос и получили это:
// create query to match input with the description or product name
var query = em.createQuery("SELECT p FROM Product p WHERE LOWER(p.description) like OR lower(p.productName) like :input", Product.class);
Это качественный и безопасный запрос с именованными параметрами, что делает невозможным использование инъекций.
⏩После этого в соседнем файле проекта самостоятельно написали уязвимый SQL-запрос и снова попросили нейросеть написать код. Во второй раз GitHub Copilot сгенерировал следующий фрагмент:
// create query to match input with the description or product name
String query = "Select * from Product where lower(description) like '%" + lowerInput + "%' OR lower(product_name) like '%" + lowerInput + "%'";35 975
+6Яндекс подготовит на треть больше топовых специалистов по ML и Data Science
Школа анализа данных Яндекса открыла набор на следующий учебный год. Школа решила увеличить число своих студентов — на обучение примут 400 человек, что обеспечит приток новых датасаентистов на рынок. Конкурс при приёме в ШАД остаётся стабильно высоким (17 человек на место в 2023 году), но добавляется новая возможность поступить — теперь абитуриенты смогут поступить также через очную олимпиаду.
В недавнем исследований ШАД выяснил, что 77% выпускников устраиваются в лидирующие технологические компании, а каждый четвёртый работает в научной сфере.
Больше о карьерных треках выпускников ищите в карточках.
@sqlhub
35 975
+3▶️7 типов баз данных, понимание которых пригодится специалисту Data Science
⏩Иерархические БД — DNS, LDAP
В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей.
⏩Сетевые БД — IDMS
Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения.
⏩Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL
Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов.
⏩Базы данных «ключ-значение» — Redis, Memcached
В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект.
⏩Документная база данных — MongoDB, RethinkDB
Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML.
⏩Графовая база данных — Neo4j, JanusGraph, Dgraph
Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства.
⏩Колоночные БД — Cassandra, HBase
Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами.
📎 Читать подробнее
@sqlhub
35 975
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее Fast Track мероприятия:
• 13–14 апреля — Fast Track для дата-аналитиков со знанием SQL и Python, офер за 2 дня в команду Фудтеха.
Зарегистрироваться
35 975
💻Вышла новая версия СУБД Postgres Pro Enterprise 16.2.1
Postgres Professional заявила о выпуске новой версии Postgres Pro Enterprise. Релиз включает возможности мажорных версий Postgres Pro Enterprise 16.1.1, PostgreSQL 16.2 и ряд новых разработок для повышения безопасности, улучшенной оптимизации запросов, аналитики и работы с большими объектами, рассказали информационной службе Хабра в пресс‑службе компании.
Среди ключевых обновлений Enterprise 16.2.1:
⏩сделана интеграция с расширением Citus, обеспечивающим масштабируемость PostgreSQL за счёт шардирования данных на нескольких узлах PostgreSQL. В отличие от выпущенной в феврале 2024 года в широкое пользование СУБД Postgres Pro Shardman, ориентированной на OLTP‑нагрузку, Citus ориентирован на аналитическую OLAP‑нагрузку;
⏩стал доступен перепланировщик запросов Replan, один из компонентов adaptive query execution (адаптивного выполнения), срабатывающий по максимальному времени выполнения;
⏩добавлено расширение dbms_lob, позволяющее обращаться к определённым частям больших объектов (LOB) или большим объектам целиком и управлять ими (поддерживаются объекты CLOB, BFILE и временные BLOB);
⏩появилась новая версия pg_proaudit 2.0, поддерживающая правила, обобщающие типичные группы действий пользователей и срабатывание правил по группам пользователей, а не по их индивидуальным учётным записям;
⏩введены два новых модификатора для работы с пакетами:
#private и *#export.* Модификатор #private определяет функции и процедуры как внутренние, а модификатор #export определяет, какие переменные пакета являются публичными;
⏩добавлены ассоциативные массивы и хэш‑коллекции (аналог indexed by таблиц PL/SQL в Oracle);
📎Подробная информация о новой версии доступна на сайте компании.
@sqlhub35 975
📆 23 апреля, с 09:00 до 19:00, Москва.
Отраслевая дата-конференция для CDO и DWH-архитекторов.
Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever.
📌 Также на мероприятии:
— тренды в работе с данными;
— обзор функционала и roadmap развития дата-платформы Arenadata;
— дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud).
— обзор состояния и перспектив рынка данных в России.
🏢 Место: отель Hyatt Regency Moscow Petrovsky Park.
🎦 Гибридный формат (онлайн + офлайн)
➡️ Регистрация здесь
https://vk.cc/cvR1mo
@sqlhub
35 975
💻Как управлять версиями вашего SQL
Теоретически многие понимают, что контроль версий может:
— Помочь нам сравнить запросы, чтобы найти различия
— Сравнить предыдущую версию с новой версией запроса.
— Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта.
— Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом
Но на практике всё не так просто.
Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий.
Я думаю, что лучший способ учиться — это брать и делать.
Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver.
📎 Туториал
@sqlhub
35 975
Канал для аналитиков уже в Telegram!
Его ведет Влад Князев, аналитик из финтеха, который ярко и с юмором пишет заметки и проводит эфиры о том, как выйти на новый уровень в карьере в IT.
Начинай прокачивать насмотренность системно уже сейчас👇
Подпишись на @godnolytika
35 975
💻Как управлять версиями вашего SQL
Теоретически многие понимают, что контроль версий может:
— Помочь нам сравнить запросы, чтобы найти различия
— Сравнить предыдущую версию с новой версией запроса.
— Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта.
— Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом
Но на практике всё не так просто.
Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий.
Я думаю, что лучший способ учиться — это брать и делать.
Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver.
📎 Туториал
@sqlhub
35 975
+6💻Инструменты для визуализации базы данных (и не только)
Держите подборку отличных инструментов для работы с БД. Про некоторые вы 100% слышали, но по-любому найдёте в этом посте для себя полезное
⏩Tableau
— Обеспечивает расширенные возможности для стилизации и визуализации данных.
— Позволяет создавать разнообразные цветные диаграммы и наглядные графики.
— Поддерживает широкий спектр источников информации, включая популярные системы управления базами данных SQL Server, PostgreSQL, Oracle и MySQL.
⏩Power BI
Power BI от Microsoft – это мощный инструмент для бизнес-аналитики, который поддерживает широкий спектр типов данных и возможностей для их визуализации. Он позволяет создавать детализированные отчеты и интерактивные презентации, превращая комплексные наборы данных в понятные и привлекательные визуальные представления.
⏩SQL Server Management Studio (SSMS)
SSMS – это интегрированная среда для работы с инфраструктурой SQL Server, которая обеспечивает эффективное управление базами данных и разработку SQL-запросов. Она позволяет управлять базами и объектами данных с использованием графического интерфейса пользователя.
⏩MySQL Workbench
MySQL Workbench – это комплексный механизм для работы с базами данных MySQL.
— Предлагает широкий спектр возможностей для администрирования, проектирования, разработки и тестирования баз данных.
— Обеспечивает единую интегрированную среду (IDE) для различных операций.
— Включает возможности для визуального моделирования, то есть создания и модификации структуры баз данных графическим способом.
А ещё можно вспомнить pgAdmin, Oracle SQL Developer, DBeaver, PopSQL, Apache Superset, Google Data Studio, dbdiagram.io, Diagrams.net, QuickDBD
📎 Читать подробнее
@sqlhub
