Data Science. SQL hub
Відкрити в Telegram
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Показати більше
📈 Аналітичний огляд Telegram-каналу Data Science. SQL hub
Канал Data Science. SQL hub (@sqlhub) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 36 063 підписників, посідаючи 3 721 місце в категорії Технології та додатки та 17 582 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 36 063 підписників.
За останніми даними від 03 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 95, а за останні 24 години на -7, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 8.66%. Протягом перших 24 годин після публікації контент зазвичай збирає 3.89% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 3 124 переглядів. Протягом першої доби публікація в середньому набирає 1 404 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 7.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як sql, индекс, postgres, index, sqlite.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Завдяки високій частоті оновлень (останні дані отримано 04 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
36 063
Підписники
-724 години
-777 днів
+9530 днів
Архів дописів
36 059
🖥 DBA1. Администрирование PostgreSQL 13. Базовый курс
1. Введение
2. Установка и управление сервером
3. Использование psql
4. Конфигурирование
5. Общее устройство PostgreSQL
6. Изоляция и многоверсионность
7. Очистка
8. Буферный кеш и журнал
9. Базы данных и схемы
10. Системный каталог
#video #database
https://www.youtube.com/watch?v=yevXLP2LA4Q&list=PLaFqU3KCWw6LPcuYVymLcXl3muC45mu3e
@sqlhub
36 059
⚡️ Совет по работе с базами данных
Удаление сотен тысяч строк происходит медленно, влияет на производительность и не освобождает память.
Однако удалить старые данные можно очень эффективно, если разбить таблицу на временные диапазоны и удалить один из них.
@sqlhub
36 059
🐼 Используйте векторные операции #pandas вместо того, чтобы выполнять операции над каждым столбцом по отдельности.
Это позволяет использовать оптимизированную реализацию pandas на языке C для повышения производительности, особенно при работе с большими массивами данных.
@sqlhub
36 059
Каждый аналитик данных когда-то не имел опыта и почти каждый испытывал трудности при поиске первой работы
Если сейчас вам не хватает реального опыта, приходите на бесплатный вебинар от karpovꓸcourses «Как получить реальный опыт в анализе данных за шесть недель?»
На вебинары вы:
- поймете, что хотят от джунов-аналитиков
- узнаете о новых способах получить опыт, если без него найти работу не получается
Также выпускники курса Симулятор аналитика поделятся своими историями поиска работы аналитиком, что поможет вам заранее учесть все возможные трудности и справиться с этой задачей быстрее.
Вебинар проведет Анатолий Карпов — тот самый автор курсов на степике, которые обучили статистике более 200 тыс. человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses.
Ждём вас 28 ноября в 19:00!
Регистрируйтесь, чтобы попасть на вебинар
36 059
🦾 Вектореные базы данных
Вектор - это массив чисел, выражающий положение точки в пространстве по нескольким измерениям.
Как векторы связаны с эмбедингами?
В машинном обучении эмбединги - это векторы, представляющие такие точки данных, как слова, предложения, изображения и т.д.
Как работает векторная база данных?
Векторная база данных хранит эмбединги для различных точек данных, таких как документы, изображения, продукты и т.д. Она сопоставляет эти эмбединги с исходными данными.
Как векторные базы данных используются в ИИ?
Векторные базы данных имеют несколько ключевых направлений использования в ИИ:
- Семантический поиск - поиск информации на основе смысла.
- Большие языковые модели - понимание слов в контексте для генерации и обобщения информации.
- Обнаружение аномалий - выявление аномальных точек данных.
- Классификация изображений - категоризация изображений на основе визуальных свойств.
Weaviate - это векторная база данных с открытым исходным кодом, которая хранит как объекты, так и векторы, позволяя сочетать векторный поиск и структурированную фильтрацию с отказоустойчивостью и масштабируемостью облачной нативной базы данных, доступной через
GraphQL, REST и различные языковые клиенты.
📌 Github
@sqlhub36 059
На прошедшей конференции Yet another Conference on Education от Яндекса эксперты из образования и IT обсудили влияние искусственного интеллекта и других технологий на процесс обучения.
Вы можете просмотреть запись конференции и получить ценные знания о том, как IT меняет подходы к обучению, влияет на процесс оценки знаний и открывает новые возможности для развития студентов и преподавателей.
Запись доступна по ссылке — не упустите шанс обогатить свои знания и быть в курсе последних изменений в сфере образования.
36 059
💥 15 примеров задач по SQL на собеседовании по вакансии системного аналитика
Если вы читаете этот материал, скорее всего, вы рассматриваете перспективы карьерного роста в области системного анализа, и возможно, готовитесь к собеседованию.
Важным аспектом работы системного аналитика является умение эффективно работать с базами данных, и SQL — это ключевой инструмент для этого. Будьте готовы, что на техническом собеседовании вас могут попросить назвать операторы SQL, написать запросы для извлечения, обновления или удаления данных, создания новых таблиц и многого другого. Давайте посмотрим на некоторые примеры таких заданий.
📌 Читать дальше
@sqlhub
36 059
SQLite: База данных, на которой работают миллиарды устройств
Если вы когда-либо пользовались смартфоном, просматривали веб-страницы или взаимодействовали с цифровыми устройствами, то, скорее всего, вам приходилось работать с SQLite.
SQLite незаметно питает наш цифровой мир. Впервые выпущенный в 2000 г., этот компактный механизм баз данных сегодня используется в миллиардах приложений, браузеров, операционных систем и устройств.
Что же делает SQLite столь широко используемым? Несколько ключевых качеств:
☑️ Компактность и самодостаточность.
- Вся библиотека представляет собой один файл размером от 750 КБ с нулевыми зависимостями
- Встраивается непосредственно в хост-приложение вместо клиент-серверной установки
☑️ Портативность и долговечность
- Кроссплатформенный формат файлов работает на любой архитектуре
☑️ Быстрота и надежность
- Поддерживает десятки тысяч транзакций в секунду
☑️ Простота использования
- Простой, стабильный API на языке C, не требующий настройки
- Проверено более чем 20 годами использования в различных приложениях.
Результат? SQLite сегодня используется в миллиардах устройств. 🤯
Устройства на базе iOS и Android, браузеры Chrome, Safari и Firefox, языки программирования Python и PHP - SQLite присутствует везде!
Благодаря своей универсальности и вездесущности SQLite за прошедшие годы нашла свое применение в самых неожиданных приложениях.
Какие самые необычные варианты использования SQLite вы видели или слышали?
@sqlhub
36 059
Нижний Новгород, готовьтесь узнать всё о рекомендательных системах!
Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки.
Когда: 30 ноября, 18:30
Формат: офлайн
Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35
Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки!
● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec?
● Александр Немальцев — руководитель направления по исследованию данных — поделится опытом улучшения качества рекомендаций и роста конверсии, а также деталями, как были устроены наши модели на разных этапах: от базовой коллаборативной фильтрации до нейросетевых подходов.
● Артём Хусаенов — руководитель направления по исследованию данных — рассмотрит кросс-доменные модели рекомендаций для «холодных» пользователей Мегамаркета.
Будет интересно, приходите! Зарегистрироваться на RecSys Meetup by Sber
36 059
🖥 Solid Core Database System
scdb - это легкий и быстрый механизм хранения данных типа "ключ-значение", отличающийся простотой и скоростью работы, написанная на Go.
Инструмент создан по образцу архитектуры хранения Bitcask, известной своей эффективностью при операциях записи.
▪Основной принцип построения scdb (и Bitcask) основан на файловых системах с лог-структурой. При таком подходе все изменения добавляются в конец журнала, что делает запись исключительно быстрой, поскольку она осуществляется последовательно. Такая конструкция не только обеспечивает быстродействие, но и гарантирует целостность данных: даже в случае сбоя системы можно легко восстановить данные благодаря этому методу, основанному только на приложении.
▪Кроме того, в scdb реализован процесс, известный как объединение файлов журнала. Со временем, когда ваше приложение записывает все больше данных, количество файлов журнала естественным образом увеличивается. Объединение лог-файлов - это техника, которая объединяет файлы для предотвращения фрагментации и поддержания производительности. Это похоже на домашнюю уборку, обеспечивающую организованность и эффективность хранения данных.
▪Таким образом, если вы разрабатываете приложение, требующее быстрой записи данных и простого, но надежного решения для хранения данных, scdb может оказаться именно тем механизмом, который вы ищете. Он создан для того, чтобы обеспечить разработчикам, подобным вам, удобство хранения и извлечения пар ключ-значение.
🖥 Github
@sqlhub
36 059
🔥 Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика!
📣 Всем привет! Хотим пригласить вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных!
Нам предстоит провести аналитику продаж и доставок с помощью Pandas в Python, а также проиллюстрировать это все графиками.
📅 Дата: 22 ноября
🕘 Время: 19:00 по Мск
Что будем делать на интенсиве:
◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д.
◾️ Научимся легко генерировать большой DataFrame с синтетическими данными
◾️ Посчитаем описательные статистики
◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др.
◾️ Построим интерактивные графики с помощью Plotly
◾️ Научимся строить и читать необычные графики - например, violinplot
Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python.
В прямом эфире мы также расскажем о частых ошибках новичков и поделимся лайфхаками — как достойно пройти собеседование и удивить ревьюера крутыми фишками 🤩
А вы готовы бустануть свои знания и скиллы в аналитике?
👉🏻 Зарегистрироваться на интенсив
Реклама. ООО "Айти Резюме". ИНН 4025460134. Erid:LjN8KYHi3
36 059
🖥 Как базы данных выполняют SQL-запросы?
Процесс выполнения
SQL-запросов в базе данных включает в себя несколько компонентов, взаимодействующих между собой. Хотя конкретная архитектура различных систем баз данных может отличаться, ниже описана общая последовательность действий.
1. Оператор SQL запускается в клиентской программе и передается по сети на сервер базы данных.
2. Когда сервер базы данных получает SQL-оператор, реляционный движок начинает его обработку. Сначала синтаксический анализатор проверяет правильность оператора. Затем он преобразует оператор в дерево запросов, которое представляет собой внутреннюю структуру данных.
3. Оптимизатор запросов просматривает дерево запросов и определяет наиболее эффективный способ выполнения SQL-оператора, создавая план выполнения.
4. План выполнения передается исполнителю запроса, который использует его для координации получения или изменения данных в соответствии с запросом SQL. Для доступа к данным исполнитель взаимодействует с движком хранилища.
5. Движок хранилища использует методы доступа - протоколы чтения и записи данных, наиболее эффективные для выполнения различных операций.
6. При чтении данных менеджер буферов проверяет, кэшированы ли нужные данные в памяти, и при необходимости извлекает их с диска. Это ускоряет последующий доступ.
7. При записи данных со вставкой или обновлением менеджер транзакций следит за тем, чтобы изменения происходили атомарно и сохраняли целостность базы данных.
8. В то же время менеджер блокировок накладывает блокировки, чтобы несколько транзакций могли выполняться одновременно, не конфликтуя между собой. Таким образом, обеспечивается изоляция и согласованность.
Работая вместе, эти компоненты обеспечивают надежную и эффективную обработку SQL-запросов в системе управления базами данных.
@sqlhub36 059
❗️Почему Clickhouse нужен всем, кто работает с БД?
👉 Расскажем на бесплатном открытом уроке «K.I.S.S. Pandas больше не нужен? Продвинутые возможности Clickhouse» от OTUS и Алексея Железного – Senior Data Engineer в Wildberries.
На занятии вы:
🔹 Сравните устоявшиеся решения в области обработки данных с реализациями в рассматриваемой БД
🔹Получите практические знания, материалы и инструкции для дальнейшего изучения и углубления в тему
Вебинар будет полезен инженерам, аналитикам данных, DevOps-специалистам и тимлидам.
Занятие пройдёт 21 ноября в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД».
➡️ Крупные корпорации уже используют эту БД или собираются на нее переходить, сейчас самое время стать востребованным нишевым специалистом
➡️ РЕГИСТРАЦИЯ
https://otus.pw/eix3/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
36 059
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Проблемы при переходе с MS SQL на PostgreSQL. Типы данных
— Лучшие ресурсы чтобы выучить Git и Github
— Деревья ltree в PostgreSQL – простым языком
— Пишем свой QTableView (продолжение: кастомные стили)
— Row Level Security with an ARRAY of tenants set in session parameter
— What the pluck?
— Partition Strategies: Fundamental Concepts for PostgreSQL Partitioning
— WEREWOLF WEED
— Deploying Adminer on Google App Engine (GAE) with Private and Public IP Connectivity
— O problema de SQL que quase me enlouqueceu
— The Benefits of Hiring a Professional Website Development Company in Bangalore
— Implicit vs. explicit JOINs
— A simple example of a nested SQL query
— Utilização de Views SQL em Golang
Посмотреть:
🌐 Пишем генератор Shorts видео на Python для заработка на YouTube. (⏱ 11:50)
🌐 Озвучка и генерации контента с помощью #Python и AI (⏱ 00:44)
🌐 Замена лица на любой фотографии с помощью #python БЕСПЛАТНО! (⏱ 00:59)
Хорошего дня!
#sql #digest
@sqlhub
36 059
📘 Большой, профессиональный перевод документации PostgreSQL на русском с примера кода и запросов
▪Подробный гайд от установки и настройки
▪Основы и темы и синтаксиса языка SQL
▪Все виды запросов, типы данных, функции и операторы
▪Преобразование типов, индексы и многое другое
📌 Документация
@sqlhub36 059
Что делать с постепенно растущей нагрузкой при быстром масштабировании? А с ее резким ростом?
Ответы на эти вопросы — на вебинаре Tarantool и Git In Sky «Типичные ошибки быстрого масштабирования: как их избежать» 23 ноября в 16:00 МСК.
В программе:
🔹 Что может пойти не так на начальном этапе масштабирования? В чем плюсы и минусы традиционных подходов к кэшированию?
🔹 Что делать с постепенно растущей нагрузкой? А с резким ростом нагрузки? Как обеспечить доступность и отказоустойчивость сервиса?
🔹 Как избежать чрезмерного разрастания технологического стека при выпуске нового функционала?
🔹 Как на разных этапах масштабирования может помочь Tarantool? И как правильно его приготовить, чтобы добиться максимальной производительности и надежности?
Приходите, если любите учиться на чужих ошибках и узнавать про факапы других людей🙂
Регистрируйтесь: https://bit.ly/3QqBdo4
36 059
🖥 Хотите получить N процентов строк из вашей таблицы?
Вы можете сделать это в SQL с помощью:
SELECT * FROM ...
ORDER BY ...
FETCH FIRST 10 PERCENT ROWS ONLY
@sqlhub36 059
«Консервируем» данные: модули pickle и dill
Сериализация данных – это преобразование данных, обрабатываемых в программе (структур и объектов) в форматы, которые можно хранить и передавать.
Задача состоит в том, чтобы можно было в дальнейшем воссоздать точную копию сохранённых данных, не утратив какую-либо информацию. В python есть разнообразные способы сделать это, некоторые их которых я и приведу в этом посте.
Сериализация данных с помощью pickle
Рассмотрю для начала стандартную библиотеку pickle. Библиотека работает с двоичными потоками данных, как в файл, так и по сети. Открыв один поток можно последовательно добавлять в него данные, при этом повторное добавление данных не приводит к их задвоению в итоговом файле, так как модуль pickle хранит историю.
В общем случае, сохранение и загрузка с использованием модуля pickle выглядит так:
import pickle
with open('pickle_dump_ex', 'wb') as output_file:
pickle.dump(data_to_save, output_file)
with open('pickle_dump_ex', 'rb') as input_file:
data_to_load = pickle.load(input _file)
Pickle позволяет сериализовать большое количество разнообразных объектов, используемых в python. Можно даже выполнять сериализацию пользовательских классов и функций, с тем нюансом что код функций или классов не сериализуется, а сериализуются только конкретные объекты и ссылки на функции. Это значит, что для успешного распаковывания объектов требуется исходный код.
Примечательно, что библиотека позволяет исполнять программный код при десериализации данных. Функционал библиотеки позволяет добавить в класс методы getstate, setstate, и reduce, который описывает поведение объекта при сериализации/десериализации. Поэтому очень важно знать, что в файле не содержится вредоносного кода. С другой стороны, это может быть удобным подспорьем если требуется, например, напомнить себе о том на каком этапе находилась обработка перед сохранением объекта.
Выглядит это следующим образом:
Смотреть
