Data Science. SQL hub

🖥 DBA1. Администрирование PostgreSQL 13. Базовый курс 1. Введение 2. Установка и управление сервером 3. Использование psql 4. Конфигурирование 5. Общее устройство PostgreSQL 6. Изоляция и многоверсионность 7. Очистка 8. Буферный кеш и журнал 9. Базы данных и схемы 10. Системный каталог #video #database https://www.youtube.com/watch?v=yevXLP2LA4Q&list=PLaFqU3KCWw6LPcuYVymLcXl3muC45mu3e @sqlhub

⚡️ Совет по работе с базами данных Удаление сотен тысяч строк происходит медленно, влияет на производительность и не освобождает память. Однако удалить старые данные можно очень эффективно, если разбить таблицу на временные диапазоны и удалить один из них. @sqlhub

🐼 Используйте векторные операции #pandas вместо того, чтобы выполнять операции над каждым столбцом по отдельности. Это позволяет использовать оптимизированную реализацию pandas на языке C для повышения производительности, особенно при работе с большими массивами данных. @sqlhub

Каждый аналитик данных когда-то не имел опыта и почти каждый испытывал трудности при поиске первой работы Если сейчас вам не хватает реального опыта, приходите на бесплатный вебинар от karpovꓸcourses «Как получить реальный опыт в анализе данных за шесть недель?» На вебинары вы: - поймете, что хотят от джунов-аналитиков - узнаете о новых способах получить опыт, если без него найти работу не получается Также выпускники курса Симулятор аналитика поделятся своими историями поиска работы аналитиком, что поможет вам заранее учесть все возможные трудности и справиться с этой задачей быстрее. Вебинар проведет Анатолий Карпов — тот самый автор курсов на степике, которые обучили статистике более 200 тыс. человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. Ждём вас 28 ноября в 19:00! Регистрируйтесь, чтобы попасть на вебинар

🦾 Вектореные базы данных Вектор - это массив чисел, выражающий положение точки в пространстве по нескольким измерениям. Как векторы связаны с эмбедингами? В машинном обучении эмбединги - это векторы, представляющие такие точки данных, как слова, предложения, изображения и т.д. Как работает векторная база данных? Векторная база данных хранит эмбединги для различных точек данных, таких как документы, изображения, продукты и т.д. Она сопоставляет эти эмбединги с исходными данными. Как векторные базы данных используются в ИИ? Векторные базы данных имеют несколько ключевых направлений использования в ИИ: - Семантический поиск - поиск информации на основе смысла. - Большие языковые модели - понимание слов в контексте для генерации и обобщения информации. - Обнаружение аномалий - выявление аномальных точек данных. - Классификация изображений - категоризация изображений на основе визуальных свойств. Weaviate - это векторная база данных с открытым исходным кодом, которая хранит как объекты, так и векторы, позволяя сочетать векторный поиск и структурированную фильтрацию с отказоустойчивостью и масштабируемостью облачной нативной базы данных, доступной через GraphQL, REST и различные языковые клиенты. 📌 Github @sqlhub

На прошедшей конференции Yet another Conference on Education от Яндекса эксперты из образования и IT обсудили влияние искусственного интеллекта и других технологий на процесс обучения. Вы можете просмотреть запись конференции и получить ценные знания о том, как IT меняет подходы к обучению, влияет на процесс оценки знаний и открывает новые возможности для развития студентов и преподавателей. Запись доступна по ссылке — не упустите шанс обогатить свои знания и быть в курсе последних изменений в сфере образования.

💥 15 примеров задач по SQL на собеседовании по вакансии системного аналитика Если вы читаете этот материал, скорее всего, вы рассматриваете перспективы карьерного роста в области системного анализа, и возможно, готовитесь к собеседованию. Важным аспектом работы системного аналитика является умение эффективно работать с базами данных, и SQL — это ключевой инструмент для этого. Будьте готовы, что на техническом собеседовании вас могут попросить назвать операторы SQL, написать запросы для извлечения, обновления или удаления данных, создания новых таблиц и многого другого. Давайте посмотрим на некоторые примеры таких заданий. 📌 Читать дальше @sqlhub

SQLite: База данных, на которой работают миллиарды устройств Если вы когда-либо пользовались смартфоном, просматривали веб-страницы или взаимодействовали с цифровыми устройствами, то, скорее всего, вам приходилось работать с SQLite. SQLite незаметно питает наш цифровой мир. Впервые выпущенный в 2000 г., этот компактный механизм баз данных сегодня используется в миллиардах приложений, браузеров, операционных систем и устройств. Что же делает SQLite столь широко используемым? Несколько ключевых качеств: ☑️ Компактность и самодостаточность. - Вся библиотека представляет собой один файл размером от 750 КБ с нулевыми зависимостями - Встраивается непосредственно в хост-приложение вместо клиент-серверной установки ☑️ Портативность и долговечность - Кроссплатформенный формат файлов работает на любой архитектуре ☑️ Быстрота и надежность - Поддерживает десятки тысяч транзакций в секунду ☑️ Простота использования - Простой, стабильный API на языке C, не требующий настройки - Проверено более чем 20 годами использования в различных приложениях. Результат? SQLite сегодня используется в миллиардах устройств. 🤯 Устройства на базе iOS и Android, браузеры Chrome, Safari и Firefox, языки программирования Python и PHP - SQLite присутствует везде! Благодаря своей универсальности и вездесущности SQLite за прошедшие годы нашла свое применение в самых неожиданных приложениях. Какие самые необычные варианты использования SQLite вы видели или слышали? @sqlhub

Нижний Новгород, готовьтесь узнать всё о рекомендательных системах! Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки. Когда: 30 ноября, 18:30 Формат: офлайн Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35 Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки! ● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec? ● Александр Немальцев — руководитель направления по исследованию данных — поделится опытом улучшения качества рекомендаций и роста конверсии, а также деталями, как были устроены наши модели на разных этапах: от базовой коллаборативной фильтрации до нейросетевых подходов. ● Артём Хусаенов — руководитель направления по исследованию данных — рассмотрит кросс-доменные модели рекомендаций для «холодных» пользователей Мегамаркета. Будет интересно, приходите! Зарегистрироваться на RecSys Meetup by Sber

🖥 Solid Core Database System scdb - это легкий и быстрый механизм хранения данных типа "ключ-значение", отличающийся простотой и скоростью работы, написанная на Go. Инструмент создан по образцу архитектуры хранения Bitcask, известной своей эффективностью при операциях записи. ▪Основной принцип построения scdb (и Bitcask) основан на файловых системах с лог-структурой. При таком подходе все изменения добавляются в конец журнала, что делает запись исключительно быстрой, поскольку она осуществляется последовательно. Такая конструкция не только обеспечивает быстродействие, но и гарантирует целостность данных: даже в случае сбоя системы можно легко восстановить данные благодаря этому методу, основанному только на приложении. ▪Кроме того, в scdb реализован процесс, известный как объединение файлов журнала. Со временем, когда ваше приложение записывает все больше данных, количество файлов журнала естественным образом увеличивается. Объединение лог-файлов - это техника, которая объединяет файлы для предотвращения фрагментации и поддержания производительности. Это похоже на домашнюю уборку, обеспечивающую организованность и эффективность хранения данных. ▪Таким образом, если вы разрабатываете приложение, требующее быстрой записи данных и простого, но надежного решения для хранения данных, scdb может оказаться именно тем механизмом, который вы ищете. Он создан для того, чтобы обеспечить разработчикам, подобным вам, удобство хранения и извлечения пар ключ-значение. 🖥 Github @sqlhub

🔥 Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика! 📣 Всем привет! Хотим пригласить вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных! Нам предстоит провести аналитику продаж и доставок с помощью Pandas в Python, а также проиллюстрировать это все графиками. 📅 Дата: 22 ноября 🕘 Время: 19:00 по Мск Что будем делать на интенсиве: ◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д. ◾️ Научимся легко генерировать большой DataFrame с синтетическими данными ◾️ Посчитаем описательные статистики ◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др. ◾️ Построим интерактивные графики с помощью Plotly ◾️ Научимся строить и читать необычные графики - например, violinplot Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python. В прямом эфире мы также расскажем о частых ошибках новичков и поделимся лайфхаками — как достойно пройти собеседование и удивить ревьюера крутыми фишками 🤩 А вы готовы бустануть свои знания и скиллы в аналитике? 👉🏻 Зарегистрироваться на интенсив Реклама. ООО "Айти Резюме". ИНН 4025460134. Erid:LjN8KYHi3

🖥 Как базы данных выполняют SQL-запросы? Процесс выполнения SQL-запросов в базе данных включает в себя несколько компонентов, взаимодействующих между собой. Хотя конкретная архитектура различных систем баз данных может отличаться, ниже описана общая последовательность действий. 1. Оператор SQL запускается в клиентской программе и передается по сети на сервер базы данных. 2. Когда сервер базы данных получает SQL-оператор, реляционный движок начинает его обработку. Сначала синтаксический анализатор проверяет правильность оператора. Затем он преобразует оператор в дерево запросов, которое представляет собой внутреннюю структуру данных. 3. Оптимизатор запросов просматривает дерево запросов и определяет наиболее эффективный способ выполнения SQL-оператора, создавая план выполнения. 4. План выполнения передается исполнителю запроса, который использует его для координации получения или изменения данных в соответствии с запросом SQL. Для доступа к данным исполнитель взаимодействует с движком хранилища. 5. Движок хранилища использует методы доступа - протоколы чтения и записи данных, наиболее эффективные для выполнения различных операций. 6. При чтении данных менеджер буферов проверяет, кэшированы ли нужные данные в памяти, и при необходимости извлекает их с диска. Это ускоряет последующий доступ. 7. При записи данных со вставкой или обновлением менеджер транзакций следит за тем, чтобы изменения происходили атомарно и сохраняли целостность базы данных. 8. В то же время менеджер блокировок накладывает блокировки, чтобы несколько транзакций могли выполняться одновременно, не конфликтуя между собой. Таким образом, обеспечивается изоляция и согласованность. Работая вместе, эти компоненты обеспечивают надежную и эффективную обработку SQL-запросов в системе управления базами данных. @sqlhub

❗️Почему Clickhouse нужен всем, кто работает с БД? 👉 Расскажем на бесплатном открытом уроке «K.I.S.S. Pandas больше не нужен? Продвинутые возможности Clickhouse» от OTUS и Алексея Железного – Senior Data Engineer в Wildberries. На занятии вы: 🔹 Сравните устоявшиеся решения в области обработки данных с реализациями в рассматриваемой БД 🔹Получите практические знания, материалы и инструкции для дальнейшего изучения и углубления в тему Вебинар будет полезен инженерам, аналитикам данных, DevOps-специалистам и тимлидам. Занятие пройдёт 21 ноября в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД».  ➡️ Крупные корпорации уже используют эту БД или собираются на нее переходить, сейчас самое время стать востребованным нишевым специалистом ➡️ РЕГИСТРАЦИЯ https://otus.pw/eix3/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Проблемы при переходе с MS SQL на PostgreSQL. Типы данных — Лучшие ресурсы чтобы выучить Git и Github — Деревья ltree в PostgreSQL – простым языком — Пишем свой QTableView (продолжение: кастомные стили) — Row Level Security with an ARRAY of tenants set in session parameter — What the pluck? — Partition Strategies: Fundamental Concepts for PostgreSQL Partitioning — WEREWOLF WEED — Deploying Adminer on Google App Engine (GAE) with Private and Public IP Connectivity — O problema de SQL que quase me enlouqueceu — The Benefits of Hiring a Professional Website Development Company in Bangalore — Implicit vs. explicit JOINs — A simple example of a nested SQL query — Utilização de Views SQL em Golang Посмотреть: 🌐 Пишем генератор Shorts видео на Python для заработка на YouTube. (⏱ 11:50) 🌐 Озвучка и генерации контента с помощью #Python и AI (⏱ 00:44) 🌐 Замена лица на любой фотографии с помощью #python БЕСПЛАТНО! (⏱ 00:59) Хорошего дня! #sql #digest @sqlhub

📘 Большой, профессиональный перевод документации PostgreSQL на русском с примера кода и запросов ▪Подробный гайд от установки и настройки ▪Основы и темы и синтаксиса языка SQL ▪Все виды запросов, типы данных, функции и операторы ▪Преобразование типов, индексы и многое другое 📌 Документация @sqlhub

Что делать с постепенно растущей нагрузкой при быстром масштабировании? А с ее резким ростом? Ответы на эти вопросы — на вебинаре Tarantool и Git In Sky «Типичные ошибки быстрого масштабирования: как их избежать» 23 ноября в 16:00 МСК. В программе: 🔹 Что может пойти не так на начальном этапе масштабирования? В чем плюсы и минусы традиционных подходов к кэшированию? 🔹 Что делать с постепенно растущей нагрузкой? А с резким ростом нагрузки? Как обеспечить доступность и отказоустойчивость сервиса? 🔹 Как избежать чрезмерного разрастания технологического стека при выпуске нового функционала? 🔹 Как на разных этапах масштабирования может помочь Tarantool? И как правильно его приготовить, чтобы добиться максимальной производительности и надежности? Приходите, если любите учиться на чужих ошибках и узнавать про факапы других людей🙂 Регистрируйтесь: https://bit.ly/3QqBdo4

🖥 Хотите получить N процентов строк из вашей таблицы? Вы можете сделать это в SQL с помощью: SELECT * FROM ... ORDER BY ... FETCH FIRST 10 PERCENT ROWS ONLY @sqlhub

«Консервируем» данные: модули pickle и dill Сериализация данных – это преобразование данных, обрабатываемых в программе (структур и объектов) в форматы, которые можно хранить и передавать. Задача состоит в том, чтобы можно было в дальнейшем воссоздать точную копию сохранённых данных, не утратив какую-либо информацию. В python есть разнообразные способы сделать это, некоторые их которых я и приведу в этом посте. Сериализация данных с помощью pickle Рассмотрю для начала стандартную библиотеку pickle. Библиотека работает с двоичными потоками данных, как в файл, так и по сети. Открыв один поток можно последовательно добавлять в него данные, при этом повторное добавление данных не приводит к их задвоению в итоговом файле, так как модуль pickle хранит историю. В общем случае, сохранение и загрузка с использованием модуля pickle выглядит так: import pickle with open('pickle_dump_ex', 'wb') as output_file: pickle.dump(data_to_save, output_file) with open('pickle_dump_ex', 'rb') as input_file: data_to_load = pickle.load(input _file) Pickle позволяет сериализовать большое количество разнообразных объектов, используемых в python. Можно даже выполнять сериализацию пользовательских классов и функций, с тем нюансом что код функций или классов не сериализуется, а сериализуются только конкретные объекты и ссылки на функции. Это значит, что для успешного распаковывания объектов требуется исходный код. Примечательно, что библиотека позволяет исполнять программный код при десериализации данных. Функционал библиотеки позволяет добавить в класс методы getstate, setstate, и reduce, который описывает поведение объекта при сериализации/десериализации. Поэтому очень важно знать, что в файле не содержится вредоносного кода. С другой стороны, это может быть удобным подспорьем если требуется, например, напомнить себе о том на каком этапе находилась обработка перед сохранением объекта. Выглядит это следующим образом: Смотреть