Data Science. SQL hub

🖥 Хотите получить N процентов строк из вашей таблицы? Вы можете сделать это в SQL с помощью: SELECT * FROM ... ORDER BY ... FETCH FIRST 10 PERCENT ROWS ONLY @sqlhub

«Консервируем» данные: модули pickle и dill Сериализация данных – это преобразование данных, обрабатываемых в программе (структур и объектов) в форматы, которые можно хранить и передавать. Задача состоит в том, чтобы можно было в дальнейшем воссоздать точную копию сохранённых данных, не утратив какую-либо информацию. В python есть разнообразные способы сделать это, некоторые их которых я и приведу в этом посте. Сериализация данных с помощью pickle Рассмотрю для начала стандартную библиотеку pickle. Библиотека работает с двоичными потоками данных, как в файл, так и по сети. Открыв один поток можно последовательно добавлять в него данные, при этом повторное добавление данных не приводит к их задвоению в итоговом файле, так как модуль pickle хранит историю. В общем случае, сохранение и загрузка с использованием модуля pickle выглядит так: import pickle with open('pickle_dump_ex', 'wb') as output_file: pickle.dump(data_to_save, output_file) with open('pickle_dump_ex', 'rb') as input_file: data_to_load = pickle.load(input _file) Pickle позволяет сериализовать большое количество разнообразных объектов, используемых в python. Можно даже выполнять сериализацию пользовательских классов и функций, с тем нюансом что код функций или классов не сериализуется, а сериализуются только конкретные объекты и ссылки на функции. Это значит, что для успешного распаковывания объектов требуется исходный код. Примечательно, что библиотека позволяет исполнять программный код при десериализации данных. Функционал библиотеки позволяет добавить в класс методы getstate, setstate, и reduce, который описывает поведение объекта при сериализации/десериализации. Поэтому очень важно знать, что в файле не содержится вредоносного кода. С другой стороны, это может быть удобным подспорьем если требуется, например, напомнить себе о том на каком этапе находилась обработка перед сохранением объекта. Выглядит это следующим образом: Смотреть

🖥 Если вы работаете в области данных, вам предстоит пройти собеседование по SQL. Неважно, кто вы - специалист по машинному обучению или инженер по обработке данных. SQL присутствует везде. Вот несколько кратких советов от начинающих до продвинутых, которые вы должны знать и уметь говорить на собеседовании по SQL. Начинающим - Уметь объяснить различные типы объединений. Иногда я видел, что этот вопрос задается рекрутерами в качестве отборочного, чтобы убедиться, что они хотят взять вас на работу. - Знать, когда в порядке выполнения операций в SQL используется HAVING, а когда WHERE. - Знать разницу между UNION и UNION ALL Mid - Понимать, как использовать оператор CASE внутри функции SUM или COUNT - Знать, по крайней мере, 1-2 способа оптимизации запроса, и если вы решите, что одним из этих способов является создание индекса в таблице, то вы должны знать, какие плюсы и минусы есть у индекса. - Уметь реализовать как подзапрос, так и CTE, но использовать CTE, если вы хотите доказать, что у вас хорошие навыки работы с SQL. Продвинутый - Знать, как решить SQL задачу с использованием оконной функции и без нее. - Понимать и уметь объяснить, что такое коррелированный подзапрос. - Просто сошлитесь на то, что вы посмотрите на план выполнения запроса. Рекрутеры будут шокированы тем, что вы вообще знаете, что это такое. Мне бы хотелось услышать, какие вопросы вам задавали на собеседованиях по SQL. Пожалуйста, поделитесь ими в комментаряих! @machinelearning_interview

Каковы основные кэш стратегии? Считать данные из системы: 🔹 Cache aside 🔹 Read through Запись данных в систему: 🔹 Write around 🔹 Write back 🔹 Write through На диаграмме в изображении показано, как работают эти 5 стратегий. Некоторые из них могут использоваться совместно. @sqlhub

❗Какую базу данных выбрать? 👉 Узнаете на бесплатном открытом уроке «Лучшая база данных? Сравнение ClickHouse с популярными БД» от OTUS 🔹 Выделите области задач, для которых Clickhouse подходит, а где его можно не использовать 🔹 Разберете его плюсы и минусы по сравнению с другими популярными решениями на основе конкретных требований Вебинар будет полезен инженерам, аналитикам данных, DevOps-специалистам и тимлидам. Занятие пройдёт 14 ноября в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД».  ➡️ РЕГИСТРАЦИЯ https://otus.pw/3rcf/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KaeEM

🖥 Почему PostgreSQL признан самым лбимой бд по результатам опроса разработчиков Stackoverflow? На диаграмме показано множество вариантов использования PostgreSQL - одной базы данных, которая включает в себя почти все функции необходимых разработчикам. 🔹OLTP (Online Transaction Processing) Мы можем использовать PostgreSQL для CRUD-операций (Create-Read-Update-Delete). 🔹OLAP (Online Analytical Processing) Мы можем использовать PostgreSQL для аналитической обработки. PostgreSQL основан на архитектуре 𝐇𝐓𝐀𝐏 (Hybrid transactional/analytical processing), поэтому он может хорошо работать как с OLTP, так и с OLAP. 🔹FDW (Foreign Data Wrapper) FDW - это расширение, доступное в PostgreSQL, которое позволяет нам обращаться к таблице или схеме одной базы данных из другой. 🔹Streaming PipelineDB - это расширение PostgreSQL для высокопроизводительной агрегации временных рядов, предназначенное для работы с отчетами и аналитическими приложениями в реальном времени. 🔹Geospatial PostGIS - это расширитель базы данных для объектно-реляционной базы данных PostgreSQL. Он добавляет поддержку географических объектов, позволяя выполнять запросы на определение местоположения в SQL. 🔹Временные ряды Timescale расширяет PostgreSQL для работы с временными рядами и аналитикой. Например, разработчики могут объединять непрерывные потоки финансовых и тиковых данных с другими бизнес-данными для создания новых приложений и получения уникальных знаний. 🔹Распределенные таблицы CitusData масштабирует Postgres за счет распределения данных и запросов. Какая база данных вам нравится больше всего? @sqlhub

Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах. В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python. Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества. 👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!

Чтобы без особых усилий создавать поддельные данные для тестирования в #Python, используйте Faker. @sqlhub

❗️Как развиваться разработчику и администратору баз данных?  👉 Наращивать объем знаний и навыков. Приглашаем на открытый урок «Синхронный VS Асинхронный PostgreSQL» в рамках курса «PostgreSQL для администраторов баз данных и разработчиков» от OTUS 🔹 Рассмотрим архитектуру синхронного коммита, синхронные и асинхронные реплики 🔹Разберем особенности 5 уровней синхронности 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты.  👉 РЕГИСТРАЦИЯ https://otus.pw/Asnh/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KZdnZ

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Как жесткую программную систему превратить в гибкую или Двадцать лет спустя — Многомерный анализ данных: исследование многомерных кубов и SQL OLAP-запросов — SQL-инъекция: разбор уязвимости на примере — Иерархическая база данных (продолжение) — Как расширить компетенции аналитиков при работе с Big Data — Иерархическая база данных — XGBoost – один из наиболее эффективных алгоритмов прогнозирования временных рядов. — PostgreSQL Antipatterns: ходим по JSON-граблям — SQLx: raw SQL в Rust — Explorando el Mundo de los Archivos de Recurso en C# con Visual Studio — Easily Generate Mock Data with PostgreSQL — Why 0 is better than NULL sometimes — Monolithic vs. Distributed SQL — 🚛 Deploy Database Schema Migrations with Bytebase — Comparing Types of Databases: A Real-World Benchmark Analysis — [SQL Performance Killers] Individual inserts vs. Bulk inserts — SQL Server - Types of System Databases and Tables — Postgres. How to check the top queries that use temporary files? — PostgreSQL. How to list the most IOPs-intensive queries? Посмотреть: 🌐 STL C++ стандартная библиотека (⏱ 00:57) 🌐 deque разбор в С++ (⏱ 00:58) 🌐 Последовательные контейнеры c++ List (⏱ 00:47) 🌐 Совет Python разработчикам - реши задачу Chain sum с реального собеседования. (⏱ 14:23) 🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28) 🌐 🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. #python (⏱ 00:20) 🌐 The Only Database Abstraction You Need | Prime Reacts Хорошего дня! @sqlhub

Где набраться опыта в аналитике данных, структурировать знания и узнать, как с рабочими задачами справляются профессионалы? Получите опыт, сопоставимый с работой в крупной компании — пройдите 6 недель интенсивной практики на «Симуляторе аналитика». Здесь вы с нуля выстроите аналитические процессы, поработаете с настоящей инфраструктурой, научитесь уверенно справляться с ежедневными задачами аналитика и поймёте, какая логика стоит за каждым решением. Наставники курса - Анатолий Карпов и другие ведущие аналитики. Они точно знают, как эффективно решать рабочие задачи, и готовы поделиться опытом с вами. Обучение начинается уже 13 ноября, а сейчас как раз можно вписаться по самой приятной цене [Узнать подробнее и записаться на курс]

Выполнение побитовых операций над числами из Oracle Database 21c с помощью: BIT_AND_AGG BIT_XOR_AGG BIT_OR_AGG ✔ Преобразование десятичных чисел в двоичные (5 = 101, 6 = 110 и т. д.). ✔ Сравнение значений в каждой битовой позиции ✔ Преобразование результатов обратно в десятичный вид @sqlhub

Уже в эту субботу 11 ноября в Лектории «Газпрома» в рамках выставки "Россия" выступят ИТ-эксперты Газпромбанка: В 16:00 — Андрей Анисимов с темой «Мотивация и развитие молодых DS-специалистов и аналитиков». Узнаем, какие навыки помогают Data Science специалистам добиваться успеха и как грамотно мотивировать сотрудников. В 18:00 — Максим Морев с темой «Джуниор в ИТ — первые сложности на первой работе». Разберем 4 принципа, которые помогут начинающему ИТ-специалисту подняться по карьерной лестнице. Встречаемся в павильоне F «Газпром». Регистрируйтесь по ссылке — https://vk.cc/csf0qP Реклама Банк ГПБ (АО), ИНН: 7744001497

🐘 Индексирование - важный процесс в PostgreSQL. Он включает в себя создание структур данных, оптимизированных для эффективного поиска и извлечения данных из таблиц. В этом руководстве показывается на примерах некоторые продвинутые стратегии индексирования в Postgres. 🖥 Читать @sqlhub

❗️Как легко получить Spark кластер на 10 узлов? Современные облачные инфраструктуры позволяют сделать это всего за несколько шагов. ▶️ 9 ноября в 20:00 мск в рамках онлайн-курса MLOps от OTUS пройдёт открытый урок «Big Data в облаках». На открытом уроке: 🔹Рассмотрим как создать в Yandex Cloud Spark кластер. 🔹 Что лучше использовать в качестве хранилища: HDFS или S3. 🔹 Как можно экономить за счет динамического выделения ресурсов. ✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам. 👉 РЕГИСТРАЦИЯ https://otus.pw/LMDh/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KLS4y

⚡️ Впечатляющая монолитная архитектура Stack Overflow Компания Stack Overflow, поддерживает тенденцию развития микросервисов их сервис обрабатывает 1,3 млрд. просмотров страниц в месяц на своих 200 сайтах, используя удивительно эффективную монолитную архитектуру с минимальной инфраструктурой. Веб-серверы: - Используется всего 9 локальных веб-серверов IIS. - Каждый сервер имеет 64 ГБ оперативной памяти и работает на высокооптимизированном коде .NET - Обработка 450 пиковых запросов в секунду на каждом сервере при использовании всего 12% процессорной мощности - Код минимизирует потребление памяти и настроен на ограничения сбора мусора Серверы SQL: - Организованы в 2 отказоустойчивых кластера по 2 сервера в каждом - Первый кластер: 1,5 ТБ оперативной памяти на сервер - Второй кластер: 768 ГБ оперативной памяти на сервер - Около трети массива данных Q&A находится в памяти. - Каждый кластер обрабатывает более 10 000 пиковых запросов в секунду при ~15% CPU Redis: - Один основной сервер с репликой на 256 ГБ. - Обработка 60000 пиковых операций в секунду при 2% CPU Stack Overflow эффективно масштабирует монолитное приложение. 📌 Архитектура наглядно 📌 Подкаст об архитектуре Stack Overflow @sqlhub

🤩 Data scientist может всё! Ну практически. Специалистов по работе с данными много: администраторы баз данных, data-инженеры, аналитики данных. И, конечно, data scientist. 👻 Зарплаты в области растут: junior-специалист может получать от 50 000₽, senior — от 300 000₽ и больше. 👾 Data scientist требуются в бизнесе, науке, медицине, транспорте — везде, где необходимо анализировать большие объемны данных и строить выигрышные гипотезы. 🧑‍💻 Специалисты могут минимизировать затраты ресурсов по рутинным задачам и предложить автоматическое решение. И всему этому вы сможете научиться на курсе Data Scientist от Слёрм. Его разработали два Senior Data Scientist: — Иван Аникин, Team Lead Yandex.Edadeal; — Владимир Бугаевский, Team Lead СберМаркет. Они будут преподавать на потоке, который стартует 13 ноября! Иван и Владимир будут отвечать на вопросы студентов в чате и на онлайн-встречах, смотреть учебные проекты и давать по ним обратную связь — вы сможете положить итоговый проект в ваше портфолио. Узнать больше о программе курса и записаться на поток вы можете на сайте по ссылке. Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqutoRZR

🖥 TRUNCATE мгновенно удаляет все строки в таблице Одновременно удалите строки из дочерних таблиц с помощью функции TRUNCATE TABLE ... CASCADE Для этого внешние ключи должны быть ON DELETE CASCADE #SQLAlchemy @sqlhub