NOdata Миша

БД для DWH База данных для DWH обычно отличается от традиционных операционных баз данных (OLTP) Объем данных в DWH обычно большой и вряд ли условный PostgresSQL сможет справиться со всей нагрузкой, он для этого не предназначен А вот несколько БД которые были созданы как раз для этого: ClickHouse – это колонно-ориентированная система управления базами данных, разработанная для аналитических запросов в режиме реального времени. Она поддерживает распределенную архитектуру, позволяя эффективно обрабатывать большие объемы данных. Основные преимущества ClickHouse включают высокую скорость выполнения запросов, сжатие данных и возможность масштабирования. Greenplum – это распределенная аналитическая база данных, основанная на PostgreSQL. Она предназначена для обработки больших данных и использует параллельную обработку для ускорения выполнения запросов. Greenplum поддерживает масштабирование за счет добавления новых узлов и предлагает инструменты для интеграции с другими системами данных, что делает ее подходящей для крупных аналитических задач. Hadoop – это платформа с открытым исходным кодом для распределенного хранения и обработки больших данных. В основе Hadoop лежит распределенная файловая система HDFS и фреймворк MapReduce для обработки данных. Hadoop обеспечивает надежное хранение и обработку больших объемов данных, поддерживает масштабирование и интеграцию с различными инструментами и экосистемами данных. Ютуб | OnlyFans

Я у мамы инфоцыган Я завел машину onlyfanc животное девушку собаку boosty Планирую туда выпускать много полезного обучающего материала, а еще будет чат в телеге Там уже есть ролики по airflow и clickhouse и будет еще много Стоимость подписки 298 ₽ или 398 ₽ смотря какая вам больше подходит (возможно за 2 811 ₽) https://boosty.to/nodata_misha

IT это золотая клетка Многие считают, что работа в it - это профессия мечты: хорошая зп, возможность удаленной работы, не особо сложная в изучении. Все так, это очень крутая область. Все те плюсы о которых говорят тут действительно есть (в той или иной степени) И часто при выборе работы мы обращаем внимания именно на эти вещи. Ведь гораздо проще сказать, что хочешь хорошую зарплату, чем ответить на вопрос чему конкретно хочешь посвятить свою жизнь Спустя время начинаешь задумываться, анализировать свой путь - почему сделал тот или иной выбор, выбрал ту или иную профессию. Но эти вопросы остаются лишь вопросами - клетка комфорта уже захлопнулась

Откуда в DWH данные Источники данных для DWH могут быть следующие: - Базы данных - в компании могут быть множество разных баз данных и все данных из них мы можем забирать к себе хранилище - Веб-сервисы и API - данные например из рекламных кабинетов и других подобных мест - Файловые источники - не всегда приходится работать с какими-то «крутыми» данными, иногда необходимо просто иксельку загрузить - CRM и подобные маркетинговые, бухгалтерские штуки Конечно, у DWH может быть еще куча других источник, тут я привел только самые основные

Хороших каналов много не бывает Вот папка с 5 каналами про data Если хотите больше тг каналов, где крутые авторы пишут про data, то добавляйте папку себе и смотрите, что полезного там есть)

ИИ всех обманет Тут недавно новость была о том как учитель физкультуры в одном из американских городов, с помощью ИИ, сгенерировал речь своего директора, где тот говорит якобы говорит всякие плохие штуки После этого директора чуть не уволили, но все таки смогли доказать, что это не речь директора Мне тут непонятна уникальность таких новостей. Кажется, что с развитием ИИ мошенничества или хотя бы попыток мошенничества должно быть достаточно много, но новостей об этом что-то не особо

Бесплатный практический вебинар: Рабочий день аналитика данных. ⏰ Когда: 29 мая в 19:00 по мск. ✔️Рассмотрим работу аналитика на примере подбора наиболее релевантного объявления о продаже квартиры по ряду параметров из датасета: район, этаж, стоимость, количество комнат, наличие балкона и так далее. Как анализировать и упорядочивать такие запросы — узнаете на вебинаре. ✔️Покажем, какие задачи решают аналитики данных, какие проекты реализуют и как помогают бизнесу принимать решения и расти. ✔️Познакомимся с ключевыми инструментами: Python + Pandas, Matplotlib, Seaborn. Узнаем, как получить фундаментальные знания в аналитике данных на примере задачи из сферы недвижимости. ✔️Расскажем, как пройти собеседование, найти удаленную работу и начать менять свою жизнь уже сегодня.

Все бегом смотреть, ставить лайки и подписываться!

Та-да-да-дам! Вышел первый выпуск подкаста IT'S Analysis. Друзья, наконец-то закончил обработку, теперь первый выпуск подкаста доступен на нашем YouTube канале. Гость подкаста - Михаил Павлюк, data engineer в Сбер Образовании. Поговорили про Big data и карьерный путь Михаила: обсудили как Михаил искал первую работу в сфере data science, пригодилось-ли высшее образование в IT, поговорили про процессы в корпорациях и небольших компаниях. В заключении подкаста Михаил дал такой совет начинающим IT специалистам: "Делайте не напрягаясь, пытайтесь кайфовать от процесса обучения и получайте от этого удовольствие. Концентрируйтесь на процессе, а не на больших деньгах." Согласны с Михаилом? Что для вас являлось мотивацией на старте карьеры? Пишите в комментариях кого бы вы хотели видеть в следующем выпуске подкаста. Постараюсь записать с этим специалистом следующий выпуск. Смотреть подкаст: https://youtu.be/XG62UJrQHdk 🔥 Не забывайте подписываться и ставить пальцы вверх :)

Роли в команде DWH В прошлом посте я писал, о том, что такое DWH, а сейчас расскажу какие роли существуют в команде: - CDO – это руководитель, который отвечает за управление и стратегическое использование данных в организации. Директор DWH, короче - Архитектор данных - он разрабатывает общую архитектуру хранилища данных, определяет подходы к интеграции данных, модели данных и схемы и занимается различными другими архитектурными штучками - Data Engineer - создаёт и поддерживает потоки данных, а также отвечает за их интеграцию и качество - Бизнес-аналитик - собирает данные о бизнес-требованиях и проецирует их на технические требования - BI-разработчик - разрабатывает и поддерживает отчеты, дэшборды и аналитические приложения - Администратор баз данных - поддерживает и управляет базами данных - Data Scientist - создает модели машинного обучения и прогнозные модели, чтобы помочь бизнесу принимать решения - Project Manager - разрабатывает и внедряет стратегию управления данными - DevOps - различные инфраструктурные вещи Некоторых этих ролей может не быть в команде, например у DWH может не быть своего отдельного DevOps или Data Scientist и BI-разработчик могут быть частью других команд. Это далеко не все роли, например, если дата инженеров много, то у них может быть свой lead. Также есть еще Data Steward, Data Governance Officer и другие специалисты, но они встречаются реже Ютуб | Boosty