Data Analysis / Big Data

Hudi, Iceberg и Delta Lake: сравнение табличных форматов для озера данных Lake Berryessa by chateaugrief Выбор формата хранения данных при создании Data Lake влияет на производительность озера, удобство его использования и совместимость с другими инструментами. Команда разработки Cloud Big Data от VK Cloud Solution перевела статью — сравнение трех форматов данных: Apache Hudi, Apache Iceberg и Delta Lake. Посмотрим, какие в них применяются подходы к производительности обновлений, параллелизму и совместимости, и разберем, какой формат больше подойдет под ваши задачи. Читать: https://habr.com/ru/post/658563/

Oracle Analytics Server 2022 (v6.4) is available! Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2022 (version 6.4). This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy analytics on-premises or customer-managed in the cloud. Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-2022-v64-is-available

Introducing Protocol buffers (protobuf) schema support in Amazon Glue Schema Registry Read: https://aws.amazon.com/blogs/big-data/introducing-protocol-buffers-protobuf-schema-support-in-amazon-glue-schema-registry/

Run AWS Glue crawlers using Amazon S3 event notifications Read: https://aws.amazon.com/blogs/big-data/run-aws-glue-crawlers-using-amazon-s3-event-notifications/

Семантическая сегментация изображений в CVAT Товарищи, я начинаю цикл статей-туториалов по разметке данных с помощью разного ПО. Начать решил с самого знаменитого из всех бесплатных инструментов - Computer Vision Annotation Tool. Им может воспользоваться буквально любой желающий, достаточно только зарегистрироваться. Предупреждаю: это вводная статья для новичков, призванная решить самые главные вопросы "как это работает и куда тыкать". Экспертов прошу поправить или дополнить написанное. На русском языке не встречал настолько подробных гайдов. Думаю он будет очень полезен. Ну посмотрим, что там у тебя... Читать: https://habr.com/ru/post/659251/

Impacto de la Pandemia en el estres educativo en los alumnos de una Escuela Secundaria Acabo de realizar esta encuesta interna porque quiero determinar como ha sido el impacto de la pandemia en el estres educativo de los alumnos de la escuela secudaria Patria Grande Poblacion: 150 alumnos de un escuela secundaria muestra: Tipo de Encu... Read: https://diegovargas.hashnode.dev/impacto-de-la-pandemia-en-el-estres-educativo-en-los-alumnos-de-una-escuela-secundaria

WETIN BE DATABASE (NGN Pidgin) WETIN BE DATABASE? Database na group of data wey dey well arranged and stored for inside computer. This Database, dem dey use am store plenty type of different different data, like users information (anybody wey dey use a website, app or software s... Read: https://hashnode.com/post/wetin-be-database-ngn-pidgin-cl1lvvmsp01cv4pnv081j7uhj

15 Open Source библиотек для повышения качества данных Автор этого материала — программист и ML-инженер — собрала Open Source библиотеки Python, которые помогут вам сделать данные лучше, чтобы избежать траты времени и упростить анализ данных. Подборкой делимся к старту курса по анализу данных. Читать: https://habr.com/ru/post/659075/

New features from Apache Hudi 0.9.0 on Amazon EMR Read: https://aws.amazon.com/blogs/big-data/new-features-from-apache-hudi-0-9-0-on-amazon-emr/

Understanding the JVMMemoryPressure metric changes in Amazon OpenSearch Service Read: https://aws.amazon.com/blogs/big-data/understanding-the-jvmmemorypressure-metric-changes-in-amazon-opensearch-service/

Embed Astrato App in Notion and WordPress Website In this post, I’ll cover a few packages for embedding Astrato App in Notion and WordPress. In a world of fast technology and immense investment in data, analyzing data, getting quick insight, and presenting it in a more readable and graphical format ... Read: https://andyjazz.hashnode.dev/embed-astrato-app-in-notion-and-wordpress-website

Data Engineering Weekly #81 Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-81

ChemCorp Customer Segmentation Analysis Chemcorp recently lost clients causing a 10% decrease in sales revenue.If this continues ChemCorp’s market share and potential customer base could gradually erode and possibly risk the company’s ability to make dividend payments to shareholders. ​ I... Read: https://nicoletalkstech.hashnode.dev/chemcorp-customer-segmentation-analysis

ChemCorp Segmentation Analysis Case Study Overview: Chemcorp recently lost clients causing a 10% decrease in sales revenue.If this continues ChemCorp’s market share and potential customer base could gradually erode and possibly risk the company’s ability to make dividend payments ... Read: https://nicoletalkstech.hashnode.dev/chemcorp-segmentation-analysis

Bridging the gap: How citizen data scientists can turn data into actionable information Learn how modern data management and analytics platforms enable citizen data scientists with the capabilities they need, without resorting to a complex architecture of expensive and loosely integrated tools? Read: https://blogs.oracle.com/analytics/post/bridging-the-gap-citizen-data-scientists-can-turn-data-into-actionable-information

Build data lineage for data lakes using AWS Glue, Amazon Neptune, and Spline Read: https://aws.amazon.com/blogs/big-data/build-data-lineage-for-data-lakes-using-aws-glue-amazon-neptune-and-spline/

Без «Табла» и жизнь не та… Кадр из фильма «The Shining», 1980 г. В рядах аналитиков началась тихая паника. Заплатить в Google BigQuery в облачном варианте сейчас невозможно без иностранной банковской карты, Tableau и Microsoft «приостанавливают» свою активность в РФ, многие вендоры ушли, многие в низком старте. Появляются материалы с вопросами «Пора менять Tableau, Power BI, Qlik? Как выбрать российский BI? Или не российский? Или не BI?» которые даже неприлично было задавать пару месяцев назад. Но это прекрасный момент остановить ковейерное тиражирование шаблонов, выдохнуть и подумать «А что нам реально надо то?». И тут все становится не совсем очевидно. Дальше картинок мало (0), по большей части текст и ссылки. Читать: https://habr.com/ru/post/658657/

Как выбрать правильный тип палитры для шкалы Цвет — мощное средство визуализации данных, его неумеренное или неправильное применение губит всю работу и сбивает с толку, поэтому цвет следует подбирать тщательно, не забывая об особенностях восприятия. О типах палитр цветов и о том, как выбрать правильную палитру, рассказываем к старту курса по анализу данных. Читать: https://habr.com/ru/post/658507/

Как мы предсказывали поломки нефтяных насосов: когда big data – это в прямом смысле нефть Привет, меня зовут Сергей Алямкин, я CTO компании Expasoft. В сфере моих профессиональных интересов: ML/DL, нейросети, квантизация, компьютерное зрение (полный список). В своей первой статье на Хабре хочу поделиться нашим пилотным проектом – как мы разрабатывали модель предиктивного обслуживания нефтедобывающих насосов для компаний из Северной Америки и России. Читать: https://habr.com/ru/post/658597/

Как построить систему аналитики на open-source — туториал по cube.js Сube (до недавнего времени cube.js) относительно молодой проект (первый релиз март 2019) - реализация концепции OLAP-куб. Несмотря на отличную документацию, в интернете пока что мало информации на русском языке. Если вы выбираете систему аналитики, приверженец open-source или просто хотите узнать об альтернативах Power BI и Tableau, то это статья для вас. Обзор платформы и применение на реальном примере. Читать: https://habr.com/ru/post/658581/