Data Analysis / Big Data

How Paytm modernized their data pipeline using Amazon EMR Read: https://aws.amazon.com/blogs/big-data/how-paytm-modernized-their-data-pipeline-using-amazon-emr/

Как мы в СИБУРе делаем дашборды для людей. Часть 1: закупки и производство На наших предприятиях множество данных — от постоянно обновляющихся цен и технологических условий до логистических отчетов, графиков доставки и многое, много другое. Не говоря уже о чисто внутренней информации. При должной сноровке все эти данные можно использовать с пользой, а не просто собирать где-то ради пары годовых отчётов. Но тут есть проблема. Данные разные, как и их источники. Где-то речь идет об огромных монструозных таблицах в Excel с кучей переменных и подвязок, где-то используются внутренние CRM, в общем, тут кто во что горазд и кому где удобнее работать. То есть информация вроде есть, ее много, на ее основе можно делать выводы и принимать решения, но вот наглядности — никакой. И тут мы переходим к решению, так что самое время представиться. Меня зовут Марина Коробейникова, я отвечаю за дашборды в закупках и производстве СИБУРа. Именно дашборды помогают нам вырваться из описанного выше порочного круга, предоставляя возможность просто посмотреть на экран и понять, что вообще сейчас происходит. Ну то есть, в компании. В СИБУРе дашборды применяются для самых разных департаментов – логистики, продаж, закупок, маркетинга, топ-менеджмента, и тд. И о каждом из этих направлений мы расскажем подробнее. Но начнём, пожалуй, с закупок и производства. Читать: https://habr.com/ru/post/665144/

Как искать данные в пространстве невероятно быстро? R*-tree в Go Как использовать R*-tree, чтобы обновлять данные об игроках на сервере даже при онлайне в 1000 человек и выше. Читать: «Как искать данные в пространстве невероятно быстро? R*-tree в Go»

Explore Data with Filters (Part 1) Filters are a powerful interaction paradigm for users to explore data and perform analysis. Filters enable users to get from data to insights, reduce noise in the data, and slice and dice data by different dimensions. This article explains the different filter capabilities available in Oracle Analytics along with best practices. Read: https://blogs.oracle.com/analytics/post/explore-data-using-filters

Orchestrate big data jobs on on-premises clusters with AWS Step Functions Read: https://aws.amazon.com/blogs/big-data/orchestrate-big-data-jobs-on-on-premises-clusters-with-aws-step-functions/

Data Engineering Project for Beginners - Batch edition Read: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-batch-edition/

Power your data applications with a Semantic Model using Oracle Analytics Cloud With Oracle Analytics Cloud (OAC) and our new Semantic Modeling Markup Language (SMML), you can now create a powerful semantic model which acts as a translation layer between your application and your underlying data structures. This semantic model exposes a metrics-oriented data layer that can be used directly in your application via APIs, with embedded visualizations, or in other analytics tools. Read: https://blogs.oracle.com/analytics/post/power-your-data-applications-with-a-semantic-model-using-oracle-analytics-cloud

Analyze Amazon SES events at scale using Amazon Redshift Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ses-events-at-scale-using-amazon-redshift/

More case-counting puzzles Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/more-case-counting-puzzles.html

Top tips for enhancing performance of Oracle® Analytics Server (OAS) The following white paper describes techniques for monitoring and optimizing the performance of Oracle Analytics Server (OAS) components. Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-infrastructure-tuning-guide

Build a big data Lambda architecture for batch and real-time analytics using Amazon Redshift Read: https://aws.amazon.com/blogs/big-data/build-a-big-data-lambda-architecture-for-batch-and-real-time-analytics-using-amazon-redshift/

Проведение совместных экспериментов c DVC Вы можете использовать удаленные хранилища DVC для совместного использования экспериментов и их данных через машины. Читать: https://habr.com/ru/post/664946/

Настройка в OpenSearch аутентификации и авторизации пользователей через Active Directory по протоколу LDAP В этой статье я расскажу о том, как я настраивал аутентификацию и авторизацию доменных пользователей Active Directory в OpenSearch. В домене я не обладаю правами администратора домена и не могу влиять на структуру каталогов Active Directory. А сценарий настройки Active Directory в OpenSearch, предлагаемый на официальном сайте, применить к домену с разветвленной структурой каталогов оказалось не так просто, как хотелось бы. Читать: https://habr.com/ru/post/664874/

Securing Oracle Analytics Server on Oracle Cloud by Enforcing OCI WAF on Flexible Load Balancers Securing Oracle Analytics Server on Oracle Cloud by Enforcing OCI WAF on Flexible Load Balancers Read: https://blogs.oracle.com/analytics/post/oas-oci-waf

Использование Kudu для решения задач в реальном времени в окружении Hadoop В предыдущей статье я поделился нашим опытом создания аналитического хранилища полного цикла на базе экосистемы Hadoop. Одним из тезисов той статьи стало утверждение о том, что аналитическую систему можно спроектировать, не прибегая к федерализации разных технологических платформ, предназначенных для решения локальных задач. В этом материале я попробую подробнее раскрыть, как в нашей системе реализован подход обработки и загрузки данных в реальном времени с использованием технологии Kudu, при котором эти данные сразу доступны для анализа. Читать: https://habr.com/ru/post/664698/

Single Sign-On Configuration for Oracle Analytics Server on OCI Marketplace with Oracle Identity Cloud Service using Oracle HTTP Server and WebGate Single Sign-On Configuration for Oracle Analytics Server on OCI Marketplace with Oracle Identity Cloud Service using Oracle HTTP Server and WebGate (OAuth/OpenID) Read: https://blogs.oracle.com/analytics/post/oas-mp-sso-idcs-ohs-webgate

Single Sign-On Configuration for Oracle Analytics Server on OCI Marketplace with Oracle Identity Cloud Service using Apache HTTP Server and OpenIDC Module Single Sign-On Configuration for Oracle Analytics Server on OCI Marketplace with Oracle Identity Cloud Service using Apache HTTP Server and OpenIDC Module Read: https://blogs.oracle.com/analytics/post/oas-mp-sso-idcs-apache-openidc

Know your data 32: location data from mobile apps Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/know-your-data-32-location-data-from-mobile-apps.html

Simplify your ETL and ML pipelines using the Amazon Athena UNLOAD feature Read: https://aws.amazon.com/blogs/big-data/simplify-your-etl-and-ml-pipelines-using-the-amazon-athena-unload-feature/