Data Analysis / Big Data

Tips to Convert Text Columns to Dates in Oracle Analytics Dataset Editor – Part One Oracle Analytics provides powerful self-service visual data editing capabilities to let users quickly and easily clean, normalize, and enrich data for analysis. This article includes helpful tricks in the dataset editor for working with dates in datasets. Read: https://blogs.oracle.com/analytics/post/tips-to-converting-text-columns-to-dates-in-oracle-analytics-dataset-editor-part-one

Build a modern data architecture and data mesh pattern at scale using AWS Lake Formation tag-based access control Read: https://aws.amazon.com/blogs/big-data/build-a-modern-data-architecture-and-data-mesh-pattern-at-scale-using-aws-lake-formation-tag-based-access-control/

Modernize your healthcare clinical quality data repositories with Amazon Redshift Data Vault Read: https://aws.amazon.com/blogs/big-data/modernize-your-healthcare-clinical-quality-data-repositories-with-amazon-redshift-data-vault/

How SailPoint solved scaling issues by migrating legacy big data applications to Amazon EMR on Amazon EKS Read: https://aws.amazon.com/blogs/big-data/how-sailpoint-solved-scaling-issues-by-migrating-legacy-big-data-applications-to-amazon-emr-on-amazon-eks/

Причинно-следственный анализ в машинном обучении Что появилось первым: курица или яйцо? Статистики давно уже нашли ответ на этот вопрос. Причем несколько раз. И каждый раз ответ был разным. А если серьезно, то для машинного обучения становятся все более актуальными вопросы причинно-следственного анализа (causal inference) - когда главной целью моделирования является не прогноз и его качество, а то, как мы можем принимать решения на основе нашего алгоритма. И как это повлияет на мир, в котором эта модель будет действовать. Сделает ли модель его лучше, чем он был? Или наоборот. Под катом я расскажу о причинно-следственном анализе, его ключевых методах и применении в машинном обучении. В следующей статье побеседуем о ключевых трендах в развитии методов причинно-следственного анализа в машинном обучении в 2020-2021 гг. Читать: https://habr.com/ru/post/544208/

CleverDATA Tag Manager – есть ли жизнь без Google? Российский рекламно-аналитический рынок меняется с невероятной скоростью, и эти изменения довольно серьезные. На них нужно как-то реагировать и крупным компаниям-производителям товаров и услуг, и рекламным агентствам. Привычные инструменты аналитики перестают быть доступными. Существует ли альтернатива, например, для сбора событий в условиях недоступности сервисов Google? Рассказываем про нашу разработку  CleverDATA Tag Manager, которая является частью CDP CleverDATA. Читать: https://habr.com/ru/post/662720/

Успешное изобретение для Умного поиска hh.ru Мы запатентовали собственную разработку для «Умного поиска» и вошли в число финалистов конкурса Роспатента «Успешный патент» где выявляют самые классные изобретения по итогам 2020-2021 годов. В конкурсе приняли участвовали еще 128 российских правообладателей. Читать: https://habr.com/ru/post/662920/

Data Engineering Weekly #84 Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-84

Установка, настройка и эксплуатация стэка OpenSearch в классической среде Передо мной встала задача сбора логов с парка серверов на ОС Windows и ОС Linux. Для того чтобы решить её я воспользовался стэком OpenSearch. Во время настройки OpenSearch мне не хватало в открытых источниках наглядных примеров, а информация на официальных сайтах ElasticSearch и OpenSearch мне показалась обрывочной, слабо привязанной к реальным ситуациям. Поэтому я решил поделиться своим опытом и описать основные моменты установки и некоторые сценарии настройки и применения стэка OpenSearch, которые я применил в своей практике. Читать: https://habr.com/ru/post/662527/

Почему инструменты MLOps должны быть с открытым исходным кодом? Перевод статьи подготовлен совместно с Моргуновой Анной, за что ей огромное спасибо 👋 Другие материалы ML REPA и ссылки на видео митапов и конференций можно найти в открытой странице в Notion. Обзор 💡 Вы узнаете, что такое MLOps, зачем вам нужны MLOps для ваших проектов машинного обучения, почему MLOps должен быть open source и примеры существующих инструментов MLOps. Автор: Yuqi Li Оригинал: Why MLOps tools should be Open Source Читать: https://habr.com/ru/post/662519/

Author AWS Glue jobs with PyCharm using AWS Glue interactive sessions Read: https://aws.amazon.com/blogs/big-data/author-aws-glue-jobs-with-pycharm-using-aws-glue-interactive-sessions/

Query 10 new data sources with Amazon Athena Read: https://aws.amazon.com/blogs/big-data/query-10-new-data-sources-with-amazon-athena/

Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core Read: https://aws.amazon.com/blogs/big-data/build-your-data-pipeline-in-your-aws-modern-data-platform-using-aws-lake-formation-aws-glue-and-dbt-core/

Amazon QuickSight 1-click public embedding available in preview Read: https://aws.amazon.com/blogs/big-data/amazon-quicksight-1-click-public-embedding-available-in-preview/

Introducing AWS Glue Auto Scaling: Automatically resize serverless computing resources for lower cost with optimized Apache Spark Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-auto-scaling-automatically-resize-serverless-computing-resources-for-lower-cost-with-optimized-apache-spark/

​Свежие вакансии в Selectel для специалистов в сфере Big Data Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика. Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий. Откликнуться на вакансии можно на сайте Selectel: — Data Engineer: https://tprg.ru/5Qe6 — BI-разработчик: https://tprg.ru/s2gC #вакансии

Эволюция рекомендаций в Delivery Club. Часть 2 Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов. Читать: https://habr.com/ru/post/661453/

Machine Learning много не бывает: отчёт с ML-митапа Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена. Под катом найдете запись докладов: — Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop, — Го обсудим: продакшен ML на Golang, — Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса, — Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру. После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний. Запись под катом Читать: https://habr.com/ru/post/661601/

Visiology предложила специальные лицензии для миграции с других BI-платформ Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In. Читать: https://habr.com/ru/post/661791/

The Data Founder Story: Joining as a Cofounder after being an Advisor Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as