Data Analysis / Big Data

Как создать отчет о разрешениях каталога в Oracle Analytics Cloud с помощью REST API Узнайте, как с помощью REST API создать детальный отчет о разрешениях каталога в Oracle Analytics Cloud. Статья объясняет все шаги, начиная с подключения к API и заканчивая анализом полученных данных. Читать подробнее ___ Другие наши проекты

Восстановление после сбоев Oracle Analytics Server на Oracle Cloud В статье обсуждается использование инструмента OCI Full Stack Disaster Recovery для обеспечения непрерывной работы Oracle Analytics Server в облаке Oracle. Решение позволяет быстро восстановить данные и минимизировать потери при сбоях. Читать подробнее ___ Другие наши проекты

strtree — классификатор строк на основе регулярных выражений Вы хотите найти короткие регулярные выражения, полно и точно отделяющие один класс строк от другого? Это статья для вас. Мы поговорим про задачу классификации строк с помощью автоматически определяемых паттернов, а в конце я предоставлю пример такой процедуры с кодом на Python. Пользоваться мы будем небольшой open-source библиотекой strtree. Читать: https://habr.com/ru/articles/824544/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Создание и обработка Excel файлов с использованием Python Всем привет! Работа с Excel файлами — одна из частых задач, встречающихся в повседневной разработке. В этой статье рассмотрим, как с помощью Python можно создавать, заполнять, и стилизовать Excel файлы. Для этого мы будем использовать библиотеки pandas, openpyxl и faker (для тестов). Читать: https://habr.com/ru/articles/824050/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Почему стоит использовать Apache Airflow? Apache Airflow — это мощный инструмент для управления сложными данными. Он позволяет удобно планировать задачи, упорядочивать их выполненеие и анализировать результаты с помощью визуального интерфейса. Узнайте больше о фичах, которые помогут эффективно управлять данными! Читать подробнее ___ Другие наши проекты

Почему Starburst Icehouse подходит не всем Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных. Читать: https://habr.com/ru/companies/vk/articles/824258/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Senior Python разработчики, ваш выход На новой вакансии вам предстоит: В тесной коллаборации с Data Science командой заниматься продуктовой разработкой и писать нагруженные сервисы на Python. От вас требуется опыт промышленной разработки на Python, хорошие знания алгоритмов и умение в Docker и Postgres. Будет плюсом: — опыт создания CI/CD pipeline’ов. — общее понимание основ Data Science. — опыт работы с Kafka, Redis. — опыт работы с Openshift, Minio, Ceph. Нажимайте, чтобы быть на связи #вакансии #работа

Внедрение Business Intelligence с нуля — первые шаги Внедрение системы Business Intelligence в рамках компании - одновременно уникально для каждой компании, и в то же время может быть унифицировано за счет использования существующего опыта и знаний. В этой статье приведены базовые принципы построения BI систем, на которые можно ориентироваться, чтобы сэкономить время и получить качественную BI систему для компании. Тем, кому интересны основы BI систем - добро пожаловать :) В качестве небольшого вступления имеет смысл отметить две особенности BI систем. BI системы основаны на рассчитываемых ключевых показателях эффективности (KPI), но тем не менее, для управления компанией представляет ценность именно система или набор показателей, а не какой-либо единственный показатель. Другой особенностью является то, что BI система аккумулирует данные из различных систем и различной периодичностью, например, финансовые показатели из учетных систем, данные о клиентах из CRM систем или из систем обратной связи с клиентами, и все эти задачи интеграции встают перед компанией, которая внедряет BI. Рассморим выбор ключевых показателей BI системы "с нуля", что определит суть будущей BI системы компании. Конечно, можно использовать и готовый набор показателей, которые часто имеются для разных предметных областей в различных BI платформах, в этой статье обращается внимание на выбор системы KPI "с нуля". Популярным подходом к управлению по KPI является сбалансированная система показателей (Balances Scorecards, BCS), предложенная Р. Капланом и Д. Нортоном "Сбалансированная система показателей" в 1996 году. В книге рекомендуется подход к управлению, основанный на ключевых показателях эффективности (KPI), отслеживающих стратегический прогресс в достижении основных целей по четырем направлениям: финансовые показатели, взаимодействие с клиентами компании, внутренние процессы компании и обучение/рост сотрудников компании. Читать: https://habr.com/ru/articles/824268/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Что будет, если ИИ будет писать новости? Мы решили проверить это и позволили нейросети писать новости из мира технологий на основе ярких событий в канале NewsGPT. Она уже рассказала нам, что NVIDIA покупает Марс, Apple делает холодильники, а ИИ становится мэром. Подписывайтесь, чтобы узнать, как видит мир нейросеть: @notnewsgpt

Get Started with Oracle Analytics Cloud APIs Learn how to use the OAC Public REST APIs with a Postman Collection. Read: https://blogs.oracle.com/analytics/post/get-started-with-oracle-analytics-cloud-apis @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Use Custom Hostnames for Oracle Fusion Analytics Custom hostnames for Oracle Fusion Analytics series overview. Read: https://blogs.oracle.com/analytics/post/use-custom-hostnames-for-oracle-fusion-analytics @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Building Models with OML4R and Deploying them in Oracle Analytics Cloud Oracle Analytics Cloud (OAC) offers various approaches to integrate machine learning models, ensuring flexibility and efficiency in your data analysis processes. This article guides you through using Oracle Machine Learning for R (OML4R) to train and test models in the database and deploy them in OAC. Read: https://blogs.oracle.com/analytics/post/building-oracle-machine-learning-models-with-oml4r-and-deploying-in-oracle-analytics-cloud @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Разыскиваем системных аналитиков с опытом. Стек: Java / Kotlin (JDK 11), Spring Boot, PostgreSQL, Apache Kafka, Openshift/ Kubernetes, TypeScript, React, React Native.   Задачи: — Анализ функциональности ПО. — Проектирование интеграции с источниками данных. — Поддержка документации.   Бонусы: — Зарплата до 330 000 рублей на руки, премии и скидки. — Возможность выстроить свою систему на новом проекте. — Нет legacy и есть полная свобода в выборе инструментов. Откликайтесь тут #вакансии #работа

Повышаем Data Quality: щепотка Soda для ваших данных Привет! Меня зовут Александр Кудрявцев, я аналитик данных в команде Data Platform Банки.ру. Недавно мы озадачились вопросом контроля качества данных (Data Quality) и стали искать комплексное решение. Один из инструментов, который попал в поле зрения, — Soda Core. О нем и пойдет речь в материале. Читать: https://habr.com/ru/companies/banki/articles/822601/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Интеграция LLM в корпоративное хранилище данных В данной статье рассматриваются способы интеграции Large Language Models (LLM) в корпоративные системы хранения данных. Основное внимание уделено использованию LLM для автоматического извлечения информации из текстовых данных с последующим формированием SQL-запросов. В рамках исследования также изучаются методы пост-обработки результатов SQL-запросов с целью улучшения точности и адаптивности моделей к конкретным характеристикам и особенностям баз данных. Работа включает в себя анализ существующих решений и методов оценки эффективности LLM в контексте их интеграции в корпоративные информационные системы. Особое внимание уделяется применению Preference Learning via Database Feedback — подхода, направленного на обучение моделей на основе обратной связи от баз данных, что способствует более точному и адаптивному выполнению запросов пользователей. Исследование также охватывает разработку примеров интеграции LLM в реальные корпоративные хранилища данных с целью демонстрации практической применимости и эффективности предлагаемых подходов. Читать: https://habr.com/ru/articles/822771/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

А вы состоите в профессиональном сообществе? Вместе с Росбанком на примере гильдий компании подробно разобрали, зачем айтишникам становиться частью комьюнити и какую реальную пользу они приносят своим участникам — обо всём в статье: https://tprg.ru/jDYM Реклама

Data Engineering Projects Read: https://www.startdataengineering.com/post/data-engineering-projects/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

Зачем аналитику изучать Python и с чего начать?  Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе для анализа данных. Приходите на открытый практический урок «Основы Python» от OTUS, где вы вместе с опытным экспертом:  — рассмотрите синтаксис Python; — разберёте его основы; — узнаете про инструменты анализа данных, с которыми работают аналитики. Встречаемся 20 июня в 20:00 мск в преддверии старта курса «Python для аналитики». Все участники вебинара получат специальную цену на обучение и консультацию!  Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/bBKL/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: LjN8KUtrG

Краеугольные камни ClickHouse Привет, Хабр! Меня зовут Артемий Кравцов, я работаю инженером в Wildberries. Сегодня расскажу про то, что люблю – про ClickHouse. Моя цель – осветить некоторые ключевые особенности в архитектуре ClickHouse и в том, как он хранит данные. Что такое куски и слияния? Как быть с частыми вставками? Как обновлять значения в строках? Что не так с точечными чтениями? Как сделать тяжёлый JOIN? Статья рассчитана на тех, кто только знакомится с ClickHouse. Читать: https://habr.com/ru/companies/wildberries/articles/821865/ @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных

OCI AI Vision Facial Detection in Oracle Analytics Cloud This post explores the OCI service AI Vision Facial Detection exposed directly in Oracle Analytics. With prebuilt models available, developers can easily build image recognition and text recognition into their applications without machine learning (ML) expertise. This post will walk users through registering their AI Vision Face Detection model, uploading images, running their dataflow, and analyzing the output. Read: https://blogs.oracle.com/analytics/post/ai-vision-facial-detection-in-oac @big_data_analysis ___ Другие наши проекты | Чата аналитиков данных