Data Analysis / Big Data

G2 Market Research vs Gartner: слон или тигр? Мы в Кругах Громова любим исследования. Можно было бы даже сказать «собаку на них съели», но собакенов мы любим не меньше, чем исследования, и, конечно, есть никого не собираемся. Как бы там ни было, нам интересно – и, конечно, познавательно – наблюдать и изучать работу крупных мировых игроков. Сегодня решили поделиться с вами результатами сравнения двух «рапторов» – Gartner и G2 Market Research. Читать: https://habr.com/ru/articles/800173/ @big_data_analysis

Oracle Fusion Analytics: Use of Deep Links to navigate to Fusion Applications from Workbooks Fusion Data Intelligence provides the ability to drill to transactional detail in Oracle Fusion Application directly from a workbook, using data presented from the subject areas as part of the Fusion Data... Read: https://blogs.oracle.com/analytics/post/oracle-fusion-analytics-use-of-deep-links-to-navigate-to-fusion-applications-from-data-visualizations @big_data_analysis

AI and the Evolution of Self-Service Analytics Explore the evolution of self-service analytics with AI at Oracle. Discover how OAC leverages AI to enhance natural language interactions, generate insights, and revolutionize data storytelling. Dive into the future of analytics, where Oracle empowers users with seamless, intuitive experiences and groundbreaking formats like the Story Exchange, bridging the gap between data and impactful communication. Read: https://blogs.oracle.com/analytics/post/ai-and-the-evolution-of-selfservice-analytics @big_data_analysis

Oracle Analytics Cloud March 2024 update This blog covers new Oracle Analytics Cloud (OAC) features from the March 2024 update and includes, data connectivity, data prep, modeling, data visualization, augmented analytics, machine learning, localization and embedding. It highlights upgrades to help users connect more sources, faster data prep, better visualizations, customized analytics and localized UIs. Read: https://blogs.oracle.com/analytics/post/oracle-analytics-cloud-march-2024-update @big_data_analysis

Оживляем SVG в POWER BI часть 1 Создание дашбордов на основе SVG макетов частая задача в PBI. На примере, дерева и столбчатой диаграммы, я покажу как это сделать, используя язык DAX и макеты в figma. Читать: https://habr.com/ru/articles/800001/ @big_data_analysis

Если вы новичок, но уже обладаете базовыми знаниями, то это идеально время, чтобы начать пилить пет проекты. Но если вдруг у вас нет своей идеи, то не отчаивайтесь. Держите целую подборку таких идей, с примерами реализации:   1. Прогнозирование успеваемости студентов. 2. Суммаризация текста. 3. Проекты по CV на любой вкус. 4. Классификация болезней куриц. 5. Проекты классификации аудио (1ч, 2ч, 3ч, 4ч). 6. Проект по обработке и анализу данных. 7. Прогнозирование цен на жилье. 8. Приложение с использованием Langchain и Open AI. 9. Классификация заболеваний почек. 10. LLM для ответов на вопросы по PDF. @neuro_channel #петпроекты

Data Engineering Best Practices - #2. Metadata & Logging Read: https://www.startdataengineering.com/post/de_best_practices_log/ @big_data_analysis

Как AI помогает побороть монополию в спортивной рекламе и при чем тут GPU и выделенные серверы Спортивные соревнования сегодня переполнены рекламой — от роликов на экранах до статичных логотипов компаний на рекламных щитах стадионов. Эфир охватывает множество стран, в которых представлены различные бренды и действуют разные законы о рекламе. Благодаря прорыву в развитии ИИ и AR-технологий появляется возможность замены информации на поле под каждую аудиторию, причем непосредственно во время трансляции матча. Реклама на спортивных аренах изначально была статичной и предназначалась для людей, посещающих конкретное мероприятие в определенном городе. Позже появились LED-экраны, которые демонстрировали сменяющие друг друга рекламные ролики. Следующий шаг — в ролики на экранах начали вставлять на долю секунды «зеленый фон», с помощью которого ИИ определял пространство и подставлял уникальный текст. Сейчас заменить можно что угодно на что угодно. Сложность заключается в том, чтобы замена выполнялась незаметно и реалистично. Крупнейшие игроки этого рынка применяют специальные камеры. По фотографиям можно прийти к выводу о наличии специализированных датчиков, считывающих информацию о позиционировании и юстировке. То есть у популярных решений все еще есть хардверные «костыли». Все это требует огромных вычислительных мощностей, так как вводные сведения и исходная трансляция обрабатываются специализированным софтом в режиме онлайн. То есть к камерам и датчикам прибавляются сервера для вычислений. Оборудование дорогое, рынок «закрытый», технологии тоже. И тут на выручку приходят AI и облачные GPU-сервера. Читать: https://habr.com/ru/companies/hostkey/articles/798823/ @big_data_analysis

Данные ключ к успеху  Процесс сбора и обработки данных очень важный, так как от их качества зависит практически всё, что будет происходить потом. И встретить этот шаг вы должны во всеоружии. Так что не будем вас томить и дадим этот замечательный плейлист со всем необходимым, чтобы этому научится. А ещё можете глянуть этот доклад по автоматизации разметки с помощью ML-моделей. #данные @neuro_channel

Apache Flink: динамическое определение выходного топика в Kafka Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей. В предыдущей статье — «Apache Flink. Как работает дедупликация данных в потоке Kafka-to-Kafka?» — я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Также разобрались, что такое состояние оператора и зачем оно нужно. В этой статье добавим возможность динамического определения топика в Kafka для каждого события, куда его нужно записать. Читать: https://habr.com/ru/companies/ru_mts/articles/798667/ @big_data_analysis

Модель глубокого обучения, использующая данные ЭКГ для прогнозирования риска внезапной сердечной смерти Внезапная сердечная смерть (ВСС) происходит, когда возникают проблемы с электрической активностью в сердце. Это распространенная причина смерти по всему миру, поэтому было бы полезно легко выявлять людей с высоким риском ВСС. Электрокардиограммы - это доступный и широко используемый способ измерения электрической активности сердца. Мы разработали вычислительный метод, который может использовать электрокардиограммы для определения, находится ли человек в повышенном риске ВСС. Наш метод может позволить врачам скрининг больших групп людей и выявление тех, кто находится в повышенном риске ВСС. Это может позволить регулярное наблюдение за этими людьми и, возможно, предотвращение ВСС у некоторых из них. Читать: https://habr.com/ru/articles/798417/ @big_data_analysis

Подробный гайд: Как собрать дашборд в FineBI за 30 минут Хабр, привет! Меня зовут Александр Ларин, я руководитель центра технической поддержки и обучения в GlowByte и лидер самого большого в России сообщества FineBI. В данной статье я хотел бы показать новичкам основы работы в FineBI: как подключиться к источнику данных, создать на его основе датасет, провести обработку данных, собрать свой первый дашборд – и всё это сделать буквально за 30 минут.  А тех, кому этого будет недостаточно, приглашаю на наши курсы. Читать: https://habr.com/ru/companies/glowbyte/articles/798411/ @big_data_analysis

Ликбез по Data Governance, защита LLM, рейтинг BI-инструментов и другие новинки в мире ML и DA Привет, Хабр! После перерыва возвращаюсь с новым выпуском полезных материалов, которые помогут лучше разобраться в ML, AI и дата-аналитике. Сегодня в программе — эволюция СУБД, миграция с Apache Druid на ClickHouse и подходы к экономии ресурсов для инфраструктуры. Еще больше полезных материалов — в Telegram-сообществе «MLечный путь». Читать: https://habr.com/ru/companies/selectel/articles/798363/ @big_data_analysis

Системы автоматизации, SGRC Современная кибербезопасность включает в себя множество различных аспектов, объектов и субъектов защиты: информационные активы компании (ИТ-системы, бизнес-приложения, серверы, рабочие станции, сетевое оборудование), файлы и данные в самых разных форматах (от структурированных в базах данных до "озер данных" и накапливаемых огромных объемов Big Data), процессы компании (основные бизнес-процессы, вспомогательные, ИТ-процессы, процессы кибербезопасности), персонал (от уборщиц до топ-менеджеров), различные используемые технологии (разнообразное программное и аппаратное обеспечение). Все данные сущности подлежат анализу с точки зрения кибербезопасности, которая в современной компании сфокусирована на защите процессов, персонала, технологий, данных. Основными процессами кибербезопасности являются: Читать: https://habr.com/ru/articles/798233/ @big_data_analysis

Deploy DNS Components for Oracle Fusion Analytics Service Endpoints Internet Access Deploy in minutes the DNS components necessary for Internet access to Oracle Fusion Analytics service endpoints using Oracle Private DNS, Oracle Cloud Shell, and the Terraform OCI provider. Read: https://blogs.oracle.com/analytics/post/deploy-dns-components-for-oracle-fusion-analytics-service-endpoints-internet-access

Цеху безопасной разработки нужна ваша помощь! Становитесь за конвейер и следите за тем, чтобы уязвимые устройства не ехали по ленте ушли в прод. Будьте внимательны, ошибки приведут к остановке конвейера. Удачи: https://tprg.ru/S3QG Реклама

Configuring a Private SMTP Server in Oracle Analytics Cloud using OCI Load Balancers This post describes how to leverage private SMTP servers with Oracle Analytics Cloud (OAC) while harnessing the power of Oracle Cloud Infrastructure (OCI) load balancers. Read: https://blogs.oracle.com/analytics/post/oac-private-smtp

Что такое СУБД Greenplum? Зачем она нужна в больших проектах DWH? Чем отличается от ClickHouse? Ошибки в построении DWH возникают не только в результате того, что первоначально не были учтены возможные изменения в бизнес-процессах, потребностях и целях компании, но и из-за некорректного выбора стека технологий и СУБД. Порядок хранения данных выбирается в соответствии с разными сценариями работы - запросами, разным объемом данных, количеством транзакций, необходимостью обновлений данных. В статье читайте о СУБД Greenplum и о том, в каких случаях строить хранилища на ее основе. Читать: https://habr.com/ru/articles/797361/

Куда и как съехать с Qlik Sense Куда и как съехать с Qlik Sense Привет, Хабр! Сегодня я расскажу о том, как выбрать российскую BI, чтобы не потерять привычный уровень работы с данными в компании — и с чем придется столкнуться в процессе миграции. Читать: https://habr.com/ru/companies/navicon/articles/797207/

Кейс: разметка приложение с нуля на конкретном примере Привет! На связи Сергей Матросов и команда X5 Tech, ответственная за аналитику в “Пятёрочке”. Хотим поделиться с вами тем, как мы внедрили трекер AppMetrica от Яндекса и сделали с помощью него разметку для приложения “Пятёрочки”. Почему мы остановились именно на этом фреймворке, какую мы выбрали архитектуру разметки, как писали правила и словари, а также разберём процесс разметки на живом примере разметки экрана приложения. Очень надеемся, что эта статья поможет вам сэкономить много времени, если перед вами будет стоять аналогичная задача. Читать: https://habr.com/ru/companies/X5Tech/articles/797185/