Аналитика данных / Data Study

CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени. Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе. Зачем это нужно ❓ Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции - вставки (insert) - обновления (update) - удаления (delete) С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени. Полезные ссылки 😉 🔗 What is CDC 🔗 CDC в Yandex Data Transfer 🔗 Знакомство с Debezium CDC для Apache Kafka

В недавней статье от Modus мы рассмотрели возможные варианты интеграции 1С и корпоративного хранилища данных. Но каждый способ, конечно, заслуживает отдельного внимания. Мы решили пойти по порядку и в нашей свежей статье более подробно рассмотрели интеграцию 1С и КХД через стандартный REST‐интерфейс Odata. ➡️Что нужно сделать, чтобы начать работу с протоколом OData? ➡️Какие глаголы нужно использовать при обращении к серверу и для каких задач? ➡️Какие риски несёт в себе этот способ интеграции? Пошаговый сценарий интеграции 1С и КХД через стандартный REST‐интерфейс Odata читайте в нашем туториале на Habr! P.S. Подписывайтесь на тг-канал Modus и узнавайте об интересных статьях первыми!

👨‍💻 Управление ресурсами внутри команды Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃

🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы? #datalk

Кто-нибудь пользуется (пользовался/собирается) столом с регулировкой высоты? Накидайте мысли насколько это удобно или как обычно - есть функционал, но поигрались пару раз и забыли?

Пора перестать в любой непонятной ситуации строить DWH для аналитики Основной тезис ⤵️

Когда DWH не нужен: - Проект находится на начальной стадии, методики расчетов не определены, данные плохо структурированы. - Все данные находятся в одном источнике и их объем невелик. - Нет потребности в регулярных расчетах. - Нет бюджета на создание и поддержку DWH. - Нет достаточного количества аналитиков для использования DWH

Читать статью

Как упростить сложную бизнес-аналитику с помощью OLAP? Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных». Приходите на вебинар, чтобы: • Разобраться, зачем нужна OLAP-технология и где могут пригодиться OLAP-кубы. • Познакомиться с инструментом для интерактивного анализа данных Platform V OLAP Analytics, узнать об основных функциях, преимуществах и сценариях использования. • Посмотреть демо решения Platform V OLAP Analytics и задать вопросы эксперту — владельцу продукта. Когда: 12 декабря в 11:00. Кому будет полезно: бизнес-аналитикам, руководителям аналитических отделов, CDO и CTO. Регистрируйтесь!

Считаю что вебинар прошел успешно, видел 165 людей на старте презентации и 164 человека в момент скрина через час 👍

Сегодня в 19:00 буду проводить вебинар на тему "Как готовить данные для анализа с помощью ETL" Регистрируйтесь для участия по ссылке https://clck.ru/3F29E3

Сегодня на конференции слушаем про клиентоцентричный подход и как спикеры из банков меряются *** (прибылью) между собой) Сформулирую основные тезисы после конфы

На днях открыл для себя сервис buildin.ai, который является аналогом (с первого взгляда даже кажется копией) полюбившегося мне Notion. Можно использовать как базу знаний, онлайн-редактор для статей и постов, или просто как личный digital-ежедневник с заметками, задачами, чек-листами, календарем и другими полезными функциями. Вот только приложеньки еще для iphone нет, ждем 👍

Собирал сегодня презентацию для ближайшего выступления и вставил туда такую картинку. Как считаете, на какую тему презентация будет? 😄

🧐 Какие топ 3-5 критериев при выборе места работы, если представить что у вас на руках есть несколько офферов на выбор? #datalk

Инфраструктура для Data-Engineer DBT

При помощи понятного и всем известного SQL интерфейса можно создавать консистентные модели, которыми смогут пользоваться и понимать все участники data-команды. Ну также по моему мнению плюс dbt – возможность дать аналитикам самостоятельно создавать dm слой со своей логикой, что освобождает ресурс data-команды. Но стоит иметь ввиду, что нужен хороший процесс доставки кода: Code Review, паттерны, линтеры, принципы и прочее.

Читать статью

Как аналитики создают крутые решения? 🔥Узнайте об этом на онлайн-митапе от Авито! 5 декабря в 18:00 спикеры из Авито и Т-Банка расскажут про: ➡️ особенности внедрения RFM-сегментации клиентов ➡️ эффективное управление при запуске Discovery-процессов ➡️ использование ML Autotasking для автоматизации задач Подробности и регистрация ➡️ по ссылке.

Это просто стажировка, потом нормально будет 😄

Некоторые люди считают, что если ты ведешь канал и делишься полезными материалами и знаниями бесплатно в массы, то ты каждому еще и индивидуально должен уделять свое время, помогать и делать все это на безвозмездной основе Вам никто ничего не должен и не обязан делать бесплатно. Наш мир полностью построен на обмене ценностями. Если требуете ценность от кого-то, будьте готовы также дать ценность человеку. Это не только речь про покупку чего-то за деньги. Могут быть разные форматы Знания ↔️ знания Знания ↔️ время Время ↔️ время и различные другие комбинации Я всегда готов ответить на вопросы письменно, для этого могу выделить время в течение дня. На бесплатные созвоны даже на 5 минут идти не готов, если вы ничего не предлагаете взамен, на практике 5-минутами созвон не ограничивается. А если каждому так буду соглашаться на созвон, то в сумме за месяц будут тратить ~5-10 часов. Я найду куда потратить эти часы более эффективно для себя) Будьте адекватными в своих запросах и цените время и ценность других людей

🧐 Как часто вами используются знания математики университетской программы для работы с данными? В каких областях работы с данными используете, а в каких вообще не сталкиваетесь? #datalk

Вижу по реакциям что вам больше интересны мемы, фотки и жизненные истории чем аналитические материалы 😅 ну тогда ловите фотки с недавней поездки) классно отдохнули, жарили шашлык, катались, спасали кошку. P.S. С кошкой кстати все хорошо, держали связь с ее хозяевами еще дня 4 пока были там. Ходит, кушает, пьет, через пару недель повезут в больницу проверять ее челюсть повторно

Вебинар «Анализируем транзакции в реальном времени»  Приходите на бесплатный вебинар и узнайте, как обрабатывать высокие транзакционные и аналитические нагрузки в гибридной in-memory СУБД.  Дата и время: 28 ноября, 16:00. Программа 🔹 Ускорение аналитических расчетов и аналитика на самых свежих данных с помощью HTAP-систем. 🔹 Основные архитектурные характеристики гибридных транзакционно-аналитических СУБД (HTAP).  🔹 Повышение отказоустойчивости транзакционно-аналитических решений, настройка под разные профили нагрузки и интеграция с другими компонентами ИТ-ландшафта.  Проведем демонстрацию возможностей продукта Tarantool Column Store в работе с объектами и данными. Расскажем, как формировать отчетность в реальном времени и рассчитывать агрегаты в антифрод-системах с помощью продукта Tarantool Column Store.   Вебинар будет полезен архитекторам, дата-инженерам, DevOps-инженерам и разработчикам аналитических систем.     Регистрируйтесь, и вам придет ссылка на трансляцию в день мероприятия.