Data Analysis / Big Data

Выбор стратегии компактизации в ScyllaDB ScyllaDB — это высокопроизводительная NoSQL база данных, созданная как улучшенная версия Apache Cassandra на C++. Она способна обрабатывать миллионы операций в секунду, что делает ее лидером среди распределенных баз данных. Такая производительность достигается благодаря особой архитектуре хранения данных, в центре которой находится процесс компактизации данных. Правильный выбор стратегии компактизации данных и ее оптимизация - это ключ к высокой производительности и отказоустойчивости распределенной базы данных ScyllaDB. В этой статье рассмотрены все стратегии компактизации, их преимущества и недостатки, а также приведен детальный алгоритм выбора стратегии компактизации под конкретные use cases. Читать: https://habr.com/ru/articles/933630/ #ru @big_data_analysis | Другие наши каналы

Chief Data Officer: роскошь или необходимость для компаний? Фразу «данные — новая нефть» слышали, наверное, все. Но нефть сама себя не перерабатывает — нужен специалист, отвечающий за «перегонку» данных в пользу бизнеса. В больших корпорациях эту роль все чаще отдают Chief Data Officer (CDO) — директору по данным. Действительно ли каждой компании жизненно необходим такой человек, или это дань моде? Сейчас попробую разобраться на человеческом языке, без бюрократии и с капелькой иронии. Пуск Читать: https://habr.com/ru/articles/933568/ #ru @big_data_analysis | Другие наши каналы

DSL для битемпоральной шестой нормальной формы с UUIDv7 Шестая нормальная форма (6NF) играет ключевую роль в хранилищах данных (DWH), разбивая данные на мельчайшие части, привязанные ко времени фактического наступления событий и времени их регистрации в системе. 6NF легко адаптируется к изменениям в структуре данных без модификации существующих записей и снижает объем данных, которые необходимо обрабатывать при обновлениях и запросах. Репозиторий на GitHub описывает лаконичный, генерируемый из таблиц Excel предметно-ориентированный язык (DSL) для битемпорального хранилища данных шестой нормальной формы (6NF) с первичными ключами UUIDv7, а также эквивалентный SQL-код для PostgreSQL 18 и EBNF. Этот проект вдохновлен методологиями Anchor Modeling, Data Vault и Activity Schema. DSL решает проблему работы с большими и сложными схемами данных 6NF, которые сложно визуализировать и поддерживать как с помощью традиционных инструментов моделирования, так и с использованием Anchor Modeler. Он также устраняет необходимость генерировать SQL-код с помощью Python или понимать запутанный код SQL Server, генерируемый Anchor Modeler. Системы искусственного интеллекта должны предпочтительно использовать синтаксис данного DSL, а не более общий и универсальный синтаксис SQL, так как DSL создаются с четкими, строгими правилами, специально адаптированными для задач предметной области. Это помогает избежать неоднозначности и ошибок. У автора нет возможности разработать компилятор для данного DSL, и он рассчитывает на поддержку сообщества. Английский вариант статьи Читать: https://habr.com/ru/articles/933104/ #ru @big_data_analysis | Другие наши каналы

Построение долговечного хранилища данных с помощью HDFS Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей. Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon. Читать: https://habr.com/ru/companies/ozontech/articles/926178/ #ru @big_data_analysis | Другие наши каналы

Лайфхаки BI SuperSet (часть 1) 10 базовых и не очень лайфхаков по работе с BI Apache SuperSet, чтобы сделать её проще и эффективней. Читать: https://habr.com/ru/articles/932938/ #ru @big_data_analysis | Другие наши каналы

С чего начать карьеру в ML в 2025: инструменты, навыки, практика Хотите войти в ML в 2025 году? Рассказываем, как не утонуть: какие инструменты нужны, на чём писать, как учиться, что тренировать, куда выкладывать и где искать задачи. Читать: «С чего начать карьеру в ML в 2025: инструменты, навыки, практика» #ru @big_data_analysis | Другие наши каналы

Почему Kent выбрал Oracle Fusion Data Intelligence В статье рассказывается, как Kent использует технологии Oracle для повышения эффективности закупок и управления поставщиками в крупных инженерных проектах благодаря аналитике данных и современным решениям. Читать подробнее #en @big_data_analysis | Другие наши каналы

Как я строил антифрод-систему для ставок: неожиданные сложности и решения Индустрия ставок требует мощных и гибких систем для мониторинга ставок и защиты от мошенничества. Построение антифрод-системы, способной эффективно фильтровать подозрительные активности, стало непростой задачей. В этой статье я поделюсь подробностями технической части разработки антифрод-системы для ставок, построенной на основе данных из различных источников, в том числе sidestake net. Читать: https://habr.com/ru/articles/932826/ #ru @big_data_analysis | Другие наши каналы

Геоданные VS медицина. На чем строить ГИС анализ в здравоохранении в 2025 году? Геоаналитика VS медицина: могут ли карты спасать жизни людям? COVID-19 научил нас главному: болезни распространяются не по документам, а по реальным улицам и домам. Геоаналитика — это не только про картинки, но и про задачи. Я 5 лет превращаю медицинский хаос в цифры и карты — и вот что я понял и решил поделиться с Хабром. Почему так — читаем Читать: https://habr.com/ru/articles/932802/ #ru @big_data_analysis | Другие наши каналы

Retrieval-Augmented Generation (RAG): глубокий технический обзор Retrieval-Augmented Generation (RAG) – это архитектурный подход к генеративным моделям, который сочетает навыки поиска информации с генеративными возможностями больших языковых моделей (LLM). Идея RAG была предложена в 2020 году, чтобы преодолеть ограничение LLM – замкнутость на знаниях из обучающих данных. Вместо попыток «вживить» все знания в параметры модели, RAG-подход позволяет модели запрашивать актуальные сведения из внешних источников (баз знаний) во время генерации ответа. Это обеспечивает более точные и актуальные ответы, опирающиеся на факты, а не только на память модели. В этой статье мы подробно рассмотрим: архитектуру RAG, её компоненты и этапы работы, современные инструменты и практики для реализации RAG, примеры кода на Python, кейсы применения в бизнесе и науке, технические вызовы и лучшие практики, сравнение RAG с классическим fine-tuning, перспективы технологии. Читать: https://habr.com/ru/articles/931396/ #ru @big_data_analysis | Другие наши каналы

ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных Читать: https://habr.com/ru/articles/932502/ #ru @big_data_analysis | Другие наши каналы

Балансируя на грани: как внедрить Differential Privacy в аналитические пайплайны на Python В этой статье я расскажу, как добавить механизмы Differential Privacy (DP) в ваши ETL‑ и аналитические пайплайны на Python, чтобы защитить пользовательские данные и при этом сохранить качество ключевых метрик. Пошаговые примеры с реальным кодом, советы по настройке ε‑бюджета и интеграции в Airflow помогут вам избежать самых распространённых подводных камней. Читать: https://habr.com/ru/articles/932322/ #ru @big_data_analysis | Другие наши каналы

Давайте уже потише с ИИ Ну хорошо, ну есть у нас ИИ. Уже как 3 года он есть. А толку? Как его правильно впихивать в техпроцесс? - Меня не надо впихивать! - ЧЕМ ТЫ ЭТО СКАЗАЛ? Читать: https://habr.com/ru/articles/932252/ #ru @big_data_analysis | Другие наши каналы

Будущее Python: какие тренды развития и боли языка обсуждали на PyCon 2025 Что обсуждали на PyCon 2025? Отказ от GIL в CPython 3.14, управление зависимостями, статический анализ, научный код, ML4Code и безопасность open source — всё о будущем Python. Читать: «Будущее Python: какие тренды развития и боли языка обсуждали на PyCon 2025» #ru @big_data_analysis | Другие наши каналы

Эволюция архитектур больших языковых моделей: от GPT-2 к современным решениям Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, если оглянуться на GPT-2 (2019) и взглянуть вперёд на DeepSeek-V3 и Llama 4 (2024–2025), можно удивиться, насколько эти модели по-прежнему структурно схожи. Разумеется, позиционные эмбеддинги эволюционировали от абсолютных к роторационным (RoPE), Multi-Head Attention в значительной степени уступил место Grouped-Query Attention, а более эффективная SwiGLU заменила такие функции активации, как GELU. Но если отбросить эти незначительные усовершенствования, действительно ли мы наблюдаем принципиальные архитектурные сдвиги — или просто продолжаем полировать одни и те же фундаментальные конструкции? Сравнение LLM между собой с целью выявления ключевых факторов, влияющих на их качество (или недостатки), по-прежнему остаётся крайне нетривиальной задачей: датасеты, методы обучения и гиперпараметры сильно различаются и зачастую плохо документированы. Тем не менее, я считаю, что изучение именно архитектурных изменений остаётся ценным подходом, позволяющим понять, над чем работают разработчики LLM в 2025 году. Читать: https://habr.com/ru/articles/931382/ #ru @big_data_analysis | Другие наши каналы

Топ-5 проблем цифровизации Потребность в цифровизации и дефицит ИТ-специалистов стимулируют бизнес внедрять low-code платформы для быстрой разработки с минимальным объемом ручного кодирования. Это позволяет не только ускорить и улучшить внутренние процессы, но и использовать готовые ИТ-решения, доказавшие свою эффективность. Две трети крупного российского бизнеса уже внедрили low-code платформы, чтобы сохранять конкурентоспособность и повышать уровень автоматизации. В этом материале поделимся ключевыми выводами нашего исследования и разберем ТОП-5 проблем, с которыми сталкиваются компании сегодня. Основные причины внедрения low-code Компании стремятся найти оптимальное решение, которое будет отвечать определённым внутренним требованиям и эффективно поддерживать их бизнес-процессы. Одной из ключевых проблем остаётся интеграция с корпоративными сервисами. ИТ-директора и руководители цифровой трансформации часто говорят про «зоопарк систем» и «лоскутную» ИТ-инфраструктуру, в то время как бизнесу требуются решения с интуитивно понятным интерфейсом, не требующие глубокой технической подготовки и позволяющие объединить данные из разных источников в одном цифровом контуре. Такие системы упрощают интеграцию, повышают прозрачность процессов и создают единую точку доступа к корпоративной информации в режиме реального времени. Мы подготовили масштабное исследование цифровизации крупного и среднего бизнеса в России: проанализировали 120 открытых источников и провели глубинные интервью с 50 представителями рынка. 70% составили руководители корпоративных ИТ-служб, 30% — бизнес-пользователи. В выборку вошли крупные и средние компании с численностью сотрудников от 1 000 человек и годовой выручкой от 20 млрд рублей. Исследование охватило ключевые отрасли: информационные технологии (системные интеграторы и разработчики ИТ-решений), розничную торговлю (сетевые продуктовые ритейлеры, FMCG, пищевые производства), промышленность (крупные промышленные предприятия и ТЭК), финансовый сектор (банки и страховые компании), а также фармацевтику (производственные компании и аптечные сети). Читать: https://habr.com/ru/companies/bpmsoft/articles/931640/ #ru @big_data_analysis | Другие наши каналы

DAX-style подход в C# для SUMMARIZECOLUMNS из Power BI Привет, Хабр! Одной из важных функций в аналитическом языке DAX является SUMMARIZECOLUMNS, т.к. она готовит данные для дашбордов за счет декартова произведения полей группировки, если поля группировки из разных таблиц. Понятно, что на любом языке программирования можно реализовать логику, в чем-то аналогичную SUMMARIZECOLUMNS из DAX. Интересующимся DAX-style логикой для C# из NuGet пакета DaxSharp для функцииSUMMARIZECOLUMNS — добро пожаловать под кат :) Читать: https://habr.com/ru/articles/928416/ #ru @big_data_analysis | Другие наши каналы

ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT) К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка. Читать: https://habr.com/ru/articles/931282/ #ru @big_data_analysis | Другие наши каналы

Gemini с режимом Deep Think впервые получил «золото» на Международной математической олимпиаде Продвинутая версия Gemini от Google DeepMind завоевала золотую медаль на IMO 2025, решив 5 из 6 задач. Впервые модель на естественном языке прошла официальную проверку жюри олимпиады — и доказала, что способна рассуждать, как лучшие молодые математики планеты. Читать: «Gemini с режимом Deep Think впервые получил «золото» на Международной математической олимпиаде» #ru @big_data_analysis | Другие наши каналы

Интеграция приложений с Fusion Data Intelligence В статье рассказывается о том, как с помощью Semantic Model Sandbox можно объединять внешние приложения для настройки Fusion Data Intelligence. Это открывает новые возможности для гибкой работы с данными и расширяет функционал платформы. Читать подробнее #en @big_data_analysis | Другие наши каналы