Data Analysis / Big Data

Архитектурные практики в «кровавом энтерпрайзе»: данные, управление сложными системами и влияние AI Привет, Хабр! Меня зовут Игнатий Цукергохер, я фриланс-журналист и блогер. На Хабре в основном пишу про технику и выкладываю интервью, но решил вернуть рубрику обзоров мероприятий. И начну с такой камерной и при этом хардкорно-айтишной встречи, как True Tech Arch #8. От корпоративной ИТ-архитектуры сегодня ждут скорости, устойчивости и понятной ценности для бизнеса, но она все еще часто существует в виде схем, презентаций и документов, которые быстро устаревают и мало помогают в ежедневной работе команд. На конференции True Tech Arch #8, последней встрече Гильдии архитекторов MWS в 2025 году, рассказывали, как выбраться из этого замкнутого круга. В этом материале расскажу про основные темы, которые на ней поднимались: переход от Big Data к Small Data и Data Lakehouse, способы превратить архитектуру в исполняемую и измеряемую систему, а также изменение роли архитектора и коммуникаций между командами при внедрении AI-ассистентов. Читать: https://habr.com/ru/companies/ru_mts/articles/985616/ #ru @big_data_analysis | Другие наши каналы

Открываем ПВЗ с умом: интеграция Геоинтеллекта и DataLens Мы в Геоинтеллекте любим геоданные и геоаналитику. Часто миксуем технологии. Вот, например, мы попробовали генерировать графики BI системы DataLens внутри платформы для Геоаналитики “Геоинтеллект”. Что из этого вышло, посмотрим на реальном кейсе, которая выполняла наша сотрудница. Задача Предположим вы, как аналитик, хотите понять, где выгоднее всего искать помещение для открытия пункта выдачи заказов маркетплейса. Для этого нужно обратить внимание на ряд факторов, которые влияют на выбор: Читать: https://habr.com/ru/articles/985490/ #ru @big_data_analysis | Другие наши каналы

«Привет! Я [0.44, -0.91, 0.66...]» или как научить машину понимать смысл слов Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Цифровой объект можно представить числом: картинку, текст, аудио или видеофайл — практически всё что угодно. Для того чтобы ввести этот объект в нашу ML модель как некое понятие, мы должны преобразовать его в определённый набор чисел. По этому набору чисел мы сможем определить, что, например, этот объект «яблоко», а не «груша». С картинками все просто. В чёрно-белом изображении (в градациях серого) самый яркий пиксель имеет значение 1, самый тёмный — 0, а оттенки серого имеют значения от 0 до 1. Такое числовое представление упрощает обработку изображений. Преобразовав изображение в цифровую форму на основе значений пикселей, мы можем использовать его в качестве входных данных для обучения нашей модели, позволяя нейронной сети обучаться на значениях пикселей. Однако что делать с текстом? Как спроецировать буквы в числа? Читать: https://habr.com/ru/companies/ruvds/articles/983958/ #ru @big_data_analysis | Другие наши каналы

Анимированные визуализации потоков данных: движение товаров, денег и пользователей В современном мире данным кроме накапливания ещё присуще такое свойство как двигаться. Причём они движутся постоянно. Пользователи переходят между страницами и приложениями, товары перемещаются по глобальным логистическим сетям, а деньги циркулируют между счетами, банками и платёжными системами. В таких условиях традиционные инструменты аналитики — таблицы, статические графики и отчёты, хорошо отвечают на вопросы сколько? и ему подобные, но плохо показывают как именно это происходит. Чтобы понять динамику процессов, выявить узкие места и увидеть реальные взаимосвязи, всё чаще используют анимированные визуализации потоков данных. Именно о них предлагаю поговорить сегодня. В этой статье разберёмся: зачем вообще нужна анимация данных, какие типы потоковых визуализаций существуют, какие технологии используются для их создания и в каких задачах они дают реальную пользу. Читать: https://habr.com/ru/companies/timeweb/articles/981392/ #ru @big_data_analysis | Другие наши каналы

Визуализация на Python за 15 минут: пошаговый гайд по Seaborn для начинающих Matplotlib — это мощно, но часто «многословно». Чтобы превратить стандартный график в нечто презентабельное, приходится писать десятки строк настройки осей и легенд. В этой статье я собрал практическую шпаргалку (Cookbook) по библиотеке Seaborn. Разберем, как одной строкой строить красивые Heatmap, Boxplot и Pairplot. Минимум теории, максимум готовых рецептов (copy-paste), которые покроют 90% задач аналитика. Читать: https://habr.com/ru/articles/984144/ #ru @big_data_analysis | Другие наши каналы

Типология мышления в аналитической культуре больших языковых моделей (Часть_1) Миронов В.О., Кальченко С.Н. Добрый день, уважаемые хаброгорожане;‑) Крайние тренды по части тестирования современных больших языковых моделей выходят на невиданные высоты и ставится цель: пересматривать не только всю систему анализа моделей, но и саму структуру эволюции нашего подхода к пониманию больших языковых моделей в самом широком контексте. Здесь мы всё больше «скатываемся» к математическому описанию объекта промпта и его понятия. По большому счету, наибольшее понимание, а именно, формирование идей в машинном представлении, основано на геометрическом понимании «форм» слов, а не алгебраическом, в виде векторов, эмбеддингов и матриц, хотя это тоже очень важно на базовом уровне. Отличный пример такого подхода изложен в этой статье, где как раз и показано, что важно, топологическое представление пространства слов и их смыслов, так как оно максимально гибко и позволяет работать с двумя главными понятиями для словоформ: значение и время, в течение которого это значение сохраняется для текущего контекста. Исходя из этого, не так давно мы проводили анализ понимания речи для чат‑ботов и, в частности, для больших языковых моделей. При этом мы задались очень ёмким понятием: каково отношение между пользователем и нейросетью и насколько они хорошо друг друга «понимают». Чем полнее и общо мы сможем очертить границы этого «понимания», тем более полно мы сможем формировать промпты для наших запросов, расширить новый уровень абстракции и сформировать новый уровень понимания кода моделью. Читать: https://habr.com/ru/articles/984062/ #ru @big_data_analysis | Другие наши каналы

Когда ИИ не понимает бизнес-контексты Сегодня многие компании внедряют ИИ‑ассистентов, которые автоматически пишут SQL‑запросы и помогают менеджерам готовить отчеты. На первый взгляд они отлично справляются с цифрами и синтаксисом, но теряются, когда дело доходит до бизнес-контекста. Почему? Потому что бизнес живет не только данными, но и контекстом: историей компании, внутренними правилами, неформальными договоренностями, культурой. В результате ИИ превращается в «умное автодополнение», а не в стратегический инструмент. В этой статье разберем, что именно мешает алгоритмам учитывать бизнес‑контекст и какие инженерные подходы помогают превратить статистического помощника в полноценного участника управленческих процессов. Читать: https://habr.com/ru/companies/beget/articles/980974/ #ru @big_data_analysis | Другие наши каналы

Как JOIN изменил наш подход к инфраструктуре данных в NAVER После миграции с ClickHouse на StarRocks NAVER существенно оптимизировала обработку многотабличных JOIN. StarRocks повысил производительность запросов, обеспечил бесшовное масштабирование и позволил построить единый слой запросов, совместимый с множеством источников данных. Эти улучшения позволили предоставлять инсайты в реальном времени и поддерживать принятие решений на основе данных во всей экосистеме NAVER. Читать: https://habr.com/ru/articles/983356/ #ru @big_data_analysis | Другие наши каналы

Инструмент перехвата медленных запросов StarRocks Практическое руководство по построению сервиса перехвата медленных запросов в StarRocks: правила kill и пороги (full table scan, scan rows/bytes), анализ execution plan, интеграции с Grafana и Feishu, SQL-схемы и YAML-конфигурация для продакшена. Читать: https://habr.com/ru/articles/983314/ #ru @big_data_analysis | Другие наши каналы

Как мы ввели автосертификацию дашбордов в Авито Привет, Хабр! Меня зовут Евгений Мичурин, я senior BI-разработчик в Авито. Если у вас BI растёт хаотично — вы наверняка сталкивались с тем же, что и мы: сотни дашбордов, разный стиль, неясные владельцы, дублирующиеся датасеты. В какой-то момент это превращается в хаос, где пользователи не доверяют данным, а self-аналитика становится невозможной. Мы решили навести порядок и создали фреймворк автосертификации BI‑отчётов. В этой статье рассказываю, как он работает, какие критерии мы выбрали и как мотивировали команды участвовать в процессе. Читать: https://habr.com/ru/companies/avito/articles/983260/ #ru @big_data_analysis | Другие наши каналы

От парных котировок к абсолютным курсам — как мы построили фундамент веб-интерфейса AbsCur3 с 287 валютными парами Попробуйте найти исторические курсы для пар вроде «доллар к афгани» или «евро к таджикскому сомони». Данные либо платные, либо их просто нет в виде готового датасета. Мы решили эту проблему в рамках своего проекта, хотя единственный подходящий API диктовал суровые условия: 8 запросов в минуту и 5000 дней за раз. Получилось! Наш Python-скрипт аккуратно, чанк за чанком, собрал историю всех 287 пар за 4.5 часа, ни разу не превысив лимит. В статье делюсь техническими деталями, как выстроить такую загрузку, и уроками, которые мы извлекли. Читать: https://habr.com/ru/articles/983024/ #ru @big_data_analysis | Другие наши каналы

Как я пытался создать «конструктор налоговых проверок» для повышения эффективности работы ФНС Для начала — немного контекста. Я не программист и не разработчик. Последние 12 лет я проработал в Федеральной налоговой службе. Начинал с низов, занимался выездными и камеральными проверками (проводил лично и курировал). Два месяца назад я уволился, завел свой телеграм‑канал и теперь работаю в налоговом консалтинге. Эта статья — история о том, как я попытался решить огромную проблему государственной системы с помощью домашнего ноутбука и нейросетей. О том, как я переоценил свои силы, недооценил масштаб задачи, но все‑таки попробовал создать инструмент, который мог бы изменить работу инспектора. Читать: https://habr.com/ru/articles/982938/ #ru @big_data_analysis | Другие наши каналы

Основные инструменты для работы с данными: от сбора до анализа Работа с данными помогает бизнесу принимать верные решения. Собрали главные инструменты для анализа данных, которые используют специалисты. Читать: «Основные инструменты для работы с данными: от сбора до анализа» #ru @big_data_analysis | Другие наши каналы

MLup: как создавать веб-приложение с машинными обучением за один взмах волшебной палочки - конкурс пет-проектов Написал библиотеку на Python , которая позволяет создавать и запускать приложения с любой моделью машинного обучения. Читать: «MLup: как создавать веб-приложение с машинными обучением за один взмах волшебной палочки - конкурс пет-проектов» #ru @big_data_analysis | Другие наши каналы

Как работает обучение без учителя Метод обучения без учителя помогает работать с неразмеченными данными. Разбираемся, какие алгоритмы использовать для решения таких задач. Читать: «Как работает обучение без учителя» #ru @big_data_analysis | Другие наши каналы

Особенности ALL как модификатора CALCULATE и как «создателя» новой таблицы в FILTER DAX содержит гибкие возможности фильтрации, и важными функциями являются ALL и REMOVEFILTERS. При использовании ALL и REMOVEFILTERS в качестве модификатора CALCULATE они ведут себя одинаково, т.к. в этом случае REMOVEFILTERS является псевдонимом ALL, однако ALL в FILTER возвращает «новую таблицу» и очищает влияние всех фильтров, что важно учитывать с точки зрения производительности и результатов. Интересующимся особенностями ALL и сравнением ALL и REMOVEFILTERS  — добро пожаловать под кат :) Читать: https://habr.com/ru/articles/982246/ #ru @big_data_analysis | Другие наши каналы

МТС принимает заявки в бесплатную Школу аналитиков данных Учиться в Школе аналитиков данных можно из любой точки России, а лучшие выпускники получат работу в МТС. Успейте до 24 октября! Читать: «МТС принимает заявки в бесплатную Школу аналитиков данных» #ru @big_data_analysis | Другие наши каналы

Почему дата-сайентисту нужны ещё и графы Разбираемся, что это такое, в анализе каких данных они нужны. А также рассматриваем, в каких задачах найдётся применение теории графов. Читать: «Почему дата-сайентисту нужны ещё и графы» #ru @big_data_analysis | Другие наши каналы

Дата-аналитик и ML-инженер: разбираем обязанности специалистов Рассказываем, чем занимается ML-инженер на примере задач в Дзене и разбираемся, как с этим связан дата-аналитик. Читать: «Дата-аналитик и ML-инженер: разбираем обязанности специалистов» #ru @big_data_analysis | Другие наши каналы

Почему дата-сайентисту нужны ещё и графы Разбираемся, что это такое, в анализе каких данных они нужны. А также рассматриваем, в каких задачах найдётся применение теории графов. Читать: «Почему дата-сайентисту нужны ещё и графы» #ru @big_data_analysis | Другие наши каналы