Data Analysis / Big Data

Простое использование ELOC_ISO_POLYGON в Oracle Analytics Oracle Analytics теперь поддерживает функцию ELOC_ISO_POLYGON в SQL для работы с пространственными данными. Эта функция поможет визуализировать и анализировать геопространственные данные, упрощая процесс создания отчетов и принятие решений. Узнайте больше о практическом применении в статье. Читать подробнее #en @big_data_analysis | Другие наши каналы

Новая функция ELOC_GEOCODE_AS_GEOM в Oracle Analytics Oracle Analytics расширяет возможности работы с пространственными данными через функцию ELOC_GEOCODE_AS_GEOM. Она преобразует текстовые описания местоположений в геометрические данные, упрощая анализ и визуализацию геоинформации. Узнайте больше о её возможностях! Читать подробнее #en @big_data_analysis | Другие наши каналы

Пространственный SQL и Oracle Analytics: что нового? Oracle Analytics представила новую функцию SDO_BUFFER для работы с пространственными данными. Узнайте, как эта функция позволяет легче обрабатывать геометрические данные и расширять аналитические возможности. Читать подробнее #en @big_data_analysis | Другие наши каналы

Исследуем мир пространственных данных! Статья погружает читателей в основы работы с геометрическими объектами: точками, линиями и многоугольниками, а также использование пространственных SQL для анализа данных. Открывайте новые возможности анализа и визуализации данных с помощью современных инструментов. Читать подробнее #en @big_data_analysis | Другие наши каналы

Интеграция дат в Oracle Analytics Узнайте, как ключи дат в Custom Knowledge помогают интегрировать финансовые календари, праздники и события в ваши данные. Это улучшает актуальность и ясность аналитики, позволяя ей соответствовать реальным бизнес-срокам. Читать подробнее #en @big_data_analysis | Другие наши каналы

Apache Spark Catalyst — оптимизация запросов под капотом и роль Data Engineer Меня зовут Андрей Кучеров, и я Lead Data Engineer. Часть моей работы включает обучение команды. Я люблю делиться своим опытом, потому что в работе с данными мелочей не бывает - часто кажущиеся незначительными детали могут кардинально влиять на производительность всего пайплайна. Catalyst — не волшебник, а инструмент. И как любой инструмент, он требует понимания принципов работы. Давайте разберём его на винтики! Читать: https://habr.com/ru/articles/899258/ #ru @big_data_analysis | Другие наши каналы

Apache Spark Catalyst: секреты оптимизатора запросов, который должен знать каждый Data Engineer Привет Хабр! Меня зовут Кучеров Андрей и я Lead Data Engineer с более чем 7-летним опытом в области распределенной обработки данных. Я работал над оптимизацией высоконагруженных Spark-приложений в X5 Retail Group и билайн, где мы обрабатывали петабайтные объемы данных. Регулярно сталкиваясь с производительностью запросов, я убедился, что понимание работы Catalyst — необходимый навык для каждого Data Engineer, работающего со Spark. Читать: https://habr.com/ru/articles/901078/ #ru @big_data_analysis | Другие наши каналы

Optuna: находим лучшие настройки для моделей без головной боли Если вы уже пробовали обучать модели, то знаете: выбрал не тот гиперпараметр — получил плохой результат. А перебирать их вручную или даже с помощью GridSearchCV из scikit-learn — долго, муторно и не всегда эффективно. Поэтому сегодня поговорим о том, как заставить компьютер делать эту скучную работу за нас. В этом поможет Optuna — библиотека для автоматической оптимизации гиперпараметров. Она умнее простого перебора и часто находит отличные комбинации параметров гораздо быстрее. Читать: https://habr.com/ru/companies/skillfactory/articles/900658/ #ru @big_data_analysis | Другие наши каналы

Стриминг Apache Flink из MongoDB в PostgreSQL на Python Привет, Хабр! Меня зовут Александр Цай, я ведущий аналитик в МТС Web Services, но на деле занимаюсь всеми вопросами, касающимися DA/DE/BI: выявлением потребностей и сбором требований, проектированием дашбордов и витрин для них, построением и развитием внутреннего хранилища, поиском источников данных, созданием сложных ETL-пайплайнов по их доставке, DQ, проведением аналитики и много чем еще. В этом материале я расскажу про разворачивание пайплайна по стримингу данных из MongoDB в PostgreSQL с помощью Apache Flink (стримить из Kafka банально, а так заодно пощупаем документоориентированную БД). Делать это мы будем в minikube (kubernetes), а языком программирования для заданий выступит Python. Все описанное в посте выполняется на MacBook с процессором i7. В интернете, тем более русскоязычном, нет информации о стриминге из MongoDB в Postgres с помощью Flink. Почти все материалы по Flink, которые мне попадались, сводятся к пережевыванию примера WordCount из flink-kubernetes-operator, где на запущенном поде из папки с примерами читается файл и в консоль выводится количество слов в нем. Если спускаться до использования PyFlink, то мы натыкаемся на кастомные образы с Harness SDK и Apache Beam и другие страшные слова. Знакомо? Так вот, это не наш путь! Данное руководство будет полезно тем, кто такой же извращенец хочет пощупать Flink на родном Python и кто не планирует брать примеры, оторванные от реальности. Читать: https://habr.com/ru/companies/ru_mts/articles/898636/ #ru @big_data_analysis | Другие наши каналы

Спецификация формата RTTM: полное техническое описание RTTM — это формат, в котором каждое событие в аудио точно знает своё место. Он позволяет системам видеть не просто звук, а структуру разговора: кто говорит, когда, как долго — и что происходит в фоновом шуме. В этой статье вы найдёте всё, что нужно знать об этом стандарте: как устроены его 10 полей, какую роль он играет в задачах диаризации и распознавания речи, и почему его до сих пор активно используют лидеры индустрии — такие как pyannote.audio, NVIDIA NeMo, DScore и другие. Узнать больше про RTTM! Читать: https://habr.com/ru/articles/900988/ #ru @big_data_analysis | Другие наши каналы

Книги для Team Lead DS: от менеджмента к стратегии Привет! Меня зовут Марк Паненко, я Chief Data Science в Ozon Банке. Это завершающая статья цикла о книгах для Data Science. Ранее мы обсуждали комиксы и нейросети для новичков, принципы для мидлов, профессиональную разработку, а сегодня поговорим об управлении командами. Материал основан на эпизодах подкаста Data Breakfast — в нём мы разбираем кейсы из реальной практики. Читать: https://habr.com/ru/companies/ozonbank/articles/900736/ #ru @big_data_analysis | Другие наши каналы

Эксгаустеры и где они обитают: о новой разработке рассказывает эксперт ЕВРАЗа Исключить аварийные остановки на производстве и прогнозировать время, когда агрегаты нуждаются в ремонте, – такие цели успешно реализовала команда ЕВРАЗа. Для этого на агломерационной фабрике внедрили автоматизированную систему, причем не отличающуюся особой сложностью. Как она работает, расскажу я, Python Backend разработчик компании Ольга Седова. Читать: https://habr.com/ru/companies/evraz/articles/900716/ #ru @big_data_analysis | Другие наши каналы

Как мы в Почтатех заместили Qlik Sense на Luxms BI Меня зовут Евгений Дрензелев, я Техлид BI компании Почтатех, которая занимается предоставлением IT-решений для Почты России.  И эта статья —  опыт нашей команды по импортозамещению западного продукта Qlik Sense на российский Luxms BI. В статье расскажу о трудностях, с которыми мы столкнулись в процессе импортозамещения, а также о тех выгодах и положительных изменениях, которые мы получили в результате. Читать: https://habr.com/ru/articles/900618/ #ru @big_data_analysis | Другие наши каналы

Что такое конвейер данных? И почему вы должны это знать Конвейер данных (Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно. Читать: https://habr.com/ru/articles/900640/ #ru @big_data_analysis | Другие наши каналы

Проект Колхоз — светлое будущее своими руками Long story short: мы сделали штуку на фото для удобного подключения любых датчиков (а также устройств управления) к ESP32 DOIT Devkit V1. ESP32 это как Arduino, только лучше. Используя любые датчики и любые интерфейсы мы можем автоматизировать что угодно используя мощные фреймворки в виде ESPHome и Home Assistant. Это если совсем вкратце. Читать: https://habr.com/ru/articles/900314/ #ru @big_data_analysis | Другие наши каналы

КОНФИДЕНЦИАЛЬНОСТЬ МЁРТВА: ЯНДЕКС И ВК ОБУЧАЮТ ИИ НА ВАШИХ ЛИЧНЫХ ДАННЫХ? Если бы у Кевина Митника была Алиса PRO, то ему бы не пришлось рыться в мусорных баках ради доступа к персональным данным. Протестировав Yandex GPT я узнал, что голосовой ассистент от Яндекс не только раздаёт всем мой номер телефона по первому требованию, но и знает список несовершеннолетних в моей семье, несмотря на "закрытый" профиль ВКонтакте где он был опубликован. А также где-то хранит всю эту информацию без моего разрешения, но при допросе - уходит в несознанку... Нырнуть в мусорку от Яндекса... Читать: https://habr.com/ru/articles/900132/ #ru @big_data_analysis | Другие наши каналы

DWH: История поиска альтернативы PostgreSQL и Snowflake. Часть 1 Выбор облачного хранилища данных — задача не из тривиальных, особенно когда речь идёт о миллиардах полуструктурированных записей, геоаналитике и требованиях к отклику в доли секунды. В Agritask мы провели масштабное исследование: протестировали популярные DWH-платформы на реальных кейсах, сравнили производительность, параллелизм и затраты. В первой части делимся подходом к оценке, техническими требованиями и тем, почему PostgreSQL и Snowflake перестали справляться с нашими задачами. Читать: https://habr.com/ru/companies/otus/articles/900080/ #ru @big_data_analysis | Другие наши каналы

Язык Julia: что это и почему он популярен в научных вычислениях Что такое язык Julia. Показываем сравнение языка Джулия с другими. Рассматриваем преимущества и основные нюансы ✔ Tproger Читать: «Язык Julia: что это и почему он популярен в научных вычислениях» #ru @big_data_analysis | Другие наши каналы

Язык Julia: что это и почему он популярен в научных вычислениях Что такое язык Julia. Показываем сравнение языка Джулия с другими. Рассматриваем преимущества и основные нюансы ✔ Tproger Читать: «Язык Julia: что это и почему он популярен в научных вычислениях» #ru @big_data_analysis | Другие наши каналы

Язык Julia: что это и почему он популярен в научных вычислениях Что такое язык Julia. Показываем сравнение языка Джулия с другими. Рассматриваем преимущества и основные нюансы ✔ Tproger Читать: «Язык Julia: что это и почему он популярен в научных вычислениях» #ru @big_data_analysis | Другие наши каналы