Data Analysis / Big Data

Почему стоит начать писать собственные Spark Native Functions? Это мой вольный перевод статьи "Why You Should Start Writing Spark Custom Native Functions", которая вдохновила меня на некоторые собстенные изыскания по данной теме. Их результат я планирую опубликовать позже, а пока выношу на ваш суд этот перевод. Статья на примере реализации функции по генератации UUID рассматривает, как писать Spark native функции, которые были бы "прозрачны" для Catalyst (в отличии от UDF, которые являются "черными ящиками" для него). Сравнение производительности ожидаемо показывает, что Catalyst Expressions значительно превосходят UDF при увеличении размера данных. Кому интересно узнать, как писать Spark native функции - прошу под кат. Читать: https://habr.com/ru/articles/809293/ @big_data_analysis

Towards optimal experimentation in online systems Read: https://www.unofficialgoogledatascience.com/2024/04/towards-optimal-experimentation-in.html @big_data_analysis

How to test PySpark code with pytest Read: https://www.startdataengineering.com/post/test-pyspark/ @big_data_analysis

YADRO в поиске инженеров С++ Команды занимаются созданием телекоммуникационного оборудования для беспроводных мобильных сетей и сопутствующих услуг, разработкой флагманского продукта, современного хранилища TATLIN.UNIFIED и внедрением интеллектуальных функций в решения компании.     Ребята ждут талантливых middle, senior и tech lead – специалистов из разных сфер с уверенным опытом в разработке, знанием классических алгоритмов и структур данных, а также умением тестировать собственный код. Амбициозные проекты, возможность влиять на продукт, обучение и профессиональный рост – неотъемлемая часть работы в YADRO. Локацию можно выбирать: есть удалёнка, а также офисы в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде, Минске.      Подробно про задачи и условия по каждой вакансии:      — Software Engineer C/C++ (telecom), — Data Scientist, — Senior C++ developer/Старший инженер-программист С++ (TATLIN.UNIFIED). Отправляйте резюме! #партнёрский пост

Векторные базы данных: простым языком про устройство и принцип работы Только изучили один инструмент, как сразу же появились новые? Придется разбираться! В статье мы рассмотрим новый тип баз данных, который отлично подходит для ML задач. Пройдем путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутреннему устройству. Поймем, а где вообще использовать этот инструмент и посмотрим на векторные базы данных в деле. Читать: https://habr.com/ru/companies/tochka/articles/809493/ @big_data_analysis

«‎Я знаю о тебе все и даже больше»: как создать единый профиль клиента с помощью IDGraph Как часто вы совершаете спонтанные покупки или, увидев неожиданное приятное предложение от банка, соглашаетесь на кредитную карту (а ведь еще недавно погасили задолженность и зарекались не брать новую)? Финансовая организация точно рассчитала время, когда предложить вам кредитку. Кажется, это всего лишь совпадение: оффер от банка совпал с поломкой вашего автомобиля и покупкой дорогостоящих деталей. Но поспешим вас огорчить, а если вы маркетолог, то, наоборот, порадовать. Перед нами лишь результат глубокого анализа данных. Как это работает на практике, в новой статье CleverData под катом. Читать: https://habr.com/ru/companies/lanit/articles/807765/ @big_data_analysis

Docker Fundamentals for Data Engineers Read: https://www.startdataengineering.com/post/docker-for-de/ @big_data_analysis

Как подойти к внедрению DWH, чтобы не было «больно»? Какие методологии использовать и какой стек выбрать? В статье рассказываем о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта, выбрать стек, методологию и сэкономить ИТ-бюджеты. Читать: https://habr.com/ru/articles/809551/ @big_data_analysis

Почему решения принимаются не на основе дашбордов? Чем похожи дашборд и рекламный баннер? У нас упала конверсия из просмотров в клики! У нас не продаются товары! Два йогурта по цене одного! Оба привлекают внимание, содержат и картинки, и текст и реже, чем хотелось бы, приводят к действию. Читать: https://habr.com/ru/articles/809449/ @big_data_analysis

Языковой процессор LPU, GenAI в FinOps и инструменты для анализа данных Привет, Хабр! Возвращаюсь с новым выпуском полезных материалов, который поможет разобраться в ML, AI и дата-аналитике. Сегодня в программе — состояние MLOps в 2024 году, возможности дата-контрактов, оценка качества данных DQ Score и Python-библиотека для работы с SQL. Подробнее — под катом. Еще больше полезных материалов — в Telegram-сообществе «MLечный путь». Читать: https://habr.com/ru/companies/selectel/articles/809417/ @big_data_analysis

Гайд на собеседования Привет, Хабр! Я Денис, ведущий продуктовый аналитик из МТС, ex-Tinkoff. Я относительно недавно попал в МТС, но много чего уже получилось сделать! Сегодня у меня было первое собеседование, которое я проводил вместе со своим коллегой Алексеем. И после собеседования у меня возникла потрясающая мысль: почему бы не рассказать, как облегчить свою жизнь на собеседованиях и на что мы, как интервьюеры, обращаем внимание? Я не отниму у Вас много времени, а постараюсь максимально кратко и четко рассказать про основные фишки, которые помогут Вам на собеседованиях. Давайте начинать! Читать: https://habr.com/ru/articles/809385/ @big_data_analysis

Как настроить Source коннекторы Kafka Connect для оптимизации пропускной способности Привет, Хабр! Доводилось ли вам тратить долгие бесплодные часы в попытке настроить коннекторы Kafka Connect, чтобы добиться адекватного потока данных? Мне, к сожалению, доводилось. Представляю вашему вниманию перевод статьи "How to Tune Kafka Connect Source Connectors to Optimize Throughput" автора Catalin Pop. Это прекрасное руководство от Confluent, где подробно и с примером описывается, как настроить Source коннекторы. Читать: https://habr.com/ru/articles/809191/ @big_data_analysis

ГАЙД по python стеку для Data Science инженеров ГАЙД по python стеку для Data Science инженеров. NumPy, Pandas, SciPy, Matplotlib. В данной статье рассмотрим python стек для работы в Data Science Читать: https://habr.com/ru/articles/809181/ @big_data_analysis

Разработка программного средства по обработке данных фонокардиограммы Медицинские исследования играют важную роль в понимании различных заболеваний и разработке эффективных методов лечения. Одним из инструментов, используемых в кардиологии, является фонокардиограмма (ФКГ). Фонокардиограмма - это метод диагностики сердечно-сосудистой системы, который основывается на записи звуков, производимых сердцем. Она может быть полезной в определении различных заболеваний сердца, таких как стеноз клапана, митральный стеноз, митральную недостаточность, перикардит и другие. ФКГ может использоваться для оценки эффективности лечения сердечных заболеваний и для наблюдения за состоянием сердца в течение времени. Если у вас есть симптомы, такие как боль в груди, одышка, учащенный пульс, упадок сил, обратитесь к кардиологу, который посоветует, нужна ли вам ФКГ [1]. Объектом исследования выпускной квалификационной работы является список файлов формата .csv, содержащих разделенные знаком ";" смещенные целочисленные значения амплитуды шумов сердца, записанные в течение нескольких секунд, частота дискретизации – 1000 гц (числа в записи обозначают амплитуду сигнала, временной промежуток между соседними значениями - 1 миллисекунда). Цель работы состоит в создании алгоритма автоматической интерпретации снятых данных, который пытается по форме кривых делать выводы, аналогичные тем, которые по этим же кривым умеет делать эксперт и создание собственного алгоритма. Необходимо определить и выделить точку максимальной амплитуды, начало и окончание тона 1 для каждого из сердечных циклов. Ответ необходимо вывести в виде списка списков [t1, t2, t3], где t1 – начало тона 1, t2 – точка максимальной амплитуды, t3 – окончание тона 1. Также, для проверки результата, необходимо визуализировать полученный результат на графике. Данную процедуру необходимо произвести для каждого файла. Читать: https://habr.com/ru/articles/809095/ @big_data_analysis

Embedding Analytics for the Win Fans love their teams and get a thrill from feeling close to the action. Sports data helps them engage with their favorite players and teams, getting them closer to the action – even when they’re not at the game. As fans become more engaged with sports data, they feel more connected to the success of the players and teams they support. Read: https://blogs.oracle.com/analytics/post/embedding-analytics-for-the-win @big_data_analysis

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению. В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по специализированному машинному обучению. Читать: https://habr.com/ru/companies/megafon/articles/808585/ @big_data_analysis

Искусство ETL. Пишем собственный движок SQL на Spark [часть 6] В предыдущих сериях (FAQ • 1 • 2 • 3 • 4 • 5 ) мы весьма подробно рассмотрели, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL поверх Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных. В данной части поговорим о том, как добавить в выражения SQL поддержку функций. Например, SELECT MAX(score1, score2, score3, score4, score5) AS max_score, MIN(score1, score2, score3, score4, score5) AS min_score, MEDIAN(score1, score2, score3, score4, score5) AS median_score, score1 + score2 + score3 + score4 + score5 AS score_sum FROM raw_scores INTO final_scores WHERE ABS(score1 + score2 + score3 + score4 + score5) > $score_margin; — тут у нас функции MAX, MIN и MEDIAN принимают любое количество аргументов типа Double и возвращают Double, а ABS только один такой аргумент. Вообще, кроме общей математики, в любом уважающем себя диалекте SQL как минимум должны быть функции для манипуляций с датой/временем, работы со строками и массивами. Их мы тоже обязательно добавим. В classpath, чтобы движок мог их оттуда подгружать. До кучи, ещё и операторы типа >= или LIKE, которые у нас уже были реализованы, но хардкодом, сделаем такими же подключаемыми. Предупреждение о сложности материала Уровень сложности данной серии статей в целом высокий. Базовые понятия в тексте совсем не объясняются, да и продвинутые далеко не все. Однако, эта часть несколько проще для ознакомления, чем предыдущие. Но всё равно, понимать её будет легче, если вы уже пробежались по остальным хотя бы по диагонали. Читать: https://habr.com/ru/articles/808483/ @big_data_analysis

Что должно быть в идеальной клавиатуре?  Может быть, подсветка горячих клавиш? Или звуковые эффекты в случае компиляции проекта с первого раза? Опишите её в комментариях. А пока вы думаете, Яндекс уже создал свой вариант клавиатуры для айтишников. Каждая её клавиша знакомит с докладами главной конференции Яндекса для IT-сообщества, которая прошла в декабре 2023 года.  Переходите по ссылке, нажимайте на клавиши и узнавайте самое важное из выступлений спикеров на YaTalks 2023. Реклама

Восхитительная теория [якорных] баз данных от Ларса Рённбека Обнаружил серию статей по принципам организации информации и базам данных от математика из Стокгольмского университета и с энтузиазмом перевожу. Моя уверенность в том, что реляционки с 3-й формой нормализации - лучшее, что придумало человечество, резко убавилась... Я бы назвал это "субъективной теорией информации", автор называет "Transitional modeling", но обычно это применяется под названием "якорная модель данных"... Читать: https://habr.com/ru/articles/808191/ @big_data_analysis