LEFT JOIN

Большая подборка материалов, посвященных машинному обучению, анализу данных и применению алгоритмов ML в бизнесе https://habr.com/ru/article/533242/

Как бы ни шеймили Excel, он по прежнему остаётся одним из основных инструментов в работе аналитика. Раньше я работал с ним на протяжении многих лет: у меня богатый опыт в написании макросов, автоматизации отчётности, расчётах всевозможных показателей эффективности. Поэтому сегодня видео для максимально широкой аудитории: дашборд в Excel на примере датасета Superstore. Все фишки, детали, лайфхаки и нюансы в ролике на 40 минут перед самым Новым годом. Подарок начинающему аналитику. 🙂 Видео получилось интересным, потому что раскрывает всю мощь этого инструмента для работы с таблицами. А ещё я совершенно бесплатно делюсь рецептами эффективного построения дашборда, которые сходу не просто загуглить. Посмотрите на полученный результат, на оценки нашей команды в материале блога и ответьте на два небольших вопроса. #гайдпоbi

Для отслеживания самых заметных мероприятий посвященных Big Data, Machine Learning, Data Science, Data Engineering, BI/DWH и другим направлениям, связанным с обработкой данных, рекомендую подписаться на канал "Data online events & Moscow meetups" Предложить свой ивент можно, написав @NikolayKrupiy, @Ajvol 👉🏻 Подписаться на t.me/data_events

Для прохождения сертификации Tableau Desktop Associate я наткнулся на курсы elearning от Tableau. А получив сертификацию, подумал — какие программы обучения предлагают другие BI-инструменты? Так как первым делом мне под руку попались обучающие гайды по PowerBI, в новом материале хочу поделиться собственным опытом сравнения программ обучения Tableau и PowerBI: какие отличия в оформлении и структуре материалов, какой дизайн отчётов получается в гайдах обоих систем и как проверяются полученные знания. Читайте результаты сравнения в новом материале блога.

Пропусти я такую новость - плакал бы потом горькими слезами. Ребятки запилили Jupiter Notebook в Excel'ке. Действительно, зачем выбирать между Python и аналитикой в уютных таблицах (не будем никому рассказывать, что есть еще BI), давайте "замочим" VBA и совместим все в один инструмент (а что, а вдруг). Если серьёзно, это, конечно, на грани добра и зла, но может стать подспорьем для тех, кто только начинает переходить на сторону питона. Можно даже придумать пару боевых кейсов, когда может потребоваться экспорт графиков из ноутбука на лист Excel - для редких визуализаций или прогнозирования, к примеру (если вкусы весьма специфичны). 🔗 Ссылка

Любопытный способ работы в Excel. А я на следующей неделе расскажу, как собирал дашборд в Excel на основе Superset без какого-либо Python и даже почти без макросов 🙂

Периодически рассказываю о новых каналах, которые меня заинтересовывают, сегодня хочу порекомендовать канал @R4marketing. Автор канала — Алексей Селезнёв, руководитель отдела аналитики в Netpeak. Ранее большую часть анализа данных я делал на языке R и буквально пару лет назад перешел на Python, однако R - очень важный язык программирования для анализа данных. И канал Алексея как раз посвящен зыку R. На данный момент там собрано огромное количество русскоязычных материалов по изучения R: - Статьи - Видео уроки - Вебинары и доклады с конференций - Заметки по R - Книги - Новости и релизы из мира R В канале опубликовано более 450 ссылок на русскоязычные материалы по R. Если вам интересна и актуальна тема языка R, обязательно подписывайтесь!

В рекламном кабинете ВКонтакте при публикации объявления есть функция автоматического подбора целевой аудитории, но можно пойти и другим путём –– загрузить файл с идентификаторами конкретных людей, которым нужно показать рекламу. В новом материале рассказываем, как написать парсер участников сообществ конкурентов для VK API и загрузить полученную аудиторию в рекламный кабинет. Мы попробовали запускать объявления обоими способами: бонусом в конце материала сравниваем результаты и отвечаем на вопрос, какой метод подбора аудитории оказался выгоднее.

Наташа Степанова, канал — @visualize_it, начала писать туториалы по библиотеке d3.js. Это отличная инициатива — хороших материалов по d3 на русском очень мало. Туториалы подойдут для тех кто знает основы html, css и js, но не работал с библиотекой и хочет не просто «копировать кусочки кода», а более глубоко разобраться как работает d3. #ссылка

Действительно классный туториал и интересный канал

В новом видео по BI-системам говорим о дашборде, построенном в Google DataStudio: как подключить к дашборду датасорс из гугл-таблиц или из других источников, добавить новые фактоиды и настроить данные и визуализации. Посмотрите на полученный результат, на оценки нашей команды в материале блога и ответьте на два небольших вопроса.

Самое сложно при построении аналитического решения, это не построить решение, а сделать так, чтобы его использовали. Можно наделать много дашбордов, моделей и витрин данных, но никто не будет их использовать. Когда мы, что-то строим, мы думаем - “какая полезная информация, как она будет полезна бизнесу”. Но это лишь у нас в голове. Это называется bias, мы рисуем оптимистичную картинку. Но я не про bias, сейчас, хотя считаю, что знание типо bias и вообще, что это такое, это очень важно. Про это хорошо написано в книге “Думай медленно, решай быстро”. Пост, про необходимость использовании метаданных о данных или по простому - Data /Bi/Analytics portal. То есть это место, куда может зайти бизнес пользователь, и ввести в поисковой строке название показателя или измерения и найти, нужный отчет или таблицу + логику трансформаций. А если в компании (крупной) используются многие решения, то нужно сделать универсальный портал, а это уже как отдельный проект. Самый главный критерий здесь - это избежать ручной работы - Copy Paste. Так как все очень быстро устаревает. В комментариях люди могут поделиться про свои успешные или неуспешные кейсы. А вот от взрослых компаний: Democratizing Data at Airbnb Metacat: Making Big Data Discoverable and Meaningful at Netflix Databook: Turning Big Data into Knowledge with Metadata at Uber Turning Metadata Into Insights with Databook DataHub: Popular metadata architectures explained The journey of metadata at PayPal Nemo: Data discovery at Facebook

И книжка, действительно, очень хорошая, рекомендую.

Конференция Coalesce от dbt: что посмотреть? С 7 по 11 декабря проходила конференция Coalesce, о которой я рассказывал ранее. В этом году все организаторы решили проводить конференции по 5 дней с кучей докладов. С одной стороны это плюс — ощущение, что информации много и можно выбрать, что интересно. С другой стороны такое количество информации несколько изматывает, потому что часто по названию доклада не очень понятно насколько он окажется полезным и интересным. Мне все же кажется, что более трех дней для конференции это много, т.к. интерес аудитории теряется, да и необходимость заниматься своими личными и профессиональными делами не может испариться из-за события, которое хоть и в онлайне, но занимает твое внимание. Однако мне удалось посмотреть большую часть докладов, кое-что пролистывая. Для начала коротко в целом о впечатлениях: очень круто изучать доклады с подобной конференции как Coalesce, потому что речь идет в основном о современных инструментах и облачных решениях. Почти в каждом докладе можно услышать про Redshift / BigQuery / Snowflake, а с точки зрения BI: Mode / Tableau / Looker / Metabase. В центре всего, разумеется, dbt. Мой шорт-лист докладов, которые рекомендую изучить: * dbt 101 — вводный доклад и интро в то, что такое dbt и как его используют * Kimball in the context of the modern data warehouse: what's worth keeping, and what's not — интересный и очень-очень спорный доклад, который вызвал массу вопросов в slack dbt. В кратце, автор предлагает перейти на "широкие" аналитические таблицы и отказаться от нормальных форм всюду. * Building a robust data pipeline with dbt, Airflow, and Great Expectations — в докладе про небезынтересный инструмент greatexpectations, суть которого в валидации данных * Orchestrating dbt with Dagster — мне было несколько скучновато слушать, но если хочется познакомиться с Dagster - самое то * Supercharging your data team — ребята сделали обертку к dbt, назвали dbt executor 9000 и рассказывают о нем * Presenting: SQLFluff — про очень классную штуку SQLFluff, которая автоматически редактирует SQL-код согласно канонам * Quickstart your analytics with Fivetran dbt packages— из доклада можно узнать, что такое Fivetran и как его используют совместно с dbt * Perfect complements: Using dbt with Looker for effective data governance — про взаимодействие dbt и looker, про различия и схожие части инструментов @leftjoin

Бытует мнение, что аналитик в наше время может обойтись без уверенной математической базы (об этом гласят многие программы подготовки аналитиков). С моей же точки зрения тяжело рассуждать о вероятности оттока, не понимая теории вероятностей, сложно говорить о медиане и нормальности распределения, не зная математическую статистику, и точно не рассчитать градиент функции, не понимая математического анализа: список можно продолжать долго. Но есть спасение — море бесплатных курсов от ведущих американских вузов! Собрал подборку по всему курсу математики и приложил дополнительный курс по R для анализа данных. Внутри курсы от Harvard, MIT и Georgia Tech. Даже если вы, как и я, уже изучили всё это 15 лет назад — повторение пройденного материала крайне полезно. https://leftjoin.ru/all/free-education-for-analysts/