LEFT JOIN

⚡️ Snowflake купил Streamlit. Почему это важно? 🌎 Несмотря на то, что в мире сейчас много политических изменений и экономических последствий этих изменений, мировой рынок технологий отнюдь не замирает. Некоторые сделки продолжаются в области анализа данных. 🥱 Как это обычно происходит? Рядовые пользователи зачастую не замечают ровным счетом никаких изменений после покупки одного бизнеса другим. Шрифты слегка меняются на общие корпоративные, появляются инфраструктурные интеграции обоих сервисов и… по большей части, это все. Однако, кажется, что у этой сделки бОльшие последствия. Бен Стенсил в своей еженедельной рассылке рассказал о большой сделке и объяснил ее важность. 🎰 Кто кого купил? Коротко пройдемся по основным моментам для большего понимания ситуации: Snowflake – очень популярная в Америке СУБД, Streamlit – open-source инструмент на базе Python для создания приложений и визуализации данных. На первый взгляд, ничего впечатляющего и цена покупки компании вполне средняя для этого рынка. 💸 В чем же кроется суть сделки? Покупка Streamlit – это серьезное стратегически взвешенное решение. Компания помогает создавать приложения для обработки данных с помощью пары строк кода. Такие приложения не являются классическими инструментами бизнес-аналитики, но они весьма популярны среди аналитиков. Давайте сравним эту сделку с другой громкой новостью: Google уволил весь персонал службы поддержки Looker в США. Зачем же это было сделано? BigQuery является центром притяжения стека данных Google. В то время как Looker получает стабильный доход, баланс Google отражает только те операции, которые приносят огромные доходы. Для Google Looker слишком велик, чтобы потерпеть неудачу, но слишком дорог для масштабирования. 📉 Зачем тогда Snowflake, самому прямому конкуренту BigQuery, вкладывать большие средства в Streamlit, в то время как Google поступает иначе? Ответ прост: потому что это не то, чем они обычно занимаются. Streamlit никогда не ступит в магический квадрант приложений Gartner и, скорее всего, даже не попытается вывести на рынок классический продукт. Вместо этого он станет чем-то более фундаментальным: платформой на которой создаются и продаются все остальные коммерческие приложения для работы с данными. Возможно, Streamlit даже станет катализатором серьезного сдвига в ландшафте данных, когда они разработают магазин приложений Snowflake. Таким образом, они смогут создать новую полноценную инфраструктуру, в которой все способствует удобной разработке приложений для работы с данными, а также существует маркетплейс для их размещения и распространения.

В трудные времена нужно помогать друг другу 🤝☺️ Сейчас мы живем в реальности, где ежедневно сервисы анонсируют новые ограничения или повышают цены. В связи с этим, небольшой update для пользователей MProve: сервис Mprove Cloud будет бесплатным как минимум до 2023 года. На странице расценок сервисов показаны отличия между версиями Open Source, Cloud и Enterprise. Как видите, пока что мы оставляем открытым и бесплатным почти весь функционал Mprove. Небольшой список обновлений функционала: 1. ⚡️FINALLY! Появилась поддержка Clickhouse ⚡️ 2. Появились дашборды Дашборды и визуализации можно полностью создавать и редактировать через UI. Эти изменения автоматически отражаются в соответствующих файлах. Благодаря файлам можно легко обновлять SQL модели данных и поддерживать все в актуальном состоянии. 3. Создание фильтров и привязка фильтра к конкретному отчету дашборда при помощи кнопки “Edit Listeners” 4. Проработано разграничение по ролям Обновлен механизм контроля доступа к моделям, визуализациям и дашбордам (все подробности – в документации). 5. Теперь в демо-проекте показаны примеры моделей для BigQuery PostgreSQL и ClickHouse на основе одного датасета. Мелкие улучшения: 🪄Добавлены подсказки 🪄 Улучшено отображение фильтров 🪄 Улучшено отображение меню 🪄 Улучшено отображение ошибок при валидации файлов 🪄 Обновлена документация Регистрируйтесь, пробуйте, изучайте!

Состояние веб-парсинга в 2022 К 2022 году парсинг веб-сайтов стал чуть ли необходимостью, как для обычного человека (с небольшим знанием программирования), так и для бизнеса. Найти и просмотреть вручную все сайты с нужной информацией - крайне затратный по времени процесс и все, кто хочет его оптимизировать так или иначе нуждаются в методах парсинга. Сейчас мы вам расскажем все, что нужно знать о парсинге веб-данных и современных тенденциях. Если навыки программирования и желание есть: ▫️Language Agnostic Tools (Playwright, Selenium) ▫️Python и его библиотеки (Scrapy, Beautiful Soup, MechanicalSoup, Pyppeteer) ▫️JS (Cheerio, Puppeteer, Apify SDK) ▫️Java (Jaunt, jsoup) ▫️Ruby (Kimurai, Mechanize and Nokogiri Gems) ▫️PHP (Goutte) Если вы не умеете программировать или вам не хочется тратить на это время: ▫️Scraper API (для тех, кому нужно самое простое и бюджетное решение задачи) ▫️Apify (для тех, кому хочется найти лучшее соотношение цены и качества) ▫️Parsehub (для тех, кто готов потратиться, но совершенно не хочет использовать код) ▫️Diffbot (для тех, кто ищет самый дорогой сервис с полным доступом к найденным данным) ▫️Octoparse (похож на Parsehub, тоже минимально используется код) ▫️ScrapingBee (для тех, кто хочет пользоваться поддержкой от разработчиков) Не забывайте, что за окном 2022 (как тут забыть, конечно), а это значит, что все действия по парсингу веб сайтов должны соответствовать законам и этическим нормам: ❕Парсить сайты лучше в непопулярное для посещения время, чтобы не перегружать сайт, который вы изучаете ❕Используйте только одно IP-соединение ❕Соблюдайте правила сайта/социальной сети, которую вы парсите ❕На некоторых веб-сайтах есть файл robots.txt, в котором перечислены правила и ограничения, которым должны следовать парсеры при автоматическом парсинге и взаимодействии с веб-сайтами. ❕Не нарушайте правила GDPR или CCPA Какие тренды в веб-парсинге в 2022 году? 🌎Такие платформы как LinkedIn, Facebook и Instagram стараются сделать все возможное, чтобы их сайты парсить стало труднее. Скорее всего в 2022 их политика будет ужесточаться и будут вводиться самые изощренные анти-бот системы. 🌎К счастью, данные, которые находятся в открытом доступе, запретить парсить практически невозможно. Единственное, что может быть не вполне легитимно - парсинг сайта при входе в систему. Будьте осторожны, если занимаетесь этим! Конечно, в 2022 году веб-скрапинг столкнется с некоторыми усложнениями и юридическими проблемами, однако в течение последних нескольких лет он сталкивался с этими проблемами ежегодно и благодаря этому стал сильнее. Пока что методы парсинга веб-сайтов стабильно на пару шагов опережают способы борьбы с ними. So far so good!

BI-аналитика в условиях ограничений Сейчас в России люди многих профессий вынуждены отказываться от удобных рабочих решений ввиду новых ограничений, которые появляются ежедневно. Как известно, ограничения эти вводятся почти молниеносно, а когда они будут отменены – не известно. Но мы не собираемся еще сильнее вводить вас в панику или тревогу. Наоборот, мы считаем важным помогать вам своими знаниями и опытом настолько, насколько это возможно. Например, многие сейчас ищут качественную замену таким сервисам как Tableau и Power BI. В нашем гайде вы можете посмотреть на часть BI-инструментов (платные и бесплатные) и реализованные в них дашборды, отдельное внимание стоит уделить open-source инструментам. У нас также готов дашборд по Superset, но пока не успели записать видео. Stay tuned! ⚡️

Хочу выходить из затишья и постепенно публиковать контент, относящийся к делу. Я знаю, что сейчас многие талантливые как начинающие, так и более опытные ребята начинают искать работу. Мы продолжаем делать свои проекты в рамках Valiotti Analytics по всем направлениям. Ищем и джунов и миддлов с крепким знанием SQL / Python. Поэтому если вам интересно, откликайтесь на вакансию, а если вы миддл присылайте свое резюме мне в ЛС, а в ответ получите тестовое задание.

Друзья, первые дни я находился в абсолютно шоковом состоянии от происходящего. Я не понимаю как в здравом уме можно так вредить собственной и соседней странам, вероломно нарушать все конвенции, прописанные в ООН, да и моральные устои в принципе. Кажется, не так много времени прошло с предыдущей трагедии? Я персонально и все проекты, которыми я руковожу, категорически против войны. Предполагаю, что эта заметка в телеграмме вряд ли как-то изменит ситуацию и вернет жертвы. Однако молчать и не высказаться тоже не могу. Половина родственников нашей семьи в Украине, эмоции захлестывают, мы хотим скорейшего прекращения огня. Публикации в канале пока будут остановлены до изменения ситуации. Желаю всем мира.

Автор опубликовал cheatsheet для Google big query и Google Analytics.

Выглядит полезно 🙂

Если визуализация – это инструмент анализа, который обеспечивает наиболее эффективную работу по изучению данных, то инфографика – это уже готовые выводы, оформленные и структурированные показатели и закономерности. Собрали небольшую подборку хороших работ с канала Инфографика и факты: - Индекс айфона 2021 - Чем богаты депутаты ГосДумы 2021 - Почему растут цены на бензин - Почему вакцинацию стали искать чаще футбола и порно

Нужен ли нам Airflow или куча отдельных инструментов? Несколько дней назад в сети появился пост, который активно обсуждают до сих пор. Давайте разберемся, в чем дело и из-за чего сыр-бор. ⚡️ Итак, автор поста обращает внимание на эволюцию любых больших платформ: старт, развитие и неизбежную фрагментацию на более удобные и узкоспециализированные инструменты. Автор приводит пример, что много лет назад такое случилось с платформой Craigslist, а теперь, вероятно, это случится (или уже случилось) с Airflow. Airflow сейчас позволяет выполнять множество задач, связанных с данными; от операций по выгрузке и загрузке данных до создания отчетов, обработки с помощью Python и SQL-скриптов и синхронизации данных с BI-инструментами. Однако, уже существуют отличные самостоятельные инструменты, которые выполняют все эти задачи гораздо лучше, чем Airflow. Например, Fivetran и Airbyte можно использовать для загрузки и выгрузки данных, dbt — для преобразования данных, Census и Hightouch — для обратного ETL, Transform, Metriql, Supergrain — для метрик, Eppo — для экспериментов, MLOps — для машинного обучения. Все эти инструменты “отбирают” часть задач у Airflow и значительно трансформируют современный стек, который раньше часто строился внутри одного инструмента (платформы). ⚡️ Некоторые компании пытаются создать улучшенную версию Airflow, упрощая развертывание задач, делая их более масштабируемыми и т.д. Самой важной и обсуждаемой частью этого рассуждения стало то, что автор сомневается, что вообще есть необходимость в улучшении Airflow. Как он сам говорит: “Это похоже на попытку оптимизировать написание кода, который вообще не должен был быть написан“. Тристан из dbt комментирует: ⚡️ Кейсы Craigslist и Airflow серьезно отличаются, как минимум потому, что пользователь первой платформы мог нуждаться лишь в одной из функций, а вот специалисты в сфере работы с данными нуждаются во всех инструментах платформы, поскольку они тесно взаимосвязаны. ⚡️ Затем, он предлагает свое видение развития Airflow: поскольку одному специалисту или даже команде не бывают нужны сразу все инструменты, удобнее было бы иметь 3 платформы с инструментами для задач инженеров данных, аналитиков и ML-разработчиков. Тристан, как и прежде форсирует свою тему аналитических инженеров и отделяет их от всех остальных, что, конечно, dbt-юзерам очень нравится. ❓А вы что думаете про Airflow? Используете ли, пробовали ли Airflow как сервис в managed-исполнении?

Любопытный пост на Observable и симпатичный график-гантелька о том, какие слова лучше знают мужчины, чем женщины (и наоборот). Признаться, большинства слов из списка не знаю, ну разве что кроме checksum, разумеется. 🙃 Такой же чарт есть про сравнение знания слов в UK и US.

Влюблены в аналитику? VK подготовил для вас что-то крутое :) 26 и 27 февраля компания проведёт Weekend Offer по двум направлениям: экосистемной и продуктовой аналитике. А теперь коротко, но подробно, чем занимаются ребята в Data Office: • Экосистемная аналитика. Вы можете погрузиться в мир growth hacking, исследований и формирований гипотез для роста, разбор в кросс-девайсном и кросс-продуктовом матчинге при работе с сервисами VK. • Продуктовая аналитика. Это про формулирование гипотез, проведение исследований и A/Б-экспериментов, настройку аналитических мониторингов и отчётов. Ну и, конечно, вместе с командой вы будете запускать фичи внешних и внутренних сервисов экосистемы. Звучит круто! Аналитики, интересно? Тогда, не пропустите — у вас появилась возможность поменять работу всего за два дня. Успейте отправить заявку на участие до 25 февраля. Удачи! #реклама

В коммьюнити часто обсуждается тема как интересно переквалифироваться и стать аналитиком / дата саентистом, но, например, есть и другая сторона медали. Недавно мне попался интересный пост на реддите, где чел рассуждает о том, что карьера дата саентиста крайне сложна и требует постоянного развития и улучшения навыков, просто чтобы оставаться "в игре". Автор пишет, что такая работа для него постоянный стресс и противопоставляет карьеру дата саентиста с водителем поезда / электрика, которые всего лишь каждый день выполняют свою работу. А дата саентист как будто всегда остается джуниором, если не улучшает свои навыки, потому что они регулярно устаревают. Что думаете? Согласны ли с этим утверждением?

Старенький, но прикольный тематический пост о том, как сделать диаграмму в виде сердца в Tableau. Актуально, чтобы порадовать свою вторую половину симпатичным датавизом ❤️ 🙂

Ремарка об исследовании онлайн-школ по аналитике данных Дискуссия по поводу исследования онлайн-школ оказалась оживленной — это объяснимо: мы громко заявили о себе, и с нас соответствующим образом спросили в комментариях. Ключевое: — я не делал это исследование по чьему-то заказу — нет органа, который меня контролирует в этом опросе и говорит мне как правильно, а как нет — я не планирую публиковать исследование в научном журнале и считать статистическую значимость различий в процентах на малой выборке. Если вам это интересно — возьмите данные и ответьте на свои вопросы с учетом статистической значимости, вся информация доступна. Если вы не верите в результаты или не видите ценности в этой работе — окей, это ваше право. Я хотел и получил реальный срез рынка от студентов основных школ индустрии, поделился результатами с коммьюнити. Почему я верю в результаты? Я абсолютно убежден в адекватности результатов, поскольку мы (я и моя команда) выборочно лично общались с респондентами, вручную проверяли и отсеивали ряд анкет на этапе подготовки данных перед созданием дашборда. Тем не менее, никаких гарантий. Может быть как на выборах: вбросы, карусельщики. Достоверных способов это определить у нас нет. В софтверной разработке это называется as-is. Ответственность за использование результатов на вашей стороне. Для меня все выводы имеют большую ценность, и я еще раз убедился в ряде своих гипотез относительно школ и их выпускников. Зачем я делал исследование? Я нанимаю людей к себе в компанию и вижу проблемы с компетенциями ряда школ, скоро расскажу об этом голосом в подкасте. Я хотел узнать, что думают сами студенты о качестве образования. Мне полезно понять как оценивают студенты эффективность трудоустройства, добились ли они своих целей, чем различаются школы в оценках между собой, насколько в них сложно учиться. На все вопросы я получил исчерпывающие ответы и интересные истории учащихся, о которых скоро расскажем в подкасте. P.S. Спасибо энтузиастам и профессионалам за ценные замечания: аргументированные комментарии по делу принимаются с благодарностью! P.P.S. Каждый раз удивляет токсичность рунета, в этом полностью согласен с Димой Аношиным. Все так и есть: делаешь что-то полезное, полностью за свой счет, получаешь в комментариях хейт, переход на личности, хейт пораждает следующий хейт в виде частных мнений людей, тотально не вникающих в материал (на военной кафедре у нас это называлось ОБС — «одна бабка сказала»).

💣💥⚡️Мы узнали абсолютно все про рынок онлайн-образования в России (и спешим вам рассказать) 🚀 Как вы помните (а если не помните, то кликайте сюда), несколько месяцев назад мы проводили большой опрос по российскому рынку онлайн-образования. Сегодня мы наконец-то можем поделиться с вами результатами, выводами и инсайтами, которые, на наш скромный взгляд, получились весьма крутыми! Но, обо всем по порядку. В нашем телеграм-канале мы собрали данные с помощью подробного анкетирования. После этого, не без помощи Романа Бунина, наша коллега Олеся структурировала информацию в дашборде Табло. В итоге, для тех, кто хочет быстро посмотреть на результаты на одной странице есть дашборд, а для тех, кому интересно увидеть все подробности, то ниже мы прикрепляем pdf-файл – презентацию результатов исследования, которой призываем делиться. Короткий How-To к дашборду для самостоятельного изучения: Дашборд разделен на две части: слева – панель фильтров, справа – результаты опроса. Панель фильтров содержит информацию об участниках опроса и курсах. Каждая группа участников опроса из панели слева фильтрует данные и графики обновляются. Если вы хотите отменить фильтрацию – щелкните еще раз на ту же строку или обновите страницу для сброса всех фильтров. На каждом графике (кроме графика с оценками) есть всплывающие подсказки, в которых указано количество участников, в выбранной категории. Теперь мы с гордостью можем рассказать обо всем, что обнаружили: ◼️ Всего в опросе приняло участие 457 человек. Из них – 90% проходят/проходили онлайн курсы, 7% планируют пройти, 3% не проходили и не планируют. Весьма впечатляет! Но, на самом деле, тут нет ничего неожиданного, мы лишь подтвердили свою гипотезу о широкой распространенности онлайн-курсов. ◼️ Самые популярные направления образования среди участников – Аналитика данных (66%) и Data Science (19%). Самые популярные платформы – Яндекс.Практикум (30%) и KARPOV.COURSES (14%). ◼️ В качестве целей прохождения курсов чаще всего указывали «Получение новой работы» (49,5%) и «Получение новых знаний/навыков» (25%). Что касается достижения поставленных целей, то наши результаты абсолютно совпали с цифрой, которую получили Яндекс и ВШЭ в своем исследовании (учитывая совершенно разные выборки респондентов, это – удивительно!). У них 78% достигли целей после прохождения Практикума и у нас тоже 78%. Мы сильно удивлены и рады, что данные совершеннно репрезентативно описывают опыт прохождения онлайн-курсов в России. ◼️ Все участники, которые не планируют проходить онлайн курсы считают важным для профессионального развития опыт и практику в реальном бизнесе. Такое мнение тоже имеет право на существование, ведь эти два направления – теоретические знания и практический опыт – два столпа, на котором основывается человеческий капитал. ◼️ Подавляющее большинство участников относятся положительно к онлайн-образованию (даже среди тех, кто не планирует проходить онлайн курсы). В данных еще можно найти множество более узких выводов. Однако, становится понятно, что стереотип о том, что онлайн-образование сильно уступает высшему образованию и “не котируется” в современном обществе постепенно отмирает. И это круто, потому что мир развивается, а онлайн курсы имеют ряд неоспоримых преимуществ, которые давно стоит перестать недооценивать! Небольшой спойлер: совсем скоро вы также сможете послушать первый эпизод нашего свежего, но все еще секретного подкаста (пока не можем раскрыть всех деталей), в котором мы поговорим об онлайн-образовании с несколькими участниками опроса, а также с ведущими экспертами рынка!