LEFT JOIN

Рома @revealthedata (еще три года назад) сделал замечательную для всех аналитиков – шаблон для сбора требований для дашборда. А сейчас выкатил его улучшенную версию. С его помощью и правда можно выполнить работу проще и точнее, а результат с куда большей вероятностью понравится заказчику!

Приоткрывайм завесу тайны: о чём мы пишем в канале FULL JOIN? Мы решили поделиться с вами частью контента, который мы публикуем в приватном канале. На прошлой неделе мы публиковали статью, в которой разбирались в сути ранжирующих функций в SQL. Давайте разберемся в каждой из ранжирующих функций 📍 ROW_NUMBER — функция, которая возвращает номер строки внутри окна. С помощью данной функции можно задать нумерацию, которая будет отличаться от порядка сортировки строк результирующего набора, создать несквозную нумерацию, т.е. выделить группы из общего множества строк и сделать отдельную нумерацию для каждой группы, а также использовать несколько способов нумерации одновременно. Помимо ROW_NUMBER, есть и другие ранжирующие функции: 📍 RANK — функция, которая возвращает ранг каждой строки. Погодите, а что такое ранг? Cтроки, которые имеют одинаковые значения в столбцах, по которым выполняется упорядочивание, получают одинаковые номера - ранги. Нумерация рангов начинается с единицы. В случае использования RANK следующим номером после строк с одинаковым рангом будет номер строки (ROW_NUMBER). 📍 DENSE_RANK — функция, которая также возвращает ранг каждой строки. В отличие от RANK, при использовании этой функции следующим номером после строк с одинаковым рангом будет ранг на единицу выше. Таким образом, номера не пропускаются, и потому такой ранг называется “плотным“. 📍 NTILE — функция, которая распределяет строки окна на заданное в качестве параметра количество групп. Нумерация групп начинается с единицы. Если общее количество строк не делится нацело на заданный параметр, то группы формируются двух размеров с разницей в единицу. Причем группы большего размера идут перед меньшими группами. Например, если общее число строк равно 10, а число групп равно 4, то первые две группы будут состоять из 3 строк, а последние две — из 2. 📍 PERCENT_RANK — функция, которая возвращает относительный ранг строки в окне. Она вычисляет долю строк, ранг которых меньше, чем у текущей. Для подсчета используется формула (rank - 1) /([количество строк в окне] - 1). Возвращаемое значение лежит в отрезке [0, 1]. Если в окне только одна строка, то функция вернет 0. 📍 CUME_DIST — функция, которая возвращает кумулятивное распределение величины в пределах набора значений. Она вычисляет долю строк, ранг которых не больше, чем у текущей. Для подсчета используется формула N/[количество строк в окне], где N - количество строк, ранг которых меньше либо равен рангу текущей строки, включая ее саму. Возвращаемое значение лежит в полуинтервале (0, 1]. Круто, а как их использовать? По-разному. Например, с их помощью можно решить задачу ранжирования пользователей относительно их возраста или даты регистрации. Если хотите изучить больше пояснений по разным функциям и их использованию, разобрать примеры запросов к конкретным данным, а также получить доступ в нашу Redash песочницу, чтобы запустить запросы со всеми этими функциями и разобрать их «по запчастям», то вы всегда можете оформить подписку на FULL JOIN.

Ладно, больше никакого футбола 🤡 #пятничное #мем

Omni или BI инструмент, который работает быстрее вас ⌚️ Недавно я наткнулся на Omni, продукт от разработчиков Looker и Stitch, который увидел свет в этом году. Что в нем особенного? ▫️Основное преимущество этого инструмента в том, что модель выстраивается по мере того, как вы пишете запросы. ▫️Она автоматически парсит все SQL-запросы, позволяя вам в это время сосредоточиться на анализе данных. ▫️ В интерфейс Omni разработчики вшили редактор Vega, который позволяет вам создавать разнообразные визуализации с любым объемом данных. ▫️ Еще одна удобная особенность функционала Omni — это то, что рабочие пространства можно переслать своему коллеге, клиенту или начальнику просто по ссылке. ▫️ Полный список характеристик Omni доступен на сайте разработчиков.

На связи Data Heroes и в эфире э-э-эксперименты! ⚡️ (Если вам кажется, что эту фразу вы где-то слышали – вам точно кажется!) В сегодняшнем выпуске речь пойдет об интересном и важном этапе в аналитике – А/Б-тестировании. О методе исследования, при котором сравниваются результаты разных вариантов эксперимента. Наши спикеры поделятся своими лайфхаками и ответят на самые важные вопросы: ▪️Почему А/Б-тесты так важны для бизнеса? ▪️Какие есть неочевидные ошибки и как их не допускать? ▪️Как правильно интерпретировать результаты А/Б-теста? ▪️Есть ли какой-то ТОП инструментов для проведения А/Б-тестов? Включайте подкаст и прокачивайте свои скиллы вместе с нами! 🚀 БОНУС: Конечно же, наши спикеры обязательно дадут советы для новичков в А/Б-тестировании. Будет очень полезно! СПИКЕРЫ: Виталий Черемисинов, Анатолий Карпов, Ксения Шипулина Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓) #подкаст #DataHeroes

🎨 Как AI генерирует картинки: версия для кто так и не разобрался 😏 The Washington Post опубликовали статью с подробным разбором того, как работает Stable Diffusion 2.0. Взяв интервью у разработчиков и разбив этап генерации изображения на отдельные шаги, журналисты создали доступный и наглядный гид для знакомства с моделью. «‎Опять графики и скриншоты!» — воскликните вы. Нет, в этот раз все гораздо интереснее! На странице статьи вам будет предложено четыре условия для AI, на основе которых сеть сформирует изображение. Далее, вы пройдете весь путь модели от того, какими картинками ее кормили в младенчестве и как, будучи зрелой и натренированной, она научилась генерировать то, что вы получили в качестве результата после выбора четырех условий. Один из самых интересных этапов — это работа модели с цифровым шумом. Оказывается, чтобы научить Stable Diffusion 2.0 генерировать изображения, разработчики сначала научили ее видеть «спрятанные» объекты в картинках с разным уровнем шума. Ставьте ❤️, если статья вам понравилась, и пишите в комментарии, какие аспекты работы Stable Diffusion 2.0 вам больше всего интересны! #leftjoin_ai

Знакомьтесь, Hydra (не та, о которой вы сначала подумали) 🐍 Clickhouse, Redshift, Snowflake, …? Кажется, появился колоночный конкурент на PostgreSQL! Hydra — новое хранилище данных с открытым исходным кодом, благодаря удобству которого, он идеален для OLAP и гибридных процессов, связанных с транзакциями. Разработчики даже уверяют, что Hydra в 23 раза быстрее Postgres. Как же им это удалось? Секрет кроется в колоночном хранении данных, паралелльном выполнении запросов и векторизации вычислений. Эталонное тестирование (бенчмаркинг) произведено с помощью ClickBench от Clickhouse, а для финального тюнинга настроек предлагается набор параметров, чтобы дать Hydra возможность максимально раскрыть свой потенциал с учетом ваших локальных особенностей. Дорого наверное? Вся эта прелесть бесплатна только для локальной работы. Если вам нужно облачное решение, то придется оформить подписку, самая дешевая из которых стоит $400 в месяц. Тем не менее, разработчики предлагают 14-дневную пробную версию, чтобы протестировать новинку. В релизе указано, что создатели Hydra обещают продолжить работу над ее ускорением и далее. Ну что, готовы попробовать триалку? Если да, то вот образ Docker!

🥳 🎉 Представляю Unovis — новую библиотеку визуализации данных для React, Angular, Svelte, а также «голого» TypeScript и JavaScript. У меня второй большой (после Космографа) open source анонс в этом году, который будет интересен в первую очередь веб-разработчикам. Сегодня мы выложили в открытый доступ дитавиз библиотеку, над которой я работаю уже на протяжении последних трех лет (разработка началась в стартапе Volterra, и продолжилать в купившей его компании F5). Немного об отличительных особенностях Unovis: • 🏗 Удобно интегрируется в React, Angular и Svelte, что дает возможность использовать одну библиотеку в совсем разных проектах; • 🗺 Помимо классических графиков умеет рисовать детальные карты и графы; • 💇 Легко кастомизируется под ваш стиль (спасибо CSS переменным); • 📖 Детальная документация и галерея примеров с кодом для разных фреймворков. Если заинтерисовались, добро пожаловать на сайт библиотеки unovis.dev, и не забудьте лайкнуть наш репозиторий на GitHub!

Отличная работа 👍👍

Спринт FineBI 14 декабря 2022 (то есть послезавтра!) стартует бесплатный образовательный проект Спринт FineBI. Он представляет собой 2 недели эффективного ознакомления и обучения основным принципам работы с удобной и функциональной системой бизнес-анализа FineBI. Решение вполне способно заменить системы ушедших с российского рынка вендоров, и вы сами сможете в этом убедиться! Что за FineBI? FineBI – инструмент для Self Service BI-анализа, поскольку он имеет не только функции анализа данных на уровне визуализации, но и управление загрузкой и трансформацией данных. Что в программе проекта? ▪️В рамках занятий будет несколько онлайн-разборов, которые организаторы проведут в декабре 2022 и в январе 2023. Поэтому вы сможете пройти программу в удобное для Вас время – в том числе и на каникулах, если в конце декабря «завал» работы 🥵 ▪️Задания будут приходить ежедневно и займут от 30 до 90 минут вашего времени, все учебные материалы будут круглосуточно доступны в записи. ▪️После обучения для желающих проведут финальный тест и вручат сертификат о прохождении программы. Регистрируйтесь на Спринт FineBI, чтобы не пропустить ни одного дня! #реклама

Актуалочка: вчерашний футбольный датавиз ⚽️🇦🇷

ChatGPT На прошлой неделе я был в отпуске и не смог своевременно рассказать о нашумевшем релизе ChatGPT. Реально, это крутейший прорыв от OpenAI! В карусели несколько моих SQL-промптов и ответы нейронки. В общем, будущее реально наступило! Кажется, что поисковые сети в ближайшее время ожидает мощнейшая трансформация (вообще-то удобный экстеншен для браузера уже есть). Однако, OpenAI предупреждает о том, что ChatGPT порой генерирует ерунду. И действительно, такое случается: например, я попросил Query для расчета Retention Rate и получил какую-то ахинею (см. последний скриншот). Таким образом, будучи новичком, пока нет никакой возможности слепо полагаться на результаты ChatGPT. Но, в целом, это очень удобный компаньон во многих вопросах (кроме обсуждения текущих событий и рилтайма). И немного отличного по теме * Рома Бунин собрал примеры генерации ответов по датавизу * Парень написал игру, используя только ChatGPT * Чувак создал целый репозиторий на гите, используя только ChatGPT * Запуск виртуальной машины внутри ChatGPT * Написание интерпретатора для собственного языка программирования, используя ChatGPT * Поиск конкретных рецептов без воды и лишней информации * Решение домашних заданий с помощью ChatGPT * ChatGPT может даже объяснить научные концепции так, будто бы это делает парень, который вырастил ОГРОМЕННЫЕ тыквы и не может об этом молчать Делитесь мыслями в комментариях, если вы уже пробовали ChatGPT!

Аватарка точка ру: версия 2022📱 Вы не могли не заметить вирусный тренд (особенно, в инстаграме, через одну историю)) на сгенерированные AI аватарки. Давайте разбираться, что случилось! Что случилось? Та самая Prisma Labs на днях выпустила обновление Magic Avatars для своего фото редактора Lensa, чем несказанно порадовала многочисленных фанатов игр, фэнтези, приключений и научпопа во всех их креативных проявлениях, а также просто любителей менять аватарки в соцсетях раз в месяц. Как это работает? Карманный аналог Stable Diffusion удобен тем, что имеет интерфейс фото редактора и не требует дополнительных действий от пользователя кроме выбора фотографий для генерации аватара. Разработчики заявляют, что их AI сгенерирует аватар на основе различных художественных стилей и типажа пользователя. Что нужно для генерации аватарок? Загрузив от 10ти до 20ти своих портретов и подождав не более получаса, вы получите как минимум 50 картинок, которыми можно радовать друзей, мам и бабушек до следующего года! Сколько это стоит? К сожалению, сервис не бесплатный. Lensa сгенерирует 50 аватарок за 279 ₽. Приложение доступно в Google Play и App Store. Оставляйте ❤️, если вы уже пробовали Lensa, и 🤮, если уже вас уже утомила эта оригинальность!

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации. Наши эксперты поделятся своим бесценным опытом и расскажут о: ▪️Своем извилистом пути в профессию ▪️Современном дата инжиниринге и о том, как он отличается от компании к компании ▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать ▪️Важности софт-скиллов для дата инженера БОНУС: Как и всегда, наши спикеры дадут полезные рекомендации и советы для новичков в специализации 🧑‍🎓 Включайте подкаст и погружайтесь вместе с нами в загадочный мир дата инжиниринга! СПИКЕРЫ: Семен Осипов, Ксения Томак, Сергей Бойцов, Александр Михайлов Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓) #подкаст #DataHeroes

Парень в твиттере совершенно залипательно визуализировал механику сборки кубика рубика 🤯