LEFT JOIN

#мем

🥳 Краткий дайджест успехов коллег из индустрии 🚀 ▪️ Продюсер небезызвестного Матемаркетинга, автор телеграм-канала Интернет-Аналитика Алексей Никушин устраивает конференцию Aha!'22 про эффективность и продуктовую аналитику маркетплейсов. Если эти темы кажутся вам интересными, ловите промокод 15% на участие в конференции – LEFTJOIN. ▪️ Андрей Демидов и Data Yoga выпустили книгу про визуализацию данных. Электронная версия книги бесплатна, так что знания и навыки, описанные в ней, может получить каждый, кто заполнит коротенькую анкету. В книге целых 282 страницы полезных советов, которые помогут с нуля создать и даже презентовать дашборд. Must read! ▪️ Никита Рокотян выпустил cosmograph.app – приложение для визуализации графов, которое позволяет изучать комплексные графы в режиме реального времени. Cosmograph — это веб-приложение, которое будет работать в вашем браузере и никуда не отправит ваши данные. Все расчеты будут производиться прямо на вашем графическом процессоре: чем он быстрее, тем лучше результат. ▪️ Рома Бунин достиг отметки в 10к канала Reveal The Data (поздравляем Рому!) и недавно выпустил классные мокапы дашбордов (делился выше). А еще они вместе с Таней Мисютиной запускают курс по визуализации данных на Яндекс.Практикуме. ▪️ Саша Бараков рассказывает про клевый проект для QlikView 🔝, дизайн которого просто невозможно не отметить! Он сделал корпоративный стайл-гайд здорового человека для QlikSense. Поскольку на базе Qlik куда реже создаются достойные дизайны, Саша решил окончательно и бесповоротно это исправить. У него получилось. ▪️ Наташа Киселева и Настя Кузнецова вновь активно пишут актуальные заметки про dataviz. Искренне recommended к посещению!

🤔 Хотите стать частью команды Valiotti Analytics? 👨🏻‍💻 Наша команда не перестает расширяться и с каждым месяцем нам нужно все больше профессионалов своего дела. Поэтому, если вы хотели поработать вместе с нами, сегодня ваш шанс 🥳 На данный момент открыты две вакансии: 👨‍💻 DevOps Инженер 📕 Автор обучающего контента по SQL/Python С нас все самое лучшее: 👯‍♂️ Крутейшая современная команда лучших и самых талантливых спецов своего дела 🇬🇧 Корпоративный английский язык (всегда актуально) 🛋 Удаленная работа и соответствующий стек инструментов Оставляйте отклики на HH или отправляйте ваши резюме мне в телеграм @valiotti (не забудьте отметить на какую вакансию вы откликаетесь) 🚀

🤷‍♂️ Что вам нужно знать о базах данных? 🗄 Некоторым аналитикам не сильно много известно о том, как работают базы данных. Это, конечно, опрометчиво, учитывая, что они хранят почти всю информацию с которой нужно ежедневно и (желательно) эффективно работать. Именно поэтому Юсуф Махди (автор классного блога Architecture Notes) решил разобрать основной принцип работы баз данных: индексация таблиц и почему вообще это важно. Если вы уже работаете с какими-то БД, то вам это наверняка отлично известно, но на всякий случай мы тезисно отметим самое важное. 🔢 Индексы..? Индекс — это структура данных, которая помогает сократить время поиска нужной информации в БД. Индексы достигают этого за счет дополнительных затрат на хранение, память и поддержание их в актуальном состоянии, что позволяет нам пропустить утомительную задачу проверки каждой строки таблицы. Подобно указателю в конце учебника, он помогает вам попасть на нужную страницу. 🛠 А можно как-то без них обойтись? Небольшие объемы данных поддаются ручной обработке (например, спискок посещаемости учеников класса), но когда они становятся больше (например, реестр рождений для большого города), они становятся менее управляемыми. Все, что раньше работало быстро, становится медленным-медленным-медленным и в итоге совершенно тормозит процессы. По мере роста системы собирают и хранят больше данных, что в конечном итоге приводит к описанной выше проблеме. 📈 В итоге, для работы с хоть сколько нибудь большими данными нужны индексы, которые помогают получить результаты запроса как можно быстрее. Кстати, эта статья является первой в цикле статей "Things you should know about". Рассказывать вам о выходе следующих? 🤔

📌 Диаграммы в Python ↩️ Это, конечно, дело вкуса и привычки, кому-то больше нравится создавать визуализации вручную. Но я, например, люблю решать с помощью кода любые задачи, которые таким способом можно решить (например, верстка статей или презентаций с помощью latex – улет, по крайней мере с точки зрения визуальной составляющей результата, про сам язык, конечно, этого не скажешь!). Так вот, новый пакет diagrams для Python (который работает на базе graphviz) позволяет нарисовать архитектуру облачной системы в коде Python. Изначально, пакет был создан для создания прототипа новой или уже существующей системной архитектуры без каких-либо инструментов проектирования. В настоящее время Diagrams поддерживает такие инструменты как AWS, Azure, GCP, Kubernetes, Alibaba Cloud, Oracle Cloud, а также локальные узлы, SaaS и основные платформы и языки программирования. На сайте примеры диаграмм, которые созданы с помощью этого пакета, как вам?

🗺 Google Street View: процесс создания 🌏 Думаю, каждый из вас хоть раз пользовался Google Street View. Возможно, вам было интересно отправиться в виртуальное путешествие в пандемию, изучить локацию предполагаемого дома или квартиры, или вам нужно было показать конкретный перекресток во время урока в автошколе (ох уж эта цифровизация!). В общем, способов применения несчетное множество. 🤔 Но как же эти данные собирались? Данные состоят из 3 слоев: информация, полученнная со спутника, данные от организаций и ведомств, а также собрынные вручную данные. Самым интересным слоем является третий: при помощи специальных (весьма футуристичных) установок с углом обзора 360° происходит покадровая фиксация локации. Такие установки есть как для машин (с кучей оборудования и жеских дисков внутри), так и для пеших сотрудников (установка полегче, но все равно массивная). Именно благодаря портативным камерам мы можем посмотреть на виды с Мачу Пикчу или узких улочек, по которым машина проехать не может. Затем, конечно, все данные обрабатываются, люди попавшие в кадр блюрятся, а также проиводится точное соответствие между данными с двух других слоев и реальной сьемкой. Подобные рассказы лучше всего дополняются визуальной составляющей, поэтому смотрите видео Wired про Google Street View и рассказывайте, для чего вам пригождался этот инструмент 📸

На связи Data Heroes и у нас приятные новости! Как бы нам не было грустно это сообщать, первый сезон нашего подкаста подошел к концу. Хотя, чего это мы нагоняем тоску? Мы уже вовсю готовимся ко второму сезону, а также сегодня (по секрету) расскажем про дополнительный выпуск. На протяжении всего первого сезона мы поднимали важные темы и делали это не занудно, но познавательно: вдоль и поперек обсудили все нюансы онлайн-курсов, релокацию IT-специалистов, незаменимость тайм-менеджмента и даже о психологические аспекты работы в IT. Если какая-то из этих тем сейчас встретилась вам впервые – очень рекомендуем наверстать! Вам понравилось путешествовать по Data-Вселенной вместе с нами? Оставляйте любую реакцию здесь или отзыв о подкасте на любой платформе, где он доступен, так мы точно будем знать, что все не напрасно 💫  Спасибо всем, кто участвовал в наших выпусках и тем, кто давал обратную связь: только так мы можем становиться лучше и работать над ошибками! Итак, для всех кто уже соскучился по нашему подкасту – бонусный эпизод: в нем мы будем говорить с эйчарами и рекрутерами об идеальном кандидате-аналитике и узнаем, являются ли онлайн-курсы плюсом или минусом в резюме 🤔 Мы уже ждем новой встречи с вами через месяц во втором сезоне подкаста Data Heroes. Пишите в комментариях, какие темы вам будут интересны, мы постараемся учесть ваши пожелания 😉 До встречи в новых эпизодах! 🦸 #подкаст #DataHeroes

💸 Как создать open-source SaaS с годовым регулярным доходом в 1 миллион долларов? 🥳 Однажды, в рамках нашей подборки альтернатив Google Analytics, мы рассказывали вам о классном open-source варианте Plausible. Недавно они достигли важного рубежа развития проекта: вышли на 1 миллион долларов годового регулярного дохода (ARR). Plausible – полностью независимая, самофинансируемая команда из четырех человек. Несмотря на крайне небольшой размер команды, доверяют более 7 000 платных подписчиков, и они активно собирают статистику по более чем 50 000 веб-сайтов с более чем миллиардом просмотров страниц в месяц. Недавно они подробно рассказали всю историю своего пути с 2018 года, когда они только начали разработку, до 2022, попутно раскрывая все секреты, цели и методы их достижения. Если вам интересно узнать, как создаются подобные продукты и что для этого нужно – рекомендую прочитать, если у вас есть свой бизнес в схожей отрасли, то крайне настоятельно рекомендую прочитать! Если коротко, то ребята отлично структурировали развитие проекта, чтобы достичь первого ежемесячного регулярного дохода (MRR) в размере 400 долларов США (с платных подписок). Затем произошел новый виток развития, благодаря паре постов в блоге, которые привлекли много трафика. Затем потребовалось еще 19 месяцев, чтобы достичь ARR в размере 500 000 долларов США, и теперь, спустя восемь месяцев, они смогли достичь рубежа в 1 миллион долларов ARR 🎉 В общем, у ребят получилась весьма вдохновляющая (на качественную работу) история 💪

⬜️ Работа с .xlsx, .xls и .ods как к виртуальными таблицами в SQLite 🪄 Итак, перед вами новая удобная функция – XLite — расширение SQLite, написанное на языке программирования Rust. Основная его цель — организация работы с электронными таблицами Excel-like из SQLite, представляя их как виртуальные таблицы. Как поставить? cargo build --release Как использовать? sqlite3 # will open SQLite CLI > .load libxlite После этой команды расширение xlite загружено и теперь его можно использовать для создания виртуальных таблиц и любой работы с ними в рамках SQLite ✌️

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 📖 Подробный гайд по кластеризации Школа анализа данных (ШАД) написали отличную и весьма подробную практическую главу в рамках учебника по ML. Крайне приятно, что погузиться в тему можно даже тем, кто никогда не слышал о кластеризации раньше, ведь все термины вводятся и объясняются постепенно, а также гайд полон визуализаций. В нем разобраны самые современные методы: метод К-средних, DBSCAN и другие. Большое спасибо автору, ждем новых глав! 🙊 DALL-E Mini нашли неожиданное применение: генератор мемов В начале июня в соцсетях «завирусился» сервис DALL-E Mini: первая версия нейросети от OpenAI, доступная всем пользователям. В результате любого запроса сервис генерирует коллаж из 9 наиболее релевантны изображений и... получается довольно забавно, а иногда и крипово. Этим воспользовался один из пользователей, который в итоге завел отдельную страницу в Twitter и раздел в Reddit, где начал собирать созданные DALL-E Mini изображения. В ленте твиттера вы можете увидеть коллажи и текст запроса, которые не иначе кроме как "мем" зачастую и не назовешь)) 🚫 Современные трудности и способ их преодоления Ребята из iPhones нашли способ установки удаленных из AppStore приложений (Альфа-Банк, Сбербанк Онлайн и другие), который может помочь установить их на новый телефон, если есть такая необходимость. Важных условий всего два: нужно установить программу iMazing (бесплатного демо-периода будет вполне достаточно), а также приложение, которое вам нужно, должно было быть уже загружено раньше под вашей учетной записью. Пишите в комментариях, если проверяли этот способ или знаете какие-то другие! 👾 Что нового появится в Python 3.11? Недавно появилась первая бета-версия Python 3.11, в которой есть несколько интересных функций: указание точного места возникновения ошибки (например, в какой части вычисления), добавление примечаний к объектам исключений, встроенная поддержка форматов toml библиотекой tomllib и многие другие более узкоиспользуемые функции. Вдобавок ко всему вышеперечисленному есть еще один плюс: в этой версии Python также стал в среднем на 22% быстрее. К октябрю, когда выйдет финальный релиз, он, возможно, станет работать еще быстрее. Ждете выход новой версии? #weekly #дайджест

🛠 SQL запросы и ни строчки кода вручную 🗄 Сейчас многие IT-компании нацелены на то, чтобы автоматизировать простые процессы и облегчить жизнь сотрудникам отрасли. Например, недавно мы вам рассказывали про библиотеку, которая позволяет работать с таблицами в Python без знания кода. Сегодня на повестке дня похожий инструмент, который недавно запустила компания Rasgo: SQL Generator. Это браузерный инструмент, который позволяет любому человеку (особенно тем, у кого нет опыта работы с SQL) создавать сложные SQL-запросы, не написав ни строчки кода. Создатели продукта постарались и теперь генератор может написать за вас нужный SQL-запрос и сэкономит драгоценное время, которое можно использовать для более нетривиальных задач. Если вы хотите больше обзорных постов про современные инструменты, то оставляйте реакцию, а если вам хочется узнать больше именно про SQL Generator, то есть гайд по его использованию 🚀

На связи Data Heroes и мы ищем спикеров! 📢 Если вы HR или IT-рекрутер с опытом найма аналитиков — приглашаем вас поучаствовать в подкасте! 🔥 Отклики присылайте моей коллеге @Milanchezaa в личном сообщении. Будем рады новым героям! Все подробно объясним, расскажем и покажем 👾

👨🏻‍💻 Valiotti Analytics Linkedin 🔗 Мы потихоньку начинаем вести профили в разных социальных сетях: неделю назад мы наконец активировали Linkedin и начали наполнять страницу полезным контентом. Подписывайтесь, если хотите получать больше новостей о нашей компании (мы планируем делиться там с вами интересными фактами о прошлом, настоящем и будущем Valiotti Analytics). Также, давайте соединятся и в личном профиле!

📈 Grammar of graphics in a nutshell 📖 Вас когда-нибудь интересовало как работают такие фреймворки, как Observable Plot, ggplot2 или Vega-Lite? Автора этой статьи всерьез заинтересовал этот вопрос, поэтому он посмотрел множество реализаций, прочитал кучу статей, и кое-что придумал. Пересказывать изучение визуализации целиком было бы глупо (важную чсть исследования составляют примеры и код), поэтому мы вкратце пройдемся по самым важным моментам, а полную цепочку преобразований лучше увидеть своими глазами на сайте. 🤔 Что вообще такое грамматика графики (GoG)? Грамматика графики (GoG) — это язык для определения статистической графики, такой как гистограммы, диаграммы рассеяния и линейные графики из составных частей. Возможно, вы слышали или даже использовали библиотеку, построенную на GoG, такую ​​как Observable Plot, ggplot2, Vega-Lite и Swift Charts. 🔗 Конвейер GoG Грубо говоря, GoG разделяет визуализацию данных на два отдельных этапа: данные - кодировки + метки -> абстрактное пространство - масштабы-> экранное пространство. ⚪ Все начинается с формы Прежде чем мы сможем перейти к реальным компонентам GoG, нам нужен способ рендеринга элемнтов на экране. Для этого используется SVG и создается несколько простых основных элементов: прямоугольник и круг. С помощью этих элементов, впоследствии, будет выстроена вся визуализация. Кстати, некоторое время назад я частично рассказывал про d3.js и даже делился примером. ⚖️ Веса и абстрактное пространство Чтобы сопоставить абстрактное визуальное пространство и пространство пикселей экрана, используются шкалирование. В чем разница между абстрактным и экранным пространством? Экранное пространство — (во всех смыслах и целях) декартова система координат, а абстрактное пространство не обязательно должно быть таковым. Шкалы используются для построения отображений из абстрактного пространства в пространство экрана, чтобы точно передавать информацию, которая заключается в данных. ⏭ Затем в статье объясняются нюансы меток, кодировок, осей и легенды графика, но тут без визуальных объяснений не обойтись, поэтому переходите на сайт. 🚀 В целом, это, конечно, маленькая и неполная версия грамматики графики. Тем не менее, она позволяет рассмотреть весь путь создания визуализации: от исходных данных до графика на экране.

🦸🏼‍♂️ Data Heroes обзавелись супер красивым веб-сайтом 💻 Лично мне очень важно, чтобы каждый проект имел какой-то законченный вид. Поэтому путь развития нашего подкаста Data Heroes неизбежно пришел к этой стадии: ему очень не хватало отдельного сайта и мы решили его сделать. Теперь без тени смущения готов показать вам офицальную страницу нашего подкаста Data Heroes. Тут вы можете найти и послушать все выпуски, прочесть их описания, узнать несколько забавных фактов и разобраться в профессиональном сленге, который мы часто используем в эпизодах. Самое главное, теперь вы сможете оставлять свои комментарии через форму обратной связи, ведь это лучший драйвер любого проекта 😎 Оставляйте любые реакции, если вам также как и нам нравится наш новый сайт 🔥 А еще, пожалуйста, поставьте оценку подкаста на платформах, ведь именно это мотивирует нас продолжать создавать новые эпизоды Data Heroes👾 Все ссылки на наши проекты, чтобы вы могли сохранить их или делиться с друзьями: 👾 Подкаст Data Heroes 🔵 Блог Leftjoin 🔷 Сайт компании Valiotti Analytics 🔶 Блог Valiotti Analytics

Почему Новосельцев, говоря “без статистики вообще не жизнь”, был совершенно прав? Итак, сейчас мы с вами погрузимся в историю, которая покажет, что без статистики – никуда, но для начала нужно ввести вас в курс дела. Эффект Даннинга-Крюгера – это (очевидная) тенденция неквалифицированных людей переоценивать свою компетентность. Эффект обнаружили в 1999 году психологи Джастин Крюгером и Дэвид Даннинг и с тех пор он стал широко известен. 💭 Как все было? В 1999 году Даннинг и Крюгер опубликовали результаты довольно простого эксперимента. Они собрали группу людей, чтобы пройти тест на квалификацию. Затем они попросили каждого человека оценить свои способности. Даннинг и Крюгер (думали, что они это сделали) обнаружили, что люди, которые плохо сдали тест на навыки, были склонны переоценивать свои способности. Это и называется «эффект Даннинга-Крюгера». 📈 Что такое автокорреляция? Автокорреляция возникает, когда вы ищете связь переменной с самой собой. Однако, иногда все не так очевидно и автокорреляция прячется глубоко в данных или предположениях. ♻️ Как эти вещи связаны? Тут нужно немного углубиться в эксперимент. Даннинг и Крюгер искали следующую зависимость: x (результат теста человека) и y (самооценка способностей человека). Однако, когда они шокировали весь мир своими результатами, на диаграммах они отобразили следующее зависимость умственных способностей человека и ошибки его самооценки. А это ни что иное как поиск зависимости x и (y-x). Вот здесь и кроется та самая автокорреляция. Даже если взять два случайных набора значений и построить такой график, то зависимость будет налицо и всему виной именно автокорреляция. 🚨 Ошибки случаются Не думаю, что стоит винить Даннинга и Крюгера за их ошибку. Однако, в обстоятельствах их промаха возникает восхитительная ирония: два профессора из Лиги Плюща продемонстрировали свою (статистическую) некомпетентность, объединив автокорреляцию с психологическим эффектом. Будьте осторожны и внимательно изучайте свои данные и полученные выводы прежде чем заявлять о найденной закономерности, ведь “статистика – это наука, она не терпит приблизительности”.

Мокапы дашбордов Сделал удобный набор графиков для макетирования дашбордов. Он сильно ускоряет разработку макетов. Я давно пользуюсь схожим набором, и часто прямо на встречах с заказчиками собираю макет вместе с ними. Это быстро и наглядно. Версии — В виде PPTX презентации: самый быстрый вариант, можно копировать элементы просто перенося их с зажатым Ctrl/Cmd и гибко настраивать картинки. — В виде книги в Табло: можно тонко настроить графики, они лучше заполняют пространство и картинка получается приближенная к финальному результату. — На доске в Miro: удобно шерить и обсуждать, добавлять идеи и замечания, но не очень удобно работать с картинками. Графики сделаны в нейтральном стиле, чтобы не отвлекать от бизнес задачи и подчеркнуть, что это мокап. Удобно поверх картинок писать ярким цветом идеи, реальные названия метрик и т.п. Если у вас есть свой стайлгайд или другая BI, сделайте такие же инструменты на своих графиках, просто наскринив и нарезав существующие дашборды. @revealthedata

Прекрасная вещь Ромы — мокапы дашбордов

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 🌐 Internet Explorer официально вышел на пенсию Браузер, который мы все с вами горячо любили лет 15 назад, говорит нам "прощайте". После 25 с лишним лет работы он официально устарел и не поддерживается, начиная с 15 июня 2022 г. Несмотря на то, что этим браузером все еще продолжают пользоваться, ему на смену пришли гораздо более удобные и современные Google Chrome, Safari и другие браузеры. Оставляйте ❤️, если вашим первым браузером тоже когда-то стал именно Internet Explorer! 🙊 Секреты хорошего руководителя Стартапы сталкиваются со многими рисками: от финансовых до технологических. Однако, есть один риск, который является наиболее важным: по данным исследователей из Гарвардского, Стэнфордского и Чикагского университетов, 55% стартапов терпят неудачу из-за проблем с коммуникацией в компании. Google for Startups провели работу по оценке лидерских способностей более 900 основателей стартапов, генеральных директоров и технических директоров в более чем 40 странах, чтобы определить лучшие стратегии лидерства. В итоге, они получили семь ключевых выводов, в числе которых объединение всех сотрудников вокруг понятной единой цели, сведение микроменеджмента (дотошного контроля) к минимуму, а также преодоление неуверенности в собственных действиях, так как, согласно эффекту Даннига-Крюгера (скоро расскажем о нем поподробнее!), чаще всего лучшие предприниматели себя недооценивают. 📝 Писать любые тексты – сложно Однако, это совершенно не повод их не писать. Основной секрет написания качественного текста – не отвлекаться на редактирование в процессе, отловить это"на потом", иначе основная задумка и цель исчезнут. И уж точно не стоит думать про SEO-оптимизацию текста в самом начале, иначе текст выйдет, мягко говоря, корявым. Думаю, что этот принцип можно применять не только к написанию текстов, но и к другим типам задач: сначала стоит довести идею до результата, а лишь потом дорабатывать её, "придавать бриллианту огранку". 👾 Фиолетовые человечки: универсальные специалисты в области даннных Организации переживают серьезный структурный сдвиг. Принятие современного стека данных идет рука об руку с серьезным переосмыслением роли людей, работающих с данными в организации (потому что социотехнические системы устарели). В итоге, компаниям нужно больше фиолетовых человечков — универсалов, которые могут ориентироваться как в бизнес-контексте, так и в современном стеке данных. Чтобы стать "фиолетовым", нужно проводить время в разных пространствах — условно, красном и синем — и накапливать опыт в разных областях, инструментах и ​​технологиях. Концепция универсального специалиста по данным не нова. На самом деле такие специалисты предпочитают вообще не специализироваться — они чаще сосредоточены на текущей бизнес-проблеме и используют самый подходящий инструмент для её решения. #weekly #дайджест

📱 Один смартфон – хорошо, а 99 – это уже пробка 🚨 Рассказываем старую, но все еще отличную историю о том, как парень хакнул Google Maps: он взял и сложил 99 включенных смартфонов в тележку, чтобы создать виртуальную пробку в Google Maps. В итоге, зеленая улица вмиг стала красной, а многие автомобили, выбрали другой маршрут, чтобы не стоять в этой “пробке“. Почему изменения в Google Maps могут повлиять на весь город? Все дело в том, что существенное отличие Google Maps от классических карт заключается в том, что они интерактивны: в них есть опции прокрутки, поиска и масштабирования. Таким образом, Google Maps вносят виртуальные изменения в реальный город. Другие сервисы, такие как «Airbnb» и «Carsharing», оказывают огромное влияние на города: на их рынок жилья и культуру мобильности. Кроме того, большое влияние на то, как мы находим романтического партнера, оказывают такие платформы знакомств, как Tinder, и на нашу самооценку, благодаря приложению для бега Nike. Все эти приложения работают через интерфейсы с Google Maps и создают новые формы цифрового капитализма и коммодификации. Без этих карт были бы немыслимы системы совместного использования автомобилей, новые приложения для такси, системы проката велосипедов и онлайн-сервисы транспортных агентств, такие как Uber.