LEFT JOIN

Свеженький Python cheatsheet onepage 🐍.

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 🎼 Вы можете быть так же гениальны как Моцарт! Однажды, когда Вольфганг Амадей был еще очень юн, он пришел на службу в Сикстинскую капеллу и услышал редкое произведение, которое исполнялось лишь дважды в год. Оно считалось собственностью церкви, ноты выносить было запрещено, а также, нельзя было стенографировать музыку под страхом смертной казни. Моцарт, прослушав произведение и придя домой, записал все ноты, чем удивил церковь и она была вынуждена признать, что правил он не нарушал. К чему это мы? Теперь вы тоже можете почувствовать себя Моцартом: появилась библиотека omnizart, которая преобразует любой входящий звук в ноты. Только осторожно, не вызывайте ее в Сикстинской капелле! 🖋 Быть автором на Хабре не так-то просто WYSIWYG-редактор Хабра – не самая удобная среда для верстки статьи и вот почему. Если вы что-то удалите в процессе верстки, то слезами делу не помочь. И, ничем не помочь, если честно, потому что вернуть написанный текст не получится, если у вас нет бэкапа. Работа с кодом тоже не до конца отстроена, возникают различные баги, когда хочется поправить какой-то момент. Загрузка изображений тоже иногда лагает. В общем, пока еще работает старая версия редактора, лучше пользоваться ей, чтобы поделиться с читателями Хабра своей интересной статьей (спойлер: скоро мы так и сделаем). 💊 Технологии не всегда успевают реагировать на изменения в мире В недавней статье The Economist авторы обратили внимание, что на приложения для психотерапии стали возлагать слишком большие надежды, а еще – предоставлять им всю личную информацию. Онлайн-терапия иногда может помочь (особенно, в эпоху коронавируса), но не стоит забывать, что такие приложения создавались именно как дополнение к полноценной терапии, поэтому, стоит в первую очередь задуматься о более классических методах. А еще, к сожалению, бум таких приложений и соответствующая ситуация в мире привели к тому, что далеко не все приложения безопасны: данные шифруются недостаточно хорошо и их можно взломать, как уже сделали некоторые шантажисты. 💬 Как добиться желаемого в переговорах? Переговоры происходят у каждого из нас по нескольку раз в день: по работе, учебе, при любом личном общении нам бывает нужно и важно отстоять свою позицию. Автор написал про свой личный опыт в переговорах и дал много советов тем, кто лишь учится быть крутым переговорщиком. Например, есть теория, что стоит задавать человеку много простых и очевидных вопросов, на которые он ответит “Да“, а это повышает вероятность того, что человек и на интересующий вас вопрос ответит также. Однако, автор не верит в это, аргументируя свою позицию, тем что когда человек говорит “Нет“, он гораздо вероятнее всерьез погружается в вопрос и думает, что контролирует ситуацию, на чем вы можете сыграть в дальнейшем. В переговорах, как и в шахматах – без тактики нельзя! ♟️ Новый год – новое хобби Кстати, о шахматах: если вдруг вы в числе тех, кому нравится выбирать себе хобби в начале нового года, то стоит задуматься про эту древнейшую игру. Идеальный баланс серьезной умственной нагрузки и игры может стать прекрасной ежедневной привычки и, так сказать, “зарядкой для мозга”. Блоггер с крайне необычным именем Сиддхеш сравнил две самые популярные площадки для игры в шахматы и вынес свой вердикт – Lichess, по его мнению, лучше и удобнее. Возможно среди вас есть и опытные игроки? Что вы думаете на этот счет? #weekly #дайджест

🎬 Отвлечемся от аналитики: подборка фильмов и сериалов 🤖 Совсем недавно компания Engineered Arts потрясла мир своей новой разработкой – роботом, который имеет поистине удивительную человеческую мимику и пластику. Выглядит крайне футуристично, не правда ли? Порой, даже заставляет задуматься над тем, как изменится наш мир, когда такие изобретения будут в каждом доме. Когда роботы с искусственным интеллектом были лишь мечтами, режиссеры и писатели уже активно описывали свои идеи и видение мира, в котором существует и активно используется искусственный интеллект. Так родились научная фантастика и киберпанк. 🔫 Blade Runner // Бегущий по лезвию (1981) Оценка IMDb: 8.10 Этот фильм Ридли Скотта – является ярким образцом киберпанка. Если вы еще не видели этот фильм, то мы вам по-доброму завидуем: он того стоит! Помимо того, что он очень красиво снят и ничем не уступает современному кинематографу с его безумными спецэффектами, в нем уже ставится вопрос этики искусственного интеллекта. Какие права имеют роботы? Могут ли они испытывать эмоции, принимать решения самостоятельно? Автор не отвечает на эти вопросы напрямую, а оставляет право зрителю ответить на этот вопрос самому. 👬 Приключения Электроника (1979) Оценка Кинопоиска: 7.94 Конечно, киберпанком этот чудесный советский трехсерийный фильм назвать можно с очень большой натяжкой, но если посмотреть внимательно, то его создатели тоже рассуждают на тему искусственного интеллекта. Сыроежкин счастлив, что может ничего не делать, ведь Электроник все сделает за него, а преступник Урри, конечно, хочет воспользоваться роботом, чтобы провернуть ограбление. Классическое рассуждение об искусственном интеллекте: все хотят им владеть и пользоваться преимуществами для достижения собственных целей. 🏞 Westworld // Мир Дикого Запада (2016 - now) Оценка IMDb: 8.60 Первый сезон этого сериала поистине ле-ген-дар-ный! Сценарист Джонатан Нолан (брат еще более известного режиссера Кристофера Нолана) рассуждает об этике искусственного интеллекта вот в каком ключе: существует новый вид развлечений для богатых людей – искусственный мир, в котором люди могут делать абсолютно что угодно, ведь он населен роботами. Правомерно ли обращаться с ними как с вещами? Что произойдет, если они научатся мыслить, чувствовать, рефлексировать? 🕹 Person of Interest // В поле зрения (2011 - 2016) Оценка IMDb: 8.40 Если в предыдущих картинах искусственный интеллект был заключен в тело робота-человека, то в этом сериале ИИ приближен к современной технологической реальности – это система, которая обучена на очень больших данных, требует огромных мощностей, но что самое главное – она может предсказывать людей, которые находятся в опасности. Сериал можно отнести к жанру детектива, ведь в каждой серии происходит расследование, однако, основное рассуждение об искусственном интеллекте является лейтмотивом всех 5 сезонов. Главные герои – Гарольд Финч и Джон Риз – идеальная команда, как Шерлок и Ватсон: один из них силен, решителен и практически безэмоционален, другой, наоборот, эмпатичен, бескорыстен и добр. Если вы смотрели что-то из нашей сегодняшней подборки, делитесь впечатлениями в комментариях! А также пишите свои рекомендации фильмов и сериалов, в которых есть рассуждения об искусственном интеллекте. #подборка #рекомендации

🧑‍🎓 Матрица компетенций BI-аналитика Сделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто. Матрица будет полезна и новичкам — есть подсветка проседающих навыков и ссылки на учебные материалы. И компаниям — для составления планов развития сотрудников. Необходимо оценить себя по 68 навыкам из 6 направлений, которые важны BI-аналитику на мой взгляд. Каждый навык имеет уровень «прокачки» от 1 до 4 и описание, с примером ожиданий знаний от уровня. Но это только пример, при сомнениях, оцените навык по ощущениям от «джун» до «лид». Матрица – не истина в последней инстанции, а ориентир и быстрый способ оценить себя. В идеале должна заполняться вместе с ментором, кто мог бы валидировать результат и дать практику. Большое спасибо всем, кто помогал и участвовал в тестировании. Буду рад идеям, ссылкам и примерам результатов в комментариях. 🔗 Ссылка #избранное

Классно и своевременно, Рома — 🔥!

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 💻 Идемпотентность или как писать скрипты в Bash, которые можно вызывать заново Те, кто часто пишет скрипты в Bash, наверняка сталкивались с такой ситуацией: написали скрипт, запустили его, а где-то в середине скрипта случилась ошибка. Вы её, конечно же, исправляете и снова запускаете скрипт. Но не тут-то было! Половина шагов в вашем скрипте немедленно завершается ошибкой, потому что они уже отработали и действия невозвратны. Для создания отказоустойчивых систем вам необходимо писать идемпотентное программное обеспечение. 🧛🏻‍♂️ Граф Дракула может унифицировать темы ваших приложений Однажды, Зено Роча был вынужден чем-то занять себя, пока лежал в больнице и создал тему Dracula для одного из приложений. Спустя несколько лет, эту тему можно установить на более 200 приложений для любого ПО: тут вам и новое оформление команд в терминале, и темы для Телеграма и браузеров, и многое-многое другое. 📼 Отчаянная попытка поменьше смотреть YouTube Разработчик и консультант Павел, будучи раздосадованным количеством потребляемого на YouTube контента, а также недавним решением сервиса скрыть дизлайки, решил проблему гениально и рассказал об этом в своем блоге. Он установил специальное расширение, которое позволяет скрыть определенную часть сайта, и скрыл секцию рекомендаций. Так, можно смотреть лишь интересующие видео, а не пускаться по бесконечному пути рекомендаций, который может привести к трехчасовому видео с милыми котиками. ⏯ Нормально ли отвлекаться от задач, когда работаешь? Оливер Бакерман – гуру тайм-менеджмента, автор нескольких книг и почтовой рассылки с советами по организации времени – в своем последнем письме решил затронуть важную тему: все мы люди и мы отвлекаемся. Тысячи методик по организации времени советуют нам, как избежать моментов, когда вас кто-то отвлекает, однако никто не говорит о том, что жизнь – это череда событий, сменяющих друг друга. Поэтому, помимо того, чтобы избегать ситуаций, когда кто-то или что-то может вас потревожить – стоит также отнестись к этому с пониманием. ⌨️ Гайд практически по каждому языку программирования Этот сайт – настоящая находка для того, чтобы разобраться в новом языке программирования, разобраться в теории множеств или динамическом программировании. Здесь собраны англоязычные гайды (многие переведены на французский, испанский, русский и другие языки) в которых с самой базы объясняется синтаксис и показаны примеры использования тех или иных инструментов языка. Если онлайн-курсы вам проходить не хочется и вы уверены в своей мотивации и усидчивости, то такой способ изучения нового вам вполне может подойти. #weekly #дайджест

Апдейт к этому посту с учетом комментариев. Спасибо Дмитрию Титову из Altinity за верное замечание про сортировку. Плюосом бонусный способ с оконными функциями на Clickhouse в статье.

Три способа рассчитать накопленную сумму в SQL В блоге вышел новый пост, он точно будет полезен любому начинающему аналитику, который изучает SQL. Часто, на собеседованиях или же в реальной практике вам нужно посчитать накопленную (кумулятивную) сумму. Мы поэтапно рассказали для чего это может быть нужно, а также показали три способа достижения цели: с помощью оконных функций, без их использования и отдельный, если вы пользуетесь Clickhouse. Может, даже если вы аналитик со стажем, какой-то из этих способов вы еще не пробовали? 🤓

💥Эксклюзив! Первый мануал по Yandex DataSphere 💥 Наша команда уже несколько месяцев готовит для вас интересный проект, в рамках которого нам нужно было задеплоить модель в облаке. Спустя множество попыток и ошибок, нашей команде (наконец-то!) удалось это сделать, несмотря на недостаток информации в сети. Про сам проект мы расскажем чуть позже, но сейчас (так сказать, по горячим следам) мы создали для вас мануал, в котором рассказали все нюансы деплоя модели в облаке с нуля так подробно, как только смогли. Очень надеемся, что наша статья будет полезна тем, кто также как и мы попал в тупик на каком-либо этапе работы в Yandex DataSphere, и очень благодарим Александра Волкова из компании Glowbyte за помощь нам, а заодно, и вам!

️☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 🎙 Подкаст, у которого нет смысла, но есть цель Многие люди перед сном слушают успокаивающую музыку, шум природы или голосовые медитации перед сном. Однако, искусственный интеллект добрался и до этой сферы нашей жизни и теперь вы можете засыпать, слушая абсолютно бессмысленные (хотя, возможно, вы найдете в них скрытый смысл) истории под медитативную музыку. Все эти “сказки на ночь” создаются при помощи модели GPT-3. 📊 Стоит ли вообще строить дашборды? Бен вновь философствует на тему аналитики, задаваясь вопросами о пользе дашбородов. К сожалению, большинство дашбордов содержат в себе кучу лишней информации лишь потому, что в них можно отразить абсолютно все метрики, которые можно посчитать на основе данных. Но, по мнению автора (с которым многие согласятся), аналитики данных должны побуждать руководство к решительным действиям, а это возможно лишь тогда, когда они визуализированы точно, корректно и приводят к конкретным выводам. Кроме того, дашборды должны быть полными, а детали не должны противоречить друг другу. Утопия, конечно, но именно к этому стоит стремиться. 🖤 Хватит использовать черный цвет Не так давно мы опубликовали перевод большого материала про цвет в визуализациях в нашем блоге. Одним из множества советов был совет избегать черного цвета в визуализациях. Автор сегодняшней новости абсолютно солидарен с этим мнением и аргументацией: черный цвет слишком сильно привлекает внимание на себя. Все дело в том, что чисто черного цвета в природе не существует: от всех черных предметов вокруг отражается немного света, а значит они уже, как минимум, темно-серые. Поэтому, если вы хотите использовать черный цвет, то попробуйте поиграть с его насыщенностью и яркостью. 🌳 Визуализация для модели решающих деревьев из sklearn Вчера уже писал про то, что в открытый доступ была выложена библиотека pybaobabdt. Коротко повторим, если вдруг вы пропустили: pybaobabdt предоставляет визуализацию деревьев решений на Python. Визуализировать деревья решений можно было и раньше: типичное дерево решений представляют с помощью стандартной диаграммы узловых связей. Однако, проблема в том, что из этих диаграмм трудно извлечь информацию и авторы этой библиотеки предлагают более удобный и наглядный метод. 🔍 Википедия может быть красивой Не знаю, согласитесь ли вы, но я уже давно замечаю, что сайт Википедии режет глаз своей простотой. Многие сайты давным-давно работают над улучшением UI-показателей, а Википедия выглядит ровно также, как и десятки лет до этого. Если вас это тоже расстраивает, однако перестать заходить туда в поисках полезной информации вы не можете – можно просто установить расширение для браузера и наслаждаться улучшенным интерфейсом. Пользователям Safari пока попробовать нечего, зато если у вас Google Chrome, Firefox или Edge – можете установить расширение (бесплатно, естественно) и потестить. 🤷‍♂️ Все, что вы хотели узнать о dbt Мы уже рассказывали вам про ежегодную конференцию Coalesce, на которой руководители dbt Labs и компаний-партнеров рассказывают о всех нюансах и преимуществах работы в dbt. Для себя мы уже выделили несколько приоритетных лекций на сегодня: например, о построении dbt-проекта с нуля, о развитии смешанных инструментов и о трендах в аналитике данных. Конференция проводится в онлайн-формате и будет идти еще сегодня и завтра. Она совершенно бесплатна, поэтому, почему бы не преумножить свои знания об этом инструменте и необъятном мире аналитики? #weekly #дайджест

Старое (аж 2010го года), но такое правдвивое: иллюстрация-объяснение, что такое получение степени канидата наук / Ph.D (so true!) 🎓

Практика в Институте бизнес-аналитики В работе аналитика очень-очень важно обновлять свои знания и учиться новому, потому что новые знания появляются постоянно. Поэтому, выполнять рутинные задачи и оттачивать навыки – конечно, необходимо, но не достаточно. Именно поэтому, стоит преодолевать себя и пробовать новые инструменты, подходы и решения. Сейчас как раз есть возможность взглянуть на работу в Power BI по-новому, разобраться в сложных современных инструментах и даже получить хороший оффер. Институт бизнес-аналитики проводит запись на зимнюю стажировку. Успевайте заполнить анкету, прием заявок идет до 10 декабря! Старт стажировки – в январе, а сама практика продлится до конца марта. Что будет на стажировке? * работа с данными: такими, которые обычно бывают у заказчика; * решение бизнес-задач с помощью визуализации данных; * работа с требованиями заказчика и вариантами решений; * выстраивание коммуникации и презентация своего проекта. Что нужно для зачисления? Заполнить форму, прийти на стартовый вебинар и выполнить тестовое задание. Ссылка на программу и форма здесь https://bit.ly/3prfP4D

В добавление к посту про способы визуализации деревьев решений: билиотека pybaobab для визуализации деревьев.

Ну, и как уже намекнули в комментариях к посту, конечно же, у самих dbt уже традиционно стартовала конференция Coalesce. EMEA-friendly день — 9ое декабря 🙂

Оказывается, существует российское коммьюнити по dbt в телеге: @dbt_users и они проводят 14го декабря митап: https://space307.team/dbtmeetup.

Клевая штука: визуальный туториал по pandas, в котором по шагам объясняется каждое действие. Есть несколько заранее созданных примеров. Доступно и понятен объяснены основные принципы работы библиотеки 🐼 Подглядел у @dataeng.

Эмоджи в натуральном масштабе. Залипательно. 🦟 🐜🐞

Свежие телеграм-каналы 🥑 Есть несколько свежих (и относительно свежих) телеграм-каналов, на которые я подписан и у которых пока не очень большая аудитория, но про которые хочется рассказать. Делаю это 🙂 * Data Nature 🕊 Александр Бараков и Ксения Агеева пишут про жизнь BI-аналитики. Очень крутой пост про суть курса "Разработка BI стратегии" в виде гайда в MIRO. Рекомендую. * Datanomix 🍷 Канал ведет Александр Полоротов, который запустил подкаст Датаголики. С Александром Бараковым, кстати, вышел любопытный выпуск подкаста. * Data будни 📅 Саша Михайлов ведет свой канал, в котором контент реально эволюционирует, респект. Мы познакомились с Сашей на Матемаркетинге, Саша — молодец, настоящий пример перехода в Data Engineering. Из последнего Саша зафигачил борду на ресурсе от Вастрика и рассказывает об этом. * Папка "Избранное" 📁 Канал ведет Олег Агапов, известный своей инициативой про открытый учебник по Data Engineering, у Олега очень интересный набор ссылок и контента, читаю с удовольствием. * Data Coffee ☕ Ребята делают отличный подкаст про данные, я в нем принимал участие в одном из эпизодов. * Data comics 🖼 Прикольный комиксы на тему датавиза от Наташи Киселевой * Technology Enthusiast 👨‍🔬 Канал Артемия Козыря про аналитический инжиниринг. К примеру, из последнего Артемий рассказывал про появление Clickhouse в качестве destination для Airbyte. Тоже очень ждем.