LEFT JOIN

Data Product Manager: что же это за зверь такой? 👽 Эрик Вебер, специалист по данным компании StitchFix, опубликовал в своем блоге любопытный разбор вакансии «Data Product Manager - Ad Platforms» в компанию Apple (сама вакансия уже закрыта, увы!). Ранее я уже поднимал тему менеджмента в сфере данных, когда еще в 2021 искал сотрудника в штат и столкнулся с тем, что на русскоязычном рынке труда подходящего специалиста не обнаружилось. В своем посте Эрик пытается объяснить, как должность обычного продуктового менеджера обогащается обязанностями аналитика данных, и спрашивает свою аудиторию (и себя самого), способен ли один человек совместить такой набор навыков и талантов. Как метко было подмечено где-то на просторах Интернета, data product manager — это модифицированная версия продуктового менеджера, который слишком много изучал data science. С Александром Писаренко проблему менеджмента в специфической отрасли мы уже обсуждали, а как вы считаете, станут ли такие специалисты более актуальны на рынке труда?

Марафон данных: что думают наши студенты? Друзья, вы наверняка уже успешно победили все тазики оливье и посмотрели все части «Гарри Поттера» (а может даже фильм «Чародеи»!) и пришла пора принимать реальность с её работой, учебой и прочими задачами. Если в период новогодних праздников вам пришла в голову мысль найти работу в аналитике, но вы не вполне понимаете, как к этому подступиться и что это воообще такое, то у нас есть здоровский курс «Марафон данных». Те, кто прошел его первую неделю января, уже успели поделиться своим мнением. Многие отмечают, что курс очень и очень простой, и, в отличие от хардовых профессиональных курсов, не дают новичку сразу потонуть в теории и загрустить от мысли «аналитика – точно не для меня». Это безумно греет душу, потому что как раз эту цель мы и преследовали. Проходите курс и обязательно оставляйте обратную связь, если вам есть, что сказать!

Вы в матрице: чем бы запомнился 2022, будь вы базой данных? 👨‍💻 Энди Павло, доцент дисциплины Databaseology (да, и такая есть!) на кафедре Computer Science Университета Карнеги–Меллона, опубликовал обзор состояния рынка баз данных в 2021 и событий, которые их касались. Коротко о главном 💲 Во второй половине 2022 финансирование новых проектов по разработке баз данных резко сократилось. По мнению автора, такое могло произойти из-за того, что еще в 2021 IT-индустрия настолько разогналась, что не взять отдышку в этом году многие компании просто не могли. С другой стороны, известно, что рынок венчурного капитала сейчас в стадии стагнации. 🔗 Базы данных на блокчейн концептуально уступают стандартным DBMS. К тому же, безопасность данных и их аудитопригодность — это заведомо слабые места в планах построения подобных баз. 👶 Поприветствуем новичков в ассортименте БД: Google AlloyDB, Snowflake Unistore, MySQL Heatwave, Velox, InfluxDB IOx! Интересно, что 2023 приберег для БД и инженеров данных?

🤖 ChatBCG: AI добрался до презентаций 🖼 Бедные школьники, минус еще одна радость детства — сделать презентацию для урока информатики! Что случилось? Разработчики из Стэнфордского университета создали AI-инструмент, на основе модели BCG-3. Ключевое отличие от PowerPoint и Google Slides состоит в том, что ChatBCG еще и самостоятельно собирает информацию с просторов Интернета и генерирует слайды из своих находок. К примеру, если вам нужно создать презентацию на тему «‎Рождество в разных странах» (ну, а вдруг?)‎, то ChatBCG представит вам свою минималистичную версию, которая будет включать заглавный слайд, содержание, и далее несколько слайдов с описанием традиций отмечания праздника в четырех странах и иллюстрациями. Как этим пользоваться? Сервис позволяет менять тему презентации и сохранять итоговый файл в форматах PDF и PPTX. Также вы можете зарегистрировать бесплатный аккаунт, что даст вам доступ ко всем ранее созданным презентациям. P.S. Пока что сервис сильно перегружен, поэтому часть функций может быть недоступна. Надеемся, это решится в ближайшее время! Оставляйте ❤️, если вам этот сервис тоже кажется отличным решением для рутинных презентаций (или, как минимум, поможет преодолеть страх чистого листа слайда)!

Дорогие подписчики, Спасибо, что читаете, это ценно. Год сложный и противоречивый, но после некоторой паузы в марте, мы решили, что не будем останавливаться и продолжим делать то, что любим и умеем. Мы рады, что контент оказывается вам полезен и интересен, некоторые люди персонально благодарили за подкаст, который вдохновлял на старт в профессии. Огромное спасибо нашим спикерам и экспертам, что внесли свой вклад в наши ценности делиться знаниями с миром. За этот год помимо релокации моего основного бизнеса, мы успели запустить ряд классных проектов: это и подкаст, и марафон данных и закрытый канал FULL JOIN. Без всех вас – могу с уверенностью сказать – ничего бы этого не было, поэтому спасибо вам за мотивацию продолжать! Мы очень любим и ценим вашу обратную связь, стараемся всегда прислушиваться к ней. Желаю мира в этом году и новых полезных знаний (во втором мы постараемся вам посодействовать)! Николай Валиотти, Светлана Беккер и вся команда LEFT JOIN поздравляем вас с Наступающим Новым годом!

Финальная новогодняя новость – лендинг FULL JOIN Друзья, чтобы не отсылать вас каждый раз к посту и структурировать информацию в одном месте, мы создали лендинг проекта FULL JOIN. Самое главное, что сейчас там есть – это три опции подписки: на неделю (для тех кто не уверен), на месяц (классическая подписка) и на целый год (для тех, кто хочет сэкономить и уверен в качестве). Недельная и годовая подписки – это новогодние спешалы. Пока что мы не уверены, что оставим их в будущем, поэтому советуем воспользоваться ими, пока они активны. Какие у нас планы на 2023? В последние дни уходящего года только и разговоров, что о планах на будущий. В наступающем году мы планируем выпускать еще больше контента и, конечно, добавить разнообразия: расскажем про устройство Redash и его возможности, объясним нюансы ClickHouse так, что вы спокойно научитесь с ним работать, раскроем все детали самых уникальных и проработанных кейсов компании Valiotti Analytics. В общем, планируем делиться самыми полезными знаниями, которые у нас есть. А если вы сейчас только планируете свое погружение в мир данных и слова SQL и Python вам ничего не говорят, то лучше всего будет начать с курса для начинающих «Data Марафон».

🎶 Riffusion — модель для генерации музыки на основе Stable Diffusion 🎹 Модель Stable Diffusion взбудоражила умы разработчиков Сета Форсгрена и Айка Мартироса, которые создали свой проект Riffusion для генерации музыки. Почему Riffusion? Название проекта — это слияние двух слов riff («рифф») + diffusion («диффузия»). Настроив модель, Сет и Айк научили ее генерировать спектрограммы, которые затем можно конвертировать в музыку. Как же им это удалось? За основу разработчики взяли Stable Diffusion v1.5, которую затем натренировали на спектрограммах, дополненных текстовыми комментариями. Спектрограмма — это визуальное представление спектра из частот сигнала, изменяющегося во времени. Используя оконное преобразование Фурье (звучит уже страшно), разработчики конвертировали аудиофайлы в спектрограммы. Данный способ позволяет и изображения, сгенерированные моделью, преобразовать в аудио, поэтому Сет и Айк дополнили непосредственно сам процесс создания музыки алгоритмом Гриффина-Лима для восстановления фаз (так как модель генерирует только амплитуду колебаний волны, но не фазы). С подробностями зацикливания аудио отрывков и их интерполяции, а также примерами можно ознакомиться в статье. Ну что, товарищи музыканты, сможет ли Riffusion написать новую «Лунную сонату» или «We will rock you»?

Марафон данных: что это за курс? Друзья, по первым откликам мы заметили, что недостаточно хорошо описали вам уровень и наполнение нашего курса. Давайте это исправим, чтобы между нами не осталось недопонимания! Кому подойдет? – Людям любых профессий, которые никогда не сталкивались с аналитикой данных, но периодически думают «бросить все и войти в IT» – Студентам, которые хотят больше прикладных знаний и думают, стоит ли им пытаться искать стажировку или подработку в этой сфере – Начинающим аналитикам, которые знают либо Python, либо SQL и думают, что второй язык не нужен (мы уделяем достаточно много времени их отличиям и особенностям совместного использования) – Специалистам смежных областей, которые имеют технические знания, но не вполне понимают, в чем польза данных для бизнеса и как смотреть на данные с точки зрения заказчика (можете сразу переходить к заключительному модулю – там как раз об этом) Кому не подойдет? – Тем, кто уже работает в аналитике данных и прекрасно знает устройство таблиц и методы работы с ними – Тем, кто хочет получить знания, достаточные для начала работы в компании в роли аналитика данных – Тем, кто уже знает всю базу и хочет выйти на новый уровень знания и использования SQL и Python (для этого у нас есть FULL JOIN) Марафон данных – это первая ступень, упрощенная имитация работы в аналитической компании, легкий способ бросить курить понять «ваше» это или «не ваше» и стоит ли покупать серьезные фундаментальные курсы по анализу данных. Ведь часто так бывает, что люди покупают курс, рассчитанный на год или два, а в процессе обучения открывают в себе крайнюю неприязнь к рутинным задачам аналитика и грустят. После этого простого курса вы немного войдете в курс дела, разберетесь с базовым синтаксисом двух языков и сможете выбрать любой платный или бесплатный курс по тому направлению, в котором вам хотелось бы развиваться дальше (SQL, Python, анализ данных или что-то другое). А еще, курс сделан очень красиво и если вам хочется почувствовать себя молодцом, решая задачки, и посмеяться над забавными иллюстрациями – все это вы найдете в Марафоне данных. Надеюсь, теперь все встало на свои места ❤️

Data Марафон: перезапуск курса по анализу данных для начинающих Я регулярно слышу от своих знакомых: «Расскажи, чем занимается аналитик данных? Можно ли у вас попробовать поработать? Будет ли мне интересно?». Вместо тысячи слов — надо действовать. Поэтому я решил, что лучше создать удобную учебную программу, которая на практике расскажет чем же действительно занимается аналитик данных и почему эта профессия так важна для стартапов и международных корпораций. Слегка взволновано (даже несмотря на полную уверенность в курсе) мы c командой готовы вам представить наш новый онлайн-курс! Ремарка для тех, кто с нами давно Если вы помните, у нас уже был подобный проект: недельный интенсив по анализу данных в телеграм-боте. Обучение через телеграм-бота зашло далеко не всем, семидневныый темп был весьма жестким, а цена – достаточно высокой. Первый блин у нас вышел комом (а мы после такого останавливаться не привыкли), поэтому сегодня мы перезапускаем Data Марафон. О курсе 👨‍💻 Курс представляет собой симуляцию стажировки в компании, задачи, хоть и упрощены, но сильно приближены к реальным рабочим кейсам 🤑 Участие совершенно бесплатное 💤 Нет никаких лимитов на прохождение (но мы советуем не делать больших перерывов, чтобы ничего не забыть) 🪄 Над созданием курса трудилась большущая команда специалистов, как в области аналитики, так и в области дизайна и редактуры 😱 В курсе есть множество понятных и подробных примеров, как для погружения в работу аналитика, так и для понимания взаимодействия с базами данных 🎨 Весь курс дополнен совершенно звездными иллюстрациями ⬇️ Регистрируйтесь на курс Когда еще разбираться во всех премудростях (а на самом деле – достаточно простых нюансах) профессии аналитика данных, как не на новогодних каникулах? Скорее переходите на наш чумовой лендинг, проходите курс и раз и навсегда отвечайте себе на вопрос «Нужно ли бросать все и уходить в аналитику данных?». 🎁 Поделитесь нашим новогодним подарком со своими друзьями, которые задумывались о профессии. Ручаемся, им будет интересно!

Data Heroes залетают в Новый год! 🚀 И не одни, а вместе с волшебниками✨ Да-да, вы не ослышались! В сегодняшнем выпуске речь пойдет о настоящих волшебниках Нового года, благодаря которым на наших праздничных столах всегда есть салаты, а подарки для наших близких приходят вовремя 🎁 Знакомьтесь – аналитики в ритейле! Они поделятся историями о том, как им удается спланировать работу в жаркий предновогодний период и они делают наш с вами праздник чуточку лучше. А также ответят на интересующие вопросы: ▪️Как курьеры справляются с объемом заказов перед Новым годом? ▪️Какие продукты лидируют среди покупок для новогоднего стола? ▪️Какие необычные закономерности появляются в конце декабря? ▪️А как справляются серверы в период ажиотажного спроса (это же почти DDoS-атака!)? ▪️Кто такие “подснежники” и почему в январе наступает апокалипсис для ритейла? Включайте подкаст и узнавайте все секреты! А также, с наступающим Новым годом!🎄 СПИКЕРЫ: Савелий Бабин (Ozon), Александра Подпорина (Лента), Мария Суртаева (Самокат), Артем Горбунов (Самокат) Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓)

Рома @revealthedata (еще три года назад) сделал замечательную для всех аналитиков – шаблон для сбора требований для дашборда. А сейчас выкатил его улучшенную версию. С его помощью и правда можно выполнить работу проще и точнее, а результат с куда большей вероятностью понравится заказчику!

Приоткрывайм завесу тайны: о чём мы пишем в канале FULL JOIN? Мы решили поделиться с вами частью контента, который мы публикуем в приватном канале. На прошлой неделе мы публиковали статью, в которой разбирались в сути ранжирующих функций в SQL. Давайте разберемся в каждой из ранжирующих функций 📍 ROW_NUMBER — функция, которая возвращает номер строки внутри окна. С помощью данной функции можно задать нумерацию, которая будет отличаться от порядка сортировки строк результирующего набора, создать несквозную нумерацию, т.е. выделить группы из общего множества строк и сделать отдельную нумерацию для каждой группы, а также использовать несколько способов нумерации одновременно. Помимо ROW_NUMBER, есть и другие ранжирующие функции: 📍 RANK — функция, которая возвращает ранг каждой строки. Погодите, а что такое ранг? Cтроки, которые имеют одинаковые значения в столбцах, по которым выполняется упорядочивание, получают одинаковые номера - ранги. Нумерация рангов начинается с единицы. В случае использования RANK следующим номером после строк с одинаковым рангом будет номер строки (ROW_NUMBER). 📍 DENSE_RANK — функция, которая также возвращает ранг каждой строки. В отличие от RANK, при использовании этой функции следующим номером после строк с одинаковым рангом будет ранг на единицу выше. Таким образом, номера не пропускаются, и потому такой ранг называется “плотным“. 📍 NTILE — функция, которая распределяет строки окна на заданное в качестве параметра количество групп. Нумерация групп начинается с единицы. Если общее количество строк не делится нацело на заданный параметр, то группы формируются двух размеров с разницей в единицу. Причем группы большего размера идут перед меньшими группами. Например, если общее число строк равно 10, а число групп равно 4, то первые две группы будут состоять из 3 строк, а последние две — из 2. 📍 PERCENT_RANK — функция, которая возвращает относительный ранг строки в окне. Она вычисляет долю строк, ранг которых меньше, чем у текущей. Для подсчета используется формула (rank - 1) /([количество строк в окне] - 1). Возвращаемое значение лежит в отрезке [0, 1]. Если в окне только одна строка, то функция вернет 0. 📍 CUME_DIST — функция, которая возвращает кумулятивное распределение величины в пределах набора значений. Она вычисляет долю строк, ранг которых не больше, чем у текущей. Для подсчета используется формула N/[количество строк в окне], где N - количество строк, ранг которых меньше либо равен рангу текущей строки, включая ее саму. Возвращаемое значение лежит в полуинтервале (0, 1]. Круто, а как их использовать? По-разному. Например, с их помощью можно решить задачу ранжирования пользователей относительно их возраста или даты регистрации. Если хотите изучить больше пояснений по разным функциям и их использованию, разобрать примеры запросов к конкретным данным, а также получить доступ в нашу Redash песочницу, чтобы запустить запросы со всеми этими функциями и разобрать их «по запчастям», то вы всегда можете оформить подписку на FULL JOIN.

Ладно, больше никакого футбола 🤡 #пятничное #мем

Omni или BI инструмент, который работает быстрее вас ⌚️ Недавно я наткнулся на Omni, продукт от разработчиков Looker и Stitch, который увидел свет в этом году. Что в нем особенного? ▫️Основное преимущество этого инструмента в том, что модель выстраивается по мере того, как вы пишете запросы. ▫️Она автоматически парсит все SQL-запросы, позволяя вам в это время сосредоточиться на анализе данных. ▫️ В интерфейс Omni разработчики вшили редактор Vega, который позволяет вам создавать разнообразные визуализации с любым объемом данных. ▫️ Еще одна удобная особенность функционала Omni — это то, что рабочие пространства можно переслать своему коллеге, клиенту или начальнику просто по ссылке. ▫️ Полный список характеристик Omni доступен на сайте разработчиков.

На связи Data Heroes и в эфире э-э-эксперименты! ⚡️ (Если вам кажется, что эту фразу вы где-то слышали – вам точно кажется!) В сегодняшнем выпуске речь пойдет об интересном и важном этапе в аналитике – А/Б-тестировании. О методе исследования, при котором сравниваются результаты разных вариантов эксперимента. Наши спикеры поделятся своими лайфхаками и ответят на самые важные вопросы: ▪️Почему А/Б-тесты так важны для бизнеса? ▪️Какие есть неочевидные ошибки и как их не допускать? ▪️Как правильно интерпретировать результаты А/Б-теста? ▪️Есть ли какой-то ТОП инструментов для проведения А/Б-тестов? Включайте подкаст и прокачивайте свои скиллы вместе с нами! 🚀 БОНУС: Конечно же, наши спикеры обязательно дадут советы для новичков в А/Б-тестировании. Будет очень полезно! СПИКЕРЫ: Виталий Черемисинов, Анатолий Карпов, Ксения Шипулина Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓) #подкаст #DataHeroes

🎨 Как AI генерирует картинки: версия для кто так и не разобрался 😏 The Washington Post опубликовали статью с подробным разбором того, как работает Stable Diffusion 2.0. Взяв интервью у разработчиков и разбив этап генерации изображения на отдельные шаги, журналисты создали доступный и наглядный гид для знакомства с моделью. «‎Опять графики и скриншоты!» — воскликните вы. Нет, в этот раз все гораздо интереснее! На странице статьи вам будет предложено четыре условия для AI, на основе которых сеть сформирует изображение. Далее, вы пройдете весь путь модели от того, какими картинками ее кормили в младенчестве и как, будучи зрелой и натренированной, она научилась генерировать то, что вы получили в качестве результата после выбора четырех условий. Один из самых интересных этапов — это работа модели с цифровым шумом. Оказывается, чтобы научить Stable Diffusion 2.0 генерировать изображения, разработчики сначала научили ее видеть «спрятанные» объекты в картинках с разным уровнем шума. Ставьте ❤️, если статья вам понравилась, и пишите в комментарии, какие аспекты работы Stable Diffusion 2.0 вам больше всего интересны! #leftjoin_ai