LEFT JOIN

Что делать, если вы продакт и не видите свежих данных? Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными. От этого никто не застрахован, даже компании с самыми классными дата-командами. Хотим помочь разобраться, как решить проблему и при этом всем остаться друзьями. Напомним, что обычно данные идут к вам по такой цепочке: источник 🔜 оркестратор (как правило, Airflow) 🔜 хранилище 🔜 BI-инструмент. Любое звено этой цепи может засбоить по самым разным причинам. 💬 Часто интуиция не обманывает, и, если кажется, что надо бы покопаться в данных — стоит ее послушать. Но на одном наитии далеко не уедешь. Прежде чем идти к дата-инженеру и возмущаться, сформулируйте запрос. Какие метрики вызывают вопросы? За какой период? Из каких источников? Есть ли аномалии, на которые вы можете точно указать? Так и DE будет проще разобраться и найти проблему. 💬 Сравните свои данные с источником. Если вы тянете информацию из Яндекс.Метрики, сравните ее «родной» дашборд в личном кабинете с вашим. Есть ли расхождения между ними? Если есть, значит, что-то в данных поломалось на пути на дашборд. Если нет, проблема на уровне источника. 💬 Спросите, как коллеги мониторят свои процессы и отслеживают ошибки. В идеале у них должны быть настроены алерты, чтобы сразу получать уведомления о проблемах. Если такого нет, стоит поинтересоваться почему и как дата-инженеры контролируют целостность пайплайна. 💬 Алерты настроены, и по ним видно, что что-то ломается постоянно? Это тревожный звоночек и повод инженерам покопаться в коде. Это часто бывает, когда код избыточный, доставший в наследство от предыдущих инженеров и накопивший в себе кучу мусора. Это все надо приводить в порядок. 💙 Мы кратко описали частые проблемы и возможные решения, но можем рассказать и подробнее. Сделали форму из 5 вопросов, где вы можете поделиться, какие сложности в работе с данными у вас возникают, а мы попробуем помочь.

Скарлетт Йоханссон против OpenAI В OpenAI очередная драма, в которой смешались кони, люди, Сэм Альтман, Скарлетт Йоханссон, сомнительные публичные извинения, GPT-4o и фильм «Она» 2013-го года. В прошлый понедельник OpenAI представила новую флагманскую модель GPT-4o. Она бодрым женским голосом отвечала на вопросы, шутила и помогала решить математические задачки. Этот голос называется Sky, и если вы смотрите голливудские фильмы в дубляже (или вообще их не смотрите), то для вас он, скорее всего, звучал абсолютно обычно. Зато англоязычная публика сразу заподозрила, что он звучит подозрительно похоже на Скарлетт Йоханссон. Конечно, можно сказать, что это просто совпадение, но кажется, что подозрения публики (и самой Йоханссон, которая весьма раздражена этой ситуацией) небеспочвенны. 💬 В сентябре прошлого года Сэм Альтман сам предложил актрисе подарить свой голос GPT, но она отказалась. 💬 За два дня до релиза новой модели Альтман связался с ее агентом еще раз и спросил, не хочет ли она изменить мнение. Ответа он не дождался, а релиз таки состоялся. 💬 14 мая Альтман написал твит с одним словом: «her». Многие посчитали его отсылкой к фильму «Она» (Her в оригинале), где Сири-подобную ИИ-помощницу Саманту озвучила… да, Скарлетт Йоханссон. До этого Альтман уже признавался в любви к этому фильму. После того, как Йоханссон высказала свое недовольство, голос Sky убрали из доступа. В блоге OpenAI вышел пост про то, как они выбирали голоса, а Альтман заявил примерно следующее: «Sky озвучила другая актриса, но из уважения к мисс Йоханссон мы перестанем использовать этот голос в своих продуктах. Приносим извинения за это недопонимание». 🔜 Если сравнить то, что мы слышали на стриме OpenAI и в трейлере Her, то кажется, что голоса звучат и правда похоже. Но с другой стороны — нет доказательств, что это действительно голос Йоханссон, а не другой актрисы с похожим тембром. Что думаете? Вы на стороне Скарлетт Йоханссон или верите OpenAI? 👀

Кто убил поиск Google? Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется. Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зитрон. Он выстроил хронологию событий с февраля 2019 года, когда менеджмент разных отделов, ответственных за поиск и рекламу, начал обсуждение проблемы с поиском. И нет, их беспокоило не качество выдачи, а то, что он генерировал намного меньше прибыли, чем хотелось бы. 💬 В марте 2019 Google выкатил один из самых масштабных апдейтов поиска за свою историю. Оказалось, что «апдейт» откатил назад некоторые изменения, которые убирали из выдачи сомнительные сайты. 💬 В мае того же года поисковик изменил дизайн рекламных объявлений в мобильной версии, сделав их более похожими на реальные результаты поиска. 💬 В январе 2020 это нововведение добралось и до ПК. 💬 Через 5 месяцев Google Search возглавил Прабхакар Рагхаван, сменив Дэна Гомеса, который руководил направлением почти 20 лет. 💬 До того, как Рагхаван пришел в Google он работал в Yahoo! с 2005 по 2012 год. Когда он начал работу в компании, она занимала 30 % рынка — ненамного меньше, чем Google c 36%. Когда он уходил, этот показатель снизился до 13%. И именно Рагхавана Зитрон винит в том, что Google стал работать хуже. Учитывая прошлые заслуги — выглядит реалистично. Более того — таких людей, как Рагхаван он считает одной из главных проблем современной IT-индустрии. По его словам, ведущими IT-компаниями сейчас руководят не разработчики и их основатели, а наемные менеджеры, которых интересует прибыль, а не качество продукта. И это общая тенденция, а не проблема одного Google. В такой трактовке обстановка в индустрии выглядит по-киберпанковски мрачно: беспринципные корпорации готовы на все, ради краткосрочной прибыли — даже принести в жертву свои собственные продукты, на которых и строится весь их бизнес. А вы что думаете? И как относитесь к Google — пользуетесь их поиском или нашли альтернативу?

North Star Metric: путеводная звезда для бизнеса Заметили, что у фреймворков по определению метрик для бизнеса очень уж говорящие названия? То «пиратские» метрики AAARR, то «Сердце» от Google. Или North star metric — она же «метрика Полярной звезды». Так называют метрику, отражающую ценность, которую вы приносите клиентам Главное в этой метрике то, что она про клиента. Прибыль компании, продажи, количество лидов — это тоже важно, но эти показатели не отражают напрямую, насколько полезен и успешен ваш продукт у клиентов. Можно подумать, что по числу продаж вполне судить о востребованности. Но это не всегда так: например, NSM службы доставки еды, это не просто «число заказов», а «число заказов, доставленных без жалоб со стороны покупателей». В общем, не все так просто. Так как же найти свою Полярную звезду? NSM должна быть не абстрактной. Она должна быть: 🔵 измеримой — вы можете точно посчитать ее в цифрах, 🔵 контролируемой — вы можете влиять на нее своими действиями, 🔵 понятной и близкой всем сотрудникам компании, а не какому-то одному отделу, 🔵 показывающей то, что ваш клиент получил то, что хотел. Последнее — самое сложное. Надо определить ключевую ценность, которую вы создаете для пользователя. Зачем он пользуется вашим продуктом? 💬 NSM у Spotify — время, проведенное за прослушиванием музыки. 💬 У Uber — число поездок в неделю. Любопытно, что она отражает ценность сервиса для двух категорий пользователей: тех, кто заказывает такси, и тех, кто работает таксистом. 💬 У AirBNB — число забронированных ночей. Тут то же, что у Uber: можно судить о пользе и для бронирующих, и для сдающих квартиры. Когда вы определите главную метрику, вы сможете составить план, как обеспечить ее рост. Самый известный и наглядный пример — Spotify: Нужно, чтобы люди дольше слушали музыку 🔜 Нужно, чтобы они заходили в приложение и взаимодействовали с ним (искали песни, составляли плейлисты) 🔜 Нужно, чтобы там регулярно появлялась новая музыка и исполнители.

Мошенничество с помощью ИИ Как ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах? Что такое дипфейк, и зачем его распознавать? 🔜 Ответы — уже на канале «Дата Коля»!

Искусственный интеллект в Edtech Ребята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе. 🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал, как ИИ помогает студентам быстро получать ответы на вопросы и одновременно снижает нагрузку на техподдержку. В статье «Яндекс Практикума» есть еще больше примеров. Условно их можно разделить на две большие группы: помощь студентам и помощь преподавателям. 🔵 Студентам ИИ может помочь выполнить домашнее задание, дать фидбек и указать на ошибки, объяснить сложную тему простым языком, составить персонализированный план обучения. 🔵 Преподавателям ИИ помогает создавать контент уроков на основе ключевых слов, писать инструкции к домашним заданиям, проверять их и мониторить ситуацию на курсе — то есть отслеживать, у кого из студентов есть трудности. Все это облегчает жизнь всем участникам процесса. Студент быстро получает обратную связь и ответы на любые вопросы, не дожидаясь, пока освободится преподаватель или сотрудник техподдержки. Преподаватель снимает с себя часть рутинных обязанностей по подготовке контента. Удобно, но сразу возникает вопрос: где проходит граница, когда ИИ в образовательном процессе становится слишком много? Что вы думаете по этому поводу? 👀

Что было на Google I/O Не успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O. Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное. 🔜 Большая часть новостей — про Gemini, флагманскую модель Google. 💬 Она, конечно же, станет еще быстрее и умнее, а также интегрируется в инструменты вроде Google Документов, Таблиц, Диска, Gmail’а. Обещают превратить ее в ИИ-ассистента, который поможет найти нужный файл или информацию. 💬 И у Chrome тоже появится свой ИИ-помощник — к нему прикрутят Gemini Nano. 💬 Gemini 1.5 Flash — модель, оптимизированная для узкого функционала, где важна высокая скорость ответа. Пообещали, что она будет такой же сообразительной, как «обычная» Gemini Pro. 💬 Gemini Live — фича, которая позволяет модели делать все то же самое, что GPT-4o, которую представили вчера. То есть поддерживать живой диалог (и ее тоже можно перебивать!), говорить с разными интонациями и моментально реагировать на то, что она «видит» через камеру смартфона. 🔜 И не забываем про Veo — модель для генерации видео, ответ Google на нашумевшую Sora. Ее уже питчат Youtube и Голливуду. Пощупать ее пока нельзя, только попробовать записаться в лист ожидания. 🔜 В общем, если кратко, то Google внедряет ИИ вообще во все свои продукты, а еще все почему-то все стремятся сделать так, чтобы языковые модели можно было перебивать посреди ответа. Учитывая, как быстро развивается ИИ, мы бы не рекомендовали этим злоупотреблять и грубить ему. 👀

Кто убил поиск Google? Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется. Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зитрон. Он выстроил хронологию событий с февраля 2019 года, когда менеджмент разных отделов, ответственных за поиск и рекламу, начал обсуждение проблемы с поиском. И нет, их беспокоило не качество выдачи, а то, что он генерировал намного меньше прибыли, чем хотелось бы. 💬 В марте 2019 Google выкатил один из самых масштабных апдейтов поиска за свою историю. Оказалось, что «апдейт» откатил назад некоторые изменения, которые убирали из выдачи сомнительные сайты. 💬 В мае того же года поисковик изменил дизайн рекламных объявлений в мобильной версии, сделав их более похожими на реальные результаты поиска. 💬 В январе 2020 это нововведение добралось и до ПК. 💬 Через 5 месяцев Google Search возглавил Прабхакар Рагхаван, сменив Дэна Гомеса, который руководил направлением почти 20 лет. 💬 До того, как Рагхаван пришел в Google он работал в Yahoo! с 2005 по 2012 год. Когда он начал работу в компании, она занимала 30 % рынка — ненамного меньше, чем Google c 36%. Когда он уходил, этот показатель снизился до 13%. И именно Рагхавана Зитрон винит в том, что Google стал работать хуже. Учитывая прошлые заслуги — выглядит реалистично. Более того — таких людей, как Рагхаван он считает одной из главных проблем современной IT-индустрии. По его словам, ведущими IT-компаниями сейчас руководят не разработчики и их основатели, а наемные менеджеры, которых интересует прибыль, а не качество продукта. И это общая тенденция, а не проблема одного Google. В такой трактовке обстановка в индустрии выглядит по-киберпанковски мрачно: беспринципные корпорации готовы на все, ради краткосрочной прибыли — даже принести в жертву свои собственные продукты, на которых и строится весь их бизнес. А вы что думаете? И как относитесь к Google — пользуетесь их поиском или нашли альтернативу?

Spring Update от OpenAI На вчерашнем стриме OpenAI представила несколько крутых нововведений. Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное. 🔥 Самая громкая новость — это презентация новой флагманской модели GPT-4o. 💬 Она такая же умная, как GPT4, но намного быстрее — на запрос, сказанный вслух, отвечает в среднем за 320 миллисекунд. Для сравнения у GPT4 задержка ответа составляла 5,4 секунды. Это происходило из-за того, что для «понимания» запроса, генерации и озвучивания ответа использовались 3 разные модели. GPT-4o натренирована на текстах, видео и аудио, поэтому она намного быстрее. 💬 GPT-4o умеет петь, шутить и «говорить» с разными интонациями. А еще ее можно перебивать прямо посреди ответа, и она реагирует на новый запрос моментально. 💬 На стриме показали, как она хорошо понимает рукописный текст, который ей показали через камеру, помогает решить простое уравнение, трактует информацию на графиках и распознает код. 💬 Внедрять возможности GPT-4o в работе будут постепенно в течение следующих недель. Некоторые функции уже доступны через API. Самое интересное оставили напоследок — GPT-4o будет доступна для всех пользователей. Да, для тех, кто пользуется бесплатной версией тоже. 🔥

Таблица для тех, кто собирается в поездку Приближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые собранные и внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут. В TikTok завирусился новый способ, как собрать сумки перед поездкой и 100% ничего не упустить. 🔜 Все вещи, которые надо взять с собой распределяются по нескольким категориям: то, что надо положить в рюкзак, в сумку или нести на себе. 🔜 Например, смартфон, часы и кошелек можно пронести на себе, ноутбук — положить в рюкзак, а купальник — в сумку или чемодан. В отдельные мешочки складываются зарядки для гаджетов и туалетные принадлежности вроде зубных щеток. Список категорий можно настроить под себя — если вдруг у вас больше чемоданов. 🔜 В отдельной колонке подсчитывается, насколько заполнена каждая сумка. То есть, когда все вещи из категории «в рюкзак» будут отмечены как упакованные, напротив нее будет стоять «100%». 🔜 В более продвинутую версию таблички можно даже занести стоимость вещей и вес чтобы заранее прикинуть, сколько будет весить каждая сумка. Создатель таблички сказал, что друзья над ним смеются, но в TikTok его подход оценили. Для всех заинтересовавшихся он поделился таблицами для Google Sheets и Excel. Есть платная и бесплатная версии. Когда он только выложил их, желающих скачать было так много, что сайт упал, но сейчас все в порядке.