LEFT JOIN

А вы используете естественные ключи? Использование естественных ключей кажется вполне логичным решением. Особенно, если у вас есть простой естественный ключ — что-то вроде ИНН или серийного номера, который в теории должен быть уникальным для каждой сущности в таблице. 💬 Если простого ключа нет, почти всегда можно придумать составной. Например, здесь автор приводит в пример студенческий проект — базу данных для сайта со списком 50 лучших ресторанов, где в качестве ключа предложили использовать сочетание названия заведения и города. Уже можно догадаться, какие минусы есть у такого подхода — чем больше город, тем больше вероятность, что там заведутся два ресторана с одинаковыми названиями. Но для небольшого набора данных, он вполне применим. Кроме вопросов к уникальности, которые почти неизбежно возникнут при работе с большим датасетом, есть и другие сложности. 🔵 Многие данные, которые можно было использовать в качестве первичного ключа, могут со временем меняться — например, телефон, email, номер и серия паспорта. В той же статье автор приводит пример, когда во время техосмотра выяснилось, что у его машины неправильный VIN. Проблема решилась тем, что механик просто исправил его в системе. То есть даже такие, казалось бы, неизменяемые вещи, как VIN или серийный номер могут в какой-то момент измениться. 🔵Никто не застрахован от ошибок и опечаток, и чем больше датасет, тем выше вероятность, что кто-то неправильно запишет номер или опечатается в собственном имени. Будет неприятно, если такая ошибка закрадется в поле, которое используется как первичный ключ. 🔵 Искусственный (суррогатный) ключ помогает избежать этих проблем, а еще в теории — упростить запросы и внесения изменений в таблицы. Хотя у них тоже есть минусы — неинформативность или сам факт создания каких-то дополнительных сущностей в таблице вместо того, что навести в данных порядок и обеспечить их точность, актуальность и уникальность. А какой вариант вам ближе? 👀

Ксения Сухова про любовь к Лондону, партнерство в бизнесе и роль мемов в создании бренда Консалтинг — это развод и скам? Иногда да. Как понять, какой консалтинг создает ценность для бизнеса, а какой только тратит время и деньги — обсуждаем в новом выпуске LEFT JOIN Partners. Гостьей второго эпизода Partners стала Ксения Сухова — managing partner в дата-консалтинге ASAO DS. Про что еще говорили? 🔵 Про жизнь и бизнес за границей, а также риски регистрации компании на Кипре. 🔵 Про то, как отличить хорошего аналитика от так себе специалиста (и каких «аналитиков» вообще лучше не нанимать). 🔵 Про то, как именно консалтинги помогают заказчикам извлекать профит из своих данных. 👀 Смотрите на YouTube и на VK!

Бесплатный вебинар для BI-специалистов Датавиз — это не просто графики рисовать. Датавиз — это то, что помогает сделать данные понятнее и ближе пользователю, чтобы он мог эффективно применять их в работе. Но что нужно, чтобы добиться в этом направлении успеха? 🔵 Как научиться делать действительно полезные дашборды с помощью дата-арта и сторителлинга? 🔵 Какие навыки нужны BI-специалисту, чтобы построить карьеру? 🔵 Как собрать сильное портфолио и привлечь внимание работодателей? Ответы на все эти вопросы вы узнаете на бесплатном вебинаре «Как BI-аналитику выделиться на рынке с помощью дата-арта и сторителлинга», который проведет Наталья Киселева — опытный BI-аналитик, тренер по датавизу и ментор в Data Visualization Society. Вебинар пройдет 11 декабря в 19:00 по МСК. 🔜 Зарегистрироваться

Состоялся релиз Sora Turbo ☝🏻 Это видео сгенерировала новая модель OpenAI — Sora. Sora представили еще в начала года, и вот наконец-то к ней открыли доступ. На этот раз официально, а не как когда ее слили на Hugging Face. 🔥 Публике доступна Sora Turbo — более мощная, чем предыдущая версия. Она умеет генерировать видео с разрешением до 1080p и продолжительностью до 20 секунд на основе текстовых промптов, изображений или других видео. Правда, это функционал для пользователей с подпиской Pro — на Plus можно генерировать видео с разрешением не больше 720p. По крайней мере, пока, а в начале следующего года обещают представить новые тарифы. Может быть, тогда и бесплатным пользователям что-нибудь достанется — сейчас поэкспериментировать с Sora без подписки нельзя.

Как вам новости? ❤️ — Круто, уже хочу потестить! 🌚 — Не впечатляет…

За что они так любят Excel? Мемы про сложные отношения аналитиков с Excel появились не на пустом месте. Часто пользователи просто не понимают своего счастья и не ценят все эти прекрасные дашборды, которые для них любовно собирают аналитики, BI-специалисты и дата-инженеры.

«Да, красиво, удобно, но можно те же данные в Excel показать, пожалуйста?»

☝🏻 Знакомо? Это может раздражать или фрустрировать, но это происходит не без причины. И часто причина — именно в дашбордах, которые сделали именно для того, чтобы сделать жизнь пользователя лучше. 1️⃣ Пользователь не доверяет данным. Ему понятен формат обычной таблички, а с дашбордом он просто может не понимать, откуда взялись данные или как был сформирован график. 🔜 Тут может помочь дополнительное обучение, инструкции и подсказки — все, что сделает дашборд понятнее. 2️⃣ Перемены нервируют или нарушают привычный рабочий процесс. Пользователь привык работать со своими таблицами, даже если они неудобные и громоздкие, а на составление отчетов уходила куча времени. Теперь ему надо привыкать к новому инструменту и менять процессы — это почти никому не нравится. Может быть, этот дашборд вообще ему не нужен был, а сделали его по требованию руководства. 🔜 Тут поможет обмен опытом. С одной стороны стоит привлекать пользователя к работе над дашбордом, чтобы он понимал, что и зачем делается и как это поможет ему в работе. С другой стороны — аналитикам надо понимать, как пользователь будет взаимодействовать с дашбордом, как он встроится в его рабочий пайплайн. 3️⃣ Дашборд просто неудобный. Он непонятный, он долго грузится, на нем миллион фильтров и кнопок, за которыми прячутся нужные данные. Да, так бывает — как бы вдумчиво вы ни подходили к разработке, иногда просто что-то идет не так. 🔜 Что тут посоветовать? Собрать фидбек и вносить правки. Если хочется почитать подробнее, то вот хорошая статья на эту тему.

#мем

Дашборд ответов Пока простые люди гадают на Таро, аналитики гадают на Tableau. Переходите по ссылке, задайте мысленно любой интересующий вас вопрос, на который можно ответить «Да» или «Нет» и нажимайте на кнопку — Дашборд Ответов вынесет свой вердикт. Пишите в комментах, что он ответил вам 👇🏻

OpenAI представили ChatGPT Pro 🔜 ChatGPT Pro — это платный тариф для тех, кому нужна вся мощь их флагманского продукта OpenAI. Он обойдется в 200 долларов в месяц — в 10 раз больше, чем уже привычный ChatGPT Plus. За эти деньги пользователи получат неограниченный доступ к o1 (включая режим pro), o1-mini, GPT-4o и голосовому помощнику. 🔜 o1 pro — это самая умная и мощная версия нейросети от OpenAI, которая дает самые точные и надежные ответы на промпты любой сложности. На странице с новостью даже бенчмарки  показали. В общем, ChatGPT Pro — решение для тех, кто готов платить серьезные деньги за доступ к одному из самых умных ИИ на сегодняшнем рынке. Либо мотивация для тех, кто не решался заплатить за Plus, увидел расценки на новый тариф и понял, что 20 долларов — это не так уж и много. 👀

Логика семплинга в SQL Кажется, что пятница ­— время расслабиться и почитать что-нибудь легкое? А вот и нет. 🔥 Принесли вам основательный лонгрид про семплинг с помощью SQL: 🔵 Как работают алгоритмы выборки без замены и с заменой и как реализовать оба. 🔵 Как увеличить скорость обработки запроса, понимая особенности чтения данных в БД. 🔵 Как сделать рандомную выборку чуть менее рандомной. Автор не пишет «press X to win» — то есть «напишите вот такой запрос, чтобы получить вот такой результат», а подробно объясняет логику их работы с формулами и ссылками на дополнительную литературу. Думаем, будет полезно и новичкам, и тем, кто с SQL работает уже не первый день.

Было полезно? ❤️ ­— Да 🌚 — Не особо

Новости от Amazon: Aurora DSQL Amazon многие знают в первую очередь как интернет-магазин, мы-то с вами в курсе, что это еще и крупная технологическая компания, известная своими облачными сервисами — хранилищами, вычислительными мощностями и так далее. Скоро этот список пополнится распределенной базой данных Aurora DSQL. 💬 Обещают практически неограниченные возможности для масштабирования, абсолютную отказоустойчивость и высокую скорость работы в сочетании с простотой в управлении. Aurora DSQL — бессерверная БД, и пользователю не придется беспокоиться об обновлениях или поддержке инфраструктуры. 💬 Правда, есть и ограничения — например, Aurora DSQL не поддерживает временные таблицы, создание представлений запросов или внешние ключи. Как это будет  работать на практике, пока неясно  — ни цены, ни дату полноценного релиза нового продукта Amazon еще не объявил.

Инструмент, который вытащит нужные данные из PDF Магия искусственного интеллекта избавляет от необходимости самостоятельно ковыряться в PDF’ках, чтобы найти в них нужные данные. 🔜 Documind — маленький open source инструмент, который сделает это за вас. Он обрабатывает PDF-файлы с помощью API OpenAI и возвращает структурированные данные. Можно самостоятельно дать задачу, какие данные и в каком формате вам нужны, а можно воспользоваться готовыми шаблонами. Пока их всего три: инвойс, банковская выписка и водительское удостоверение из Великобритании. Не густо, но разработчики обещают добавить еще, а также работают над облачной версией. Пока в нее пускают только после отправки  реквеста через сайт проекта.

Data Heroes: Data Science и AI в fashion-ритейле Представим, что вы решили обновить гардероб и зашли на сайт интернет-магазина одежды. Вы полистали каталог, вбили в поиск название вещи, которая вам нужна, зашли в карточку, посмотрели фотки и описание, присмотрелись к цене, а потом закинули покупку в корзину. Возможно, на странице товара вы увидели еще рекомендации — вещи, которые похожи на выбранную вещь или которые хорошо к ней подойдут. Как думаете, сколько из этих функций или сервисов на сайте так или иначе «усилены» с помощью ML? Правильный ответ: все. Машинное обучение и Data Science применяются почти во всех процессах крупного интернет-магазина: от закупа и поступления товара на склад до продажи и доставки до потребителя. В первом выпуске пятого сезона Data Heroes узнаем, как это работает в Lamoda. А расскажет нам это Дмитрий Малахов, Direction Lead Ranking & Navigation в Lamoda Tech. 🔵 Как команды DS внедряют новые алгоритмы в работу и оценивают их эффективность? 🔵 В каких процессах в ecom ИИ уже используется, а где еще найдет применение в ближайшее время? 🔵 ИИ-реклама — это обман потребителя или удобный инструмент и для продавца, и для покупателя? 🔵 Чем Data Science и ML в fashion-ритейле отличаются от Data Science и ML в банкинге и других сферах? Смотреть: YouTube, VK Видео Слушать: Spotify, Apple Podcasts, Яндекс Музыка

ML в аналитике: не можешь победить — возглавь ИИ не со всеми (пока) задачами справляется лучше людей, но в чем он точно нас уже превосходит, так это в обработке больших объемов данных. Он обнаружит тренды и закономерности, поможет составить прогнозы и найти инсайты. И чем больше данных, тем сложнее с ними справиться человеку, и тем лучше будет результат работы ИИ. 💬 Так что же это значит — аналитики больше не нужны? Их всех заменят дата саентисты с их большими зарплатами и ML-моделями? Не факт. Аналитики все еще нужны, но им предстоит адаптироваться к новым условиям и осваивать Machine Learning — к такому выводу пришел Виктор Кантор, Ex Chief Data Officer МТС, Ex Chief Data Scientist Яндекс.Такси, основатель онлайн школы машинного обучения MLinside. Как аналитикам стать ценнее в глазах компании — своим опытом Виктор поделился в этом посте.

OLAP — как сделать сложную бизнес-аналитику проще OLAP — технология, которая помогает обрабатывать большие объемы данных, формировать отчеты и быстро находить в них ответы на бизнес-запросы: например, какая категория товара принесла больше всего прибыли или как скидки и акции влияют на продажи. Эта технология используются во всех сферах бизнеса — не только в продажах, но и в маркетинге, логистике, продуктовой аналитике и финансовом планировании. Все это делает OLAP ценным инструментом для бизнес-аналитиков, руководителей аналитических отделов, CDO и CTO. 🔜 Хотите узнать, как использовать OLAP на практике? Участвуйте в бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных». Что там будет? 🔵Сферы применения — где может пригодиться OLAP. 🔵 Функции и преимущества Platform V OLAP Analytics — инструмента для интерактивного анализа данных. 🔵 Возможность задать вопрос эксперту по OLAP и Platform V OLAP Analytics. Когда? 12 декабря в 11:00. Регистрируйтесь на сайте

Подборка туториалов по созданию графиков в Tableau Вы спросите — это что, еще один гайд по датавизу? А мы ответим — да, потому что много гайдов по датавизу не бывает. Особенность этого — в том, что автор собрала довольно необычные туториалы — например, по созданию диаграмм Вороного или верстке графиков, которые выглядят как нарисованные от руки. Каждая точка на ее дашборде — это ссылка на туториал.

Было полезно? ❤️ — Да, спасибо! 🌚 — Нет, для меня это неакутально…

ИИ в науке: результаты и этические вопросы Если вы следите за новостями науки, то, наверное, помните, что в этом году аж две Нобелевских премии присудили за разработки в области ML: по физике и по химии. Кстати, нобелевку по химии дали создателям алгоритма AlphaFold, про который мы уже писали в октябре. 💬 За последние годы нейросети действительно прочно заняли место в науке, отмечает руководитель Школы анализа данных (ШАД) Яндекса Алексей Толстиков. Искусственный интеллект помогает разрабатывать лекарства, сканирует карты звездного неба в поисках экзопланет, расшифровывает мертвые языки и даже помогает сохранить популяцию снежных барсов в нацпарке «Сайлюгемский». ИИ уже приносит результаты, которые без него были бы недостижимы, но его применение в науке поднимает этические вопросы. 🔜 Нейросеть может справиться с задачами, которые не по силам человеку: сложнейшими вычислениями или обработкой огромных массивов данных. Но чем сложнее задачи, которые выполняет искусственный интеллект, тем выше цена ошибки — и поэтому человек незаменим, чтобы контролировать и управлять ИИ. Особенно в таких чувствительных сферах, как медицина или образование. Видно, технология удачно вписалась в работу ученых. А вы что скажете? Как вы относитесь к внедрению ИИ-разработок в научные исследования? 👀

Как построить аналитику за 5 шагов Помните загадку Льюиса Кэррола: что общего у ворона и письменного стола? У нас есть своя версия: что общего у голодного студента и стартапа, который решил построить систему аналитики? Ответ в новом видео на канале LEFT JOIN 🔜 https://youtu.be/UGmVolf938o И в VK 🔜 https://vk.com/wall-195051876_223 Про что видео (кроме голодных студентов)? 🔵 С чего на самом деле начинается создание системы аналитики? 🔵 Что учесть при выборе хранилища и BI-платформы? 🔵Что происходит после того, как вы сверстаете все дашборды?

А как вы готовитесь к праздникам? За окном декабрь, а значит пора начинать закупать новогодние подарки и расписывать бюджет на оливье. Кто-то делает это в блокнотике или в заметках на смартфоне, кто-то держит все в уме, ну а кто-то выбирает более основательный подход. 💬 Вряд ли вы удивитесь, что в Notion и Google Sheets полно готовых шаблонов для подготовки к праздникам Есть бесплатные и платные, есть совсем простые таблички, а есть целые дашборды с графиками и формулами или доски, позволяющие отследить весь путь подарка от стадии «Упакован» до долгожданного «Открыт». В основном, конечно, на английском, но и на русском тоже кое-что нашлось. В общем, варианты на любой вкус для всех кто, любит таблички и даже Нового года не готов оторваться от родных таск-трекеров и дашбордов. ❤️ Если у вас есть свои любимые шаблоны, делитесь в комментариях, и заодно расскажите:

Пользуетесь шаблонами в Notion и Google Sheets для подготовки к праздникам? ❤️ — Пользуюсь или планирую начать 🙈 — Нет, не вижу в них смысла

Было? 😔

Что-то из ничего: SQLite для веб-приложений SQLite — СУБД, к которой многие до сих пор относятся слегка снисходительно. Она простая, легкая и быстрая, но ее сфера применения ограничена, в основном, компактными приложениями с небольшим объемом данных. Но простота и удобство SQLite ведут к еще одному, очень важному преимуществ — с ее помощью (и в сочетании с такими же простыми и удобными тулами и фреймворками) она позволяет оперативно и без дополнительных затрат сделать что-то из ничего. То есть перейти от стадии едва оформившейся идеи до рабочего MVP. 🔜 Хороший пример — текст выступления с прошлогодней RubyConf Taiwan Автор показал, как запилил приложение на Rails, использовав с SQLite в качестве хранилища. Само приложение уже недоступно, но сохранилось подробное описание работы над запуском. Так что, если вам нужно разобраться, как сделать это все на практике — там пошаговая инструкция со скриншотами, как задеплоить приложение на Rails на серверах Digital Ocean с помощью Hatchbox. 💬 Но главное даже не это, а вот эта часть:

It is so easy for us engineers to get lost in trying to do things the “right way” that we lose sight of the value and importance of just doing things at all. Нам, инженерам, так легко увлечься стремлением сделать всё "правильно", что мы теряем из виду ценность и важность самого факта выполнения задачи.

В общем, суть в том, что иногда стоит выбрать неидеальный, но удобный и понятный инструмент, чтобы поскорее начать работу и получить первые результаты.

Что скажете? ❤️ — Да, рабочий подход 🤔 — Ну, не знаю, не всегда он подойдет 🙈 — Точно нет, потом все равно придется все переделывать!