LEFT JOIN

Как работает Shazam? Shazam — волшебное приложение, которое может распознать, что за крутая песня играет в шумном баре. Как оно это делает? 👀 Нашелся человек, который разобрался, правда, по документации из 2003 года. Догадываемся, что за 20 лет что-то могло измениться, но общий принцип работы тот же. Рассказываем самое интересное, а детали уже в источнике. 👀 Начинаем с неожиданного факта — вы знали, что раньше в Shazam надо было звонить? Пользователь набирал номер и подносил телефон к источнику музыки. Через 30 секунд ему приходила SMS с данными о песне. Работа Shazam делится на две части: регистрация и распознавание 💬 Регистрация — это создание «отпечатка» песни и добавление его в базу. Распознавание — запись сэмпла песни, про которую хочет узнать юзер, и сравнение его с «отпечатками» в базе. 💬 Когда приложение регистрирует песню, оно создает ее спектрограмму — график, где ось X показывает время, Y частоту звука, а цвет громкость. На нем программа находит пики — самые громкие частоты. Соседние пики хэшируются попарно, чтобы создать уникальный «отпечаток» песни. Он хранится в базе приложения. 💬 Когда Shazam распознает песню, он записывает небольшой фрагмент, который прогоняет через те же стадии, что в прошлом пункте: создание спектрограммы и хэширование. То, что получается в итоге, приложение сравнивает с песнями в базе. Как Shazam распознает песни, несмотря на шум? Тут надо разобраться, как строится спектрограмма. Песня делится на небольшие отрывки, которые проходят через преобразование Фурье. Это позволяет определить, какие частоты и в каком объеме встречаются в каждом из них. Даже если на запись попали сторонние звуки, приложение все равно сможет определить доминирующие частоты в песне, найти пики и сравнить с «чистыми» записями в базе. Конечно, это не поможет если шум слишком сильный. Вот такая магия стоит за Shazam’ом. Если интересно, как это все устроено изнутри, автор дополнил материал ссылками на свое приложение для распознавания звука abracadabra, созданного по тем самым документам из 2003.

Python за 6 часов Всем привет! Николай Валиотти на связи. Мой кипрский бро Саша Ильин наконец-то запилил свой шестичасовой бесплатный Python-курс, который теперь доступен на ютубе 💪 Зная Сашу лично, могу смело его вам рекомендовать: он всегда супер-ответственно подходит к своей работе. Если говорить совсем честно, Саня конкретно упоролся, полгода пилил курс, почти не выпускал другие видео, да и в целом выглядел довольно занятым дядькой 😁 Курс начинается с изучения самых базовых понятий — типы переменных, списки, циклы, функции, а заканчивается декораторами, классами и написанием несложного Telegram-бота! Если бы мне щас надо было бы изучать Python, я бы точно начал c видоса Саши!

Киберспорт для серьезных людей Мальчик: смотрит чемпионат по «Доте» Мужчина: смотрит чемпионат по Excel 👀 Да, владение старым добрым Экселем — тоже киберспорт со своим чемпионатом в Лас-Вегасе, спонсорами и призовым фондом в 15 000 долларов. В финале Microsoft Excel World Championship, который прошел 7-9 декабря приняли участие 16 человек, настоящих профи по табличкам и формулам. Им давали задания, специально спроектированные так, чтобы для решения не требовалось специальных профессиональных знаний, кроме знакомства с функционалом Excel. Например, рассчитать, сколько минералов можно намайнить на астероиде в игре Eve Online. Все данные для расчета участникам предоставляли, а дальше надо было применить знания формул, смекалку и логическое мышление. Каждое задание было разделено на несколько уровней с возрастающей сложностью и дополнительными вопросами. На решение — 30 минут. 🔥 В общем, это было захватывающе. Победил аналитик из Сиднея Эндрю Най – третий раз подряд! На сайте компании, в которой он занимает должность директора, уже выложили целое интервью с ним.

Почему работать в команде не всегда здорово Спросите вашего эйчара: «В чем сила, брат?» И он скажет: «Конечно, в команде!» Смысл в этом есть — мало кто может позволить себе быть одиноким волком. Так или иначе приходится учиться договариваться и объединять усилия для достижения общих целей. Правда, иногда такое, в общем, благое дело, как командная работа, дает не тот эффект, как хотелось бы. 🔜 Эффект общеизвестного факта — это ситуация, когда участники команды вместо того, чтобы привносить в обсуждение что-то новое, обсуждают то, что все и так знают. Про это есть целое исследование. 💬 Исследователи описали три проекта, A, B и C, с разным количеством плюсов и минусов. Самым перспективным был проект B. 💬 Данные о проектах предоставили 307 участникам, которые принимали решение самостоятельно. Каждому дали 10 минут на рассуждение и список характеристик проекта без оценочных суждений. То есть без заявлений вроде: «Плюсы проекта A в том, что…» 80% участников выбрали проект B. 💬 Затем обсуждению привлекли команды, и если у всех участников была одинаковая и полная информация, они тоже выбирали B. 💬 Ситуация менялась, если данные распределялись неравномерно. Плюсы проектов A и C и минусы проекта B рассказали всем участникам. Минусы A и C и плюсы B донесли по-разному. То есть разные участники знали о разных достоинствах B и недостатках A и C. В итоге только 31% команд распознали проект B как оптимальный. На этот исход влияет несколько факторов: и динамика в группе, и человеческая любовь к предварительным выводам и предвзятости подтверждения. Но бороться с этим можно. В конце исследования есть рекомендации: например, визуалировать доступную информацию и отдавать приоритет тщательному сбору данных перед принятием решения. 💙 Вот так, думали у нас тут какой-то эйчарский пост про софт скиллы, а на самом деле все опять свелось к данным.

3 способа выбрать СУБД Рекомендуем полезную статью по выбору СУБД на Хабре — без воды, только самое главное: немного теории и полезная шпаргалка, которую стоит сохранить себе. 1️⃣ Классификация СУБД по типам с примерами и указанием, для каких задач они подходят, а с какими справляются плохо. 2️⃣ Технические параметры разных систем: структура данных, масштаб, характер обращений, сертификация, тип лицензии и так далее. 3️⃣ Теорема САР. Согласованность данных, доступность, устойчивость к разделению — выберите два и найдете подходящую СУДБ. Но самое крутое — это, конечно, схема, которую нарисовали авторы, чтобы все эти знания было удобнее применять на практике. Они предлагают аж три способа подбора подходящей СУБД. Самый простой из них — отвечаете на 5 вопросов и тут же получаете рекомендацию, какая система оптимально подойдет под ваш запрос. Можно придраться, что не упомянули какую-нибудь СУБД или, наоборот, что пытались объять необъятное и предложили слишком много вариантов, когда можно было ограничиться самыми популярными. Но не будем — идея хорошая и исполнение тоже.

SQLite: большой потенциал маленькой СУБД Как-то раз нам в комментариях написали, что SQLite уже прошлый век и пора переходить на новые, более лучшие модные СУБД. SQLite часто воспринимают как инструмент с ограниченными возможностями для работы с небольшими сайтами и приложениями. Это и неудивительно: SQLite — встраиваемая СУБД, которая хранит данные локально в одном компактном файле. Отсюда и вытекают все ее плюсы и минусы. Но возможности у нее не такие уж и скромные. Например, вот тут автор рассказывает подробнее про преимущества SQLite. 💬 Бодрая скорость работы с минимальными задержками даже при обработке большого количества запросов. 💬 Она встраивается в приложение — а значит, это минус один сервис, за которым надо следить разработчику. Одной головной болью меньше. 💬 SQLite справляется с базами данных объемом в эксабайт или миллион терабайт. Большинству из пользователей этой СУБД такие масштабы совершенно не нужны, но если вдруг понадобится — имейте в виду. 💬 Хранение данных в одном файле накладывает ограничения, которые приходится обходить надстройками и дополнительными сервисами. Зато это упрощает разработку и тестирование приложений. Это просто файл, с которым работать намного легче, чем с более сложной базой данных. Резюмируя, это перспективный инструмент, который иногда после некоторых доработок вполне может потягаться с более «серьезными» СУБД. А как вы думаете? Согласны с автором? 👀

Немного Youtube-аналитики 👀 Как вы думаете, у какого видео на Youtube больше просмотров — аж 13 миллиардов? Ответ заставит вздрогнуть всех, у кого есть дети: Baby Shark Dance. ❤️ А самое залайканное видео — Despacito с 52 миллионами лайков. А теперь перейдем к более узким категориям. Догадаетесь, какой игровой трейлер набрал больше всего просмотров (> 100 млн) и лайков (>9 млн) в первые 24 часа? Подскажем: 💬 Он вышел вчера. 💬 Эту игру мы ждем 10 лет… 💬 …И подождем еще больше года — она выйдет в 2025. Ну, конечно, это трейлер Grand Theft Auto VI! Ладно, признаемся, весь этот пост мы затеяли только для того, чтобы написать про GTA. Канал-то про аналитику и данные, так что пришлось что-то придумывать, но пропустить такой инфоповод мы не могли.

1 доллар и 24 года инфляции За что мы любим хороший, качественный датавиз — так это за то, что он через обычные графики может рассказать историю. 🔜 График изменений индекса потребительских цен в США с 1999 по 2023 годы — это не просто сухие цифры и скучная статистика, а целая сага. Нам нем видно и кризис 2008, и резкий рост цен в пандемию, и неумолимо дорожающую медицину. 🔜 Авторы взяли данные о динамике цен на еду, недвижимость, одежду, транспорт, медицинские услуги, развлечения, образование и абстрактное «прочее». Их объединили в один график, но если навести на него мышку, можно посмотреть детализацию по категориям, годам и месяцам. Еще и со сравнением с предыдущими периодами! Получилась эффектная визуализация того, как изменилась ценность одного доллара за 24 года. Даже если вы от США далеко, посмотреть все равно интересно — хотя бы, чтобы впечатлиться объемом работы.

Карта скиллов продакта 3.0 Однажды много классных людей объединились и написали в Figma большой гайд по продакт-менеджменту. Это было в феврале 2023, и с тех пор документ расширился, дополнился и стал еще лучше. Осенью вышла версия 3.0, в которой авторы охватили больше 4000 тем. Чтобы пользователь в них не путался, ему на выбор предлагают три способа навигации: 🔵 по фазам жизненного цикла продукта — стратегия, разработка, аналитика, выход на рынок, поддержка; 🔵по навыкам — работа с продуктом, с клиентом, с партнерами и командой, опять аналитика и выстраивание процессов, 🔵 по грейдам от джуна до топа — вариант специально для тех, кто хочет прокачаться и построить карьеру. Сам документ разделен на блоки, с перекрестными ссылками на другие разделы, схемами, определениями и полезными материалами. В общем, это действительно целая карта. 👀 Для кого это? В первую очередь — для продакт-менеджеров любого уровня. Но не только для них: документ настолько обширный, что даже человек, не занимающийся непосредственно запуском продуктов, найдет что-то интересное. Например, в блоках про аналитику или про взаимодействие с клиентами или коллегами. И в конце концов, это просто крутой и стильно оформленный документ. Отличный пример удобного и продуманного гайда. 🔥

Мануал к дому: современные решения для современных проблем Вы помните, когда надо счетчики на воду менять? А модель счетчика назовете? Или где у вас лежат гарантия на холодильник и инструкция к стиральной машинке? Рано или поздно придется разобраться, что значат все эти значки и циферки с градусами. 🔜 Если эти вопросы вызывают затруднения, не расстраивайтесь. До них у многих не доходят руки, пока не возникнут проблемы. Вот тогда приходится срочно искать документы и еще хуже — разбираться, где проходят провода и куда сантехники запрятали вентили на трубах. Это всегда невовремя и невесело. Но решение есть — написать мануал! От проблем не избавит, но решать их станет проще. 🔜 Так поступил разработчик Люк Сяо, который недавно купил дом. Он задался вопросами, похожими на те, что в начале поста, и понял, что много не знает о месте, где живет. Люк решил собрать ответы в одном месте: ТТХ, явки и пароли, документы, инструкции и ченджлог. То есть, сделал ремонт или купил что-то новое — сразу записал. Он взял фреймворк Diátaxis и создал для своего дома репозиторий на Git. Вы скажете, что это слишком, мы скажем — возможно. Но все равно вызывает уважение. 🔥 Да и сам Люк признает, что большинству людей хватит гуглодока. Но если вы хотите повторить его опыт, он довольно подробно его описал с ссылками, скринами и полезными советами. Что скажете? Готовы написать мануал к дому или не будете заморачиваться?

Спасти полмиллиона долларов за пять минут Поучительная история про эффективный менеджмент и дыры, в которые с невероятной скоростью утекают деньги. 🔜 Несколько лет назад компания N решила, что ей нужна своя платформа для аналитики, чтобы стать более data driven. Узнали, согласны? Компания, в числе прочих, наняла на работу дата саентиста, недавнего выпускника. Тот обнаружил две вещи: 1️⃣ Дата саенсом в его работе и не пахло. 2️⃣ Компании N дата саенс был вообще не нужен, а нужно было для начала сократить раздутый штат. Вместо этого компания наняла кучу важных консультантов. Узнали, согласны? Тем временем обещанная платформа для аналитики все не строилась и не строилась. Тот самый дата саентист успел уйти из компании, мир успел сотрястись от ковида, а платформы все не было. Узнали, со… ладно, больше не будем. 🔜 Дата саентист вернулся в компанию N спустя несколько лет, потому что ему нужны были деньги, а компании, из которой регулярно сбегали сотрудники, нужны были люди. Там он увидел вещи, которые вам и не снились. Хаос технического долга у многострадальной платформы, которая только начала работу. Никаких ранее обещанных функций у нее не было, зато был файл, сносящий прод при переносе в другую папку. А еще база данных на Snowflake, которой платили пока компьютеры, на которых хранились базы, были включены — причем они были запрограммированы на 10 минут простоя после каждого запроса. Чувствуете, куда все идет? Наш дата саентист не знает точный бюджет, выделенный на работу с данными, но предполагает, что рассчитывали на сумму около 200к долларов в год, а приблизить к миллиону. Отказ от простоев помог сэкономить около 500к, но успел потрепать автору истории нервы. 🔜 Кажется, что мы рассказали все самое интересное, но это не так. Рекомендуем почитать текст целиком и особенно рекомендации рассказчика, что делать в такой ситуации. Спойлер: ничего, а то придется ходить на встречи и делать презентации, чтобы объяснить, как вообще это получилось, за невпечатляющую прибавку к зарплате.

Про технологии, фантастику и абстракции «Любая достаточно развитая технология неотличима от магии», — самый известный из трех законов британского писателя Артура Кларка. 🔜 Кажется, скоро мы сможем убедиться в этом сами, но пока что реальность прозаичнее фантастики. Никаких межзвездных перелетов, зато много людей, которые не понимают, что происходит, и угроз кибербезопасности. Это — один из тезисов статьи We have used too many levels of abstractions and now the future looks bleak. Не пугайтесь мрачного заголовка — текст не про то, что, когда все писали на ассемблере, трава была зеленее. Ну, почти. Еще немного тезисов: 🔵 Руль — уровень абстракции между водителем и машиной. Он позволяет управлять автомобилем, не задумываясь обо всем, что происходит под капотом. 🔵 Такие абстракции есть в каждой сфере, и в ИТ тоже. Уже давно разработчики не пишут каждую строчку кода руками, а вместо этого максимально упрощают себе работу с помощью различных инструментов. Число уровней абстракции растет, и уже не каждый специалист поймет, что происходит на пару «слоев» ниже. 🔵 Технологии становятся сложнее для понимания, а их влияние на повседневную жизнь растет. Что произойдет, когда люди окажутся не в состоянии самостоятельно починить инструменты, которые используют? 🔵 Звучит, как что-то из постапокалиптического фильма про потерянные технологии, но это уже реальность. Например, сейчас — по мнению автора — большинство людей в кибербезопасности о ней не так уж много знают и доверяют тестам, которые проводят с помощью специализированного ПО, не погружаясь в детали. Спец по кибербезопасности, который разбирается, как работает это ПО, может его обмануть и сливать данные на сторону или еще чего-нибудь похуже делать. 🔵 И как же быть? Никогда не переставать учиться и задавать вопросы, любить технологии и искренне интересоваться тем, как они на самом деле работают. А если текст не вызывал достаточной грусти за наше будущее, то вот статья на The Verge про студентов, которые не знают, что такое файлы и папки.

Окно в Европу и не только Window Swap — сайт, где за один клик можно перенестись из Бангкока в Лондон, а из Лондона — в Стамбул. 🔵Пользователи со всего мира делятся 10-минутными видео с видами из своих окон. Чаще всего в кадре не захватывающие необычные пейзажи, а обычные городские улицы, но в этом и есть весь смысл. Window Swap показывает не глянцевые рекламные картинки, а реальную жизнь, которую видят из своих окон обычные жители разных городов. 🔵А еще в кадре иногда появляются коты авторов видео! 🔵Проект появился — угадайте когда? — в 2020 году, в Ковид, когда все мы сидели взаперти, но новые видео туда присылают до сих пор. У него есть платная версия с возможностью делать создавать плейлисты или искать окна в определенных локациях. 🔜 На наш взгляд, бесплатной достаточно, чтобы позалипать вечерком и отвлечься от работы, данных и дашбордов!

Под какую музыку спится лучше? А мы возвращаемся в город вечно невысыпающихся жителей, чтобы продолжить знакомство с основами статистики. В одном из предыдущих постов мы рассказали, как сравнить 2 генеральные совокупности между собой… Но что делать, если их больше двух? 🔵 Можно было бы разбить группы по парам и применить t-критерий Стьюдента или его непараметрические аналоги, но у нас есть вариант получше! 🔜 Сегодня мы расскажем про дисперсионный анализ, который поможет сравнить несколько генеральных совокупностей и понять, различаются ли они между собой. #основы_статистики

Ждем рынок ИИ-маркетплейсов? Рассказываем, если вы не знали, и напоминаем, если забыли, — в конце сентября Cloudflare и Hugging Face объявили о начале сотрудничества. 🔜 Cloudflare — это крупная CDN-компания, чей логотип мы все хотя бы раз видели на капчах. У нее также, помимо всего прочего, есть своя платформа для разработчиков. 🔜 Hugging Face — сообщество ИИ-энтузиастов и огромный каталог датасетов, нейросетей и использующих их приложений. Самые востребованные модели Hugging Face станут доступны на платформе для разработчиков Cloudflare, уже оптимизированные и готовые к использованию. Cloudflare же со своей стороны предоставит вычислительные мощности для бессерверного инференса благодаря их новому проекту Workers AI. В результате, особенно когда Workers AI выйдет из стадии открытой беты, интегрировать ИИ в приложения станет проще и дешевле. Разработчикам не придется беспокоиться о налаживании инфраструктуры — бери и пользуйся. 🔜 Об этой новости нам напомнила OpenAI со своей конференцией DevDay. Среди представленных на ней проектов был и GPT Store — магазин пользовательских моделей, который должен запуститься где-то в ноябре. ИИ становится если не понятнее, то доступнее. Чтобы получить нейросеть под свои нужды, уже необязательно глубоко разбираться в машинном обучении, тратить деньги на дорогое железо и время. Конечно, если запрос специфический, сделать это придется, но число готовых и почти готовых решений постоянно растет, а компании вроде Cloudflare стремятся сделать их использование максимально простым и удобным. Вот уже и маркетплейсы появляются — думаем, что их со временем станет только больше. 👀 А как думаете вы? Есть перспективы у рынка ИИ-маркетплейсов или не взлетит?

Зачем смотреть Yet another Conference on Education от Яндекса Яндекс провел конференцию, посвященную использованию искусственного интеллекта и новых технологий в образовании. Про что говорили на мероприятии: 🔵 этика, ожидания и дискуссии насчет использования нейросетей в школах и вузах, 🔵 AI-тренер и другие профессии будущего, которые уже стали реальностью, 🔵 точки соприкосновения EdTech-компаний и университетов, 🔵 как понять, кем хочешь стать, когда вырастешь и — что намного сложнее — как понять, кем стать, когда уже вырос. Записи выступлений размещены на сайте конференции, и мы рекомендуем ознакомиться с ними всем, кому близки темы образования, ИТ и ИИ: разработчикам, учителям, выпускникам и их родителям. #реклама

Гайд по каналу: лучшие посты по темам Собрали для вас подборку самых интересных и полезных постов, которые выходили на канале за последнее время. 💙 Что это за канал? Про данные, датавиз и SQL 💬 Тест на знание гигиены визуализации данных 🔵Подборка материалов по датавизу 🔵Лучшие практики по созданию стайлгайдов: как сделать ваши отчеты стильными и профессиональными 🔵Как использовать ChatGPT в качестве персонального тренера по SQL 🔵«Lost at SQL»: игра для прокачки SQL 🔵Архитектура данных на примере Вконтакте: прошлое и будущее 🔵Большой гайд по SQL 🔵Рекомендации по подготовке данных к работе 🔵История визуализации данных в одном графике Про нейронки и ИИ 💬 Беспилотные такси: за и против 🔵50 подсказок, как писать промпты для ChatGPT 🔵Взломать счет в банке с помощью AI: привет, новая реальность 🔵Как заставить ChatGPT-4 разработать приложение на iOS за 5 часов 🔵Можно ли создать рекламу на основе сгенерированных картинок. Наш опыт 🔵TenetLang — язык программирования, сгенерированный нейросетью 🔵Курсач прямиком из ChatGPT. А что, так можно было? 🔵Reverse Prompt Engineering: что это за зверь такой 🔵Исследование: может ли GPT-4 заменить аналитика данных? 🔵Нейросеть, которая дала новую жизнь мемам нулевых 🔵Краткий пересказ 1,5-часового гайда по LLM Полезные приложения и инструменты 💬 Workflowy — еще один инструмент для планирования и ведения заметок 🔵Sketch — библиотека, которая выполнит всю работу за вас 🔵Otter — ИИ-ассистент, который делает конспекты онлайн-созвонов 🔵Tactiq — похожий инструмент, но с большими возможностями 🔵LlamaIndex — фреймворк для работы с LLM и данными разных форматов 🔵Evidence — гибкий BI-инструмент на Markdown и SQL

10к студентов за год: итоги Марафона Данных Год назад на «Степике» вышел наш первый авторский курс «Марафон данных: первое знакомство с SQL и Python»! Его разработали мы — команда Valiotti Analytics: авторы, дизайнеры и аналитики 🔜 Курс рассчитан на совсем начинающих, у кого пока нет никакого опыта работы с Python и SQL, но есть интерес к работе аналитика. Он займет около 10 часов и поможет познакомиться с профессией и понять, а надо ли вообще вам это. За 18 уроков студенты знакомятся с основами и отрабатывают полученные знания на реальных кейсах. За год Марафон Данных пробежали уже больше 10 000 студентов, которые оставили почти 500 отзывов с общей оценкой в 4,8 из 5 🔜 Для нас это очень важно. Мы хотели, чтобы как можно больше людей смогли прикоснуться к профессии аналитика и понять, как она выглядит изнутри на самом деле. Именно для этого и создавался курс. 🔜 Спасибо всем, кто прошел, кто ставил оценки, кто пошел дальше развиваться в сфере аналитики. Благодаря вам понимаем, что все не зря! Кстати, если у вас есть знакомые, которые интересуются этой областью, почему бы не рассказать им про этот курс? 👀

Сэм Альтман вновь в OpenAI Драма в OpenAI наконец-то закончилась, и Альтман возвращается на пост генерального директора. Совет директоров переформируют, и на начальном этапе в него войдут 3 человека. The Verge сообщает, что их главной задачей будет сформировать новый совет из 9 человек и «перезапустить» подход к управлению в OpenAI. 👀 При этом внутренние противоречия, которые и привели к увольнению Альтмана, никуда не делись, и обновившееся руководство компании собирается провести расследование ситуации. Надеемся, что они поделятся его результатами с заинтригованной общественностью!

Скажите что-то на карьерном Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться. От себя добавим, что вас ждет по ссылке в конце поста — Тинькофф ищет разработчиков, продактов и, конечно, аналитиков для работы над продуктами банка и его экосистемы сервисов. 🔵На сайте не только подробно описали обязанности и стек для каждой вакансии, но и разместили материалы для подготовки к собеседованию. Там даже рекомендуемая литература есть! 🔵Работы много для опытных и начинающих специалистов, условия хорошие, задачи классные. Чего еще для счастья надо? 🔜 Только найти подходящую вакансию и откликнуться! #реклама