cookie

Sizning foydalanuvchi tajribangizni yaxshilash uchun cookie-lardan foydalanamiz. Barchasini qabul qiling», bosing, cookie-lardan foydalanilishiga rozilik bildirishingiz talab qilinadi.

avatar

Инжиниринг Данных

Делюсь новостями из мира аналитики и вредными карьерными советами;) 8 лет в FAANG, инвестиции в недвижимость, компании и акции, solo entrepreneur🏄‍♂️ Контакты и реклама: @dimoobraznii (сам не предлагаю купить рекламу или взаимопиар за деньги).

Ko'proq ko'rsatish
Reklama postlari
20 205
Obunachilar
+224 soatlar
+1037 kunlar
+93130 kunlar

Ma'lumot yuklanmoqda...

Obunachilar o'sish tezligi

Ma'lumot yuklanmoqda...

07:07
Video unavailableShow in Telegram
Отвечаю на пару: 1) Как попасть в ФААНГ 2) Пиво или Сидр Пардон, что без микрофона и наушников, я просто гуляю у офисов Амазона в Сиэтле и ностальгирую с бутылочкой, пока семью пьет «чай с шариками». Потом еще запишу ответы на другие вопросы. Всем хороших выходных!
Hammasini ko'rsatish...
IMG_7325.MOV155.63 MB
❤‍🔥 42🍾 12
Все привет! Оставьте в комментариях вопросы и я смогу ответить на них более развернуто🍞
Hammasini ko'rsatish...
❤‍🔥 8🌚 1
Photo unavailableShow in Telegram
Устроиться аналитиком в Яндекс за выходные 6–9 июля проводим Weekend Offer Analytics. До 3 июля оставьте заявку на участие, 6–8 июля пройдите технические собеседования, а 9 июля познакомьтесь с командами и получите офер. В мероприятии участвует 9 команд: Crowd, Карты, Поиск, Алиса, R&D, Автономный транспорт, Подразделение аналитики, Антифрод, Антиробот. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным. Нанимаем в офисы России и Республики Беларусь. Узнать подробности и зарегистрироваться можно здесь.
Hammasini ko'rsatish...
🗿 31 8😈 2🙈 2
dbt — ядро современной платформы данных - Евгений Ермаков - SmartData 2023 (Рубрика #Architecture) Интересный доклад Евгения Ермакова про построение дата платформы в toloka.ai, которая, получив независимость от Yandex, вынуждена была переезжать на новые технологии. В итоге, выбор пал на databricks, dbt, airflow и tableau. Автор рассказывает о том, почему был сделан такой выбор и как в итоге это все работает. Основные моменты следующие: - Сама toloka - это система для краудсорсинга, куда заказчики приходят с задачками навроде разметить данные, а с другой стороны на платформе зарегестрированы люди, которые их выполняют - Архитектура базируются на трех китах: -- Data lakehouse -- Процессы в соответствии с подходом data mesh -- Современный технологический стек - До переезда на новые технологии ребята использовали много своего, часть из которого уже есть в opensource: YTsaurus, datalens - После переезда выбрали новые технологии и dbt стал ядром системы, закрывая функциональность: data quality, data catalog/ data observability, batch processing (вместе со spark), orchestration (вместе с airflow) - Изначально dbt (data building tool) нужен был в качестве удобного инструмента для transformation шага в ETL/ELT - Интересно, что в концепции компании dbt есть мнение и относительно ролей, где помимо стандартных data engineers и data analysts появляется еще analytics engineer. В итоге, data engineers - это те, кто делают так, чтобы data платформа работала эффективно, data analysts ищут инсайты в данных и помогают их эффективно использовать, а вот analytics engineers - это ребята, что-то среднее между другими двумя + хорошо укладывается в концепцию data mesh, где нет централизованной дата-команды, а есть дата-команды по доменам - Основой dbt-проекта является dbt model. Модель состоит из файла с описанием логики (.sql или .py файл) и файла с описанием конфигурации. В .sql файле есть запрос на формирование объекта, другие модели используются через ref() или source() + используется jinja шаблонизация. В .py файле возвращаем dataframe с рассчитанными данными, есть доступ ко всем возможностям pyspark + другие модели тоже используются через ref() или source() - Материализацию запроса dbt берет на себя и есть разные стратегии, из которых самая интересная incremental - Настройки хранятся в dbt_project.yaml и profiles.yaml - dbt поддерживает большое количество баз данных, например, postgres, mysql, clickhouse, ... - dbt - это консольная утилита, например, при запуске dbt build происходит сборка всех зависимостей между моделями, а также компиляция python/sql запросов и запись в manifest.json - Команда dbt run запускает скомпилированные запросы, где запуск можно настроить по разному, но интересно запускать по графу - Кстати, dbt умеет генерировать документацию командой dbt docs generate и дальше можно посмотреть на lineage данных - Также мы можем писать тесты в том же месте, где мы описываем модели, а дальше запускать их при помощи dbt tests. Например, можем проверять unique или not null на поле, а также если хотим relations между моделями - У dbt есть еще много возможностей, но про них стоит почитать самостоятельно:) - Дальше автор рассказывает как сделать data mesh на уровне dbt + airflow. Автор рассматривает варианты вида: -- Монолитный - один dbt проект на всю компанию -- Микросервисный - отдельные dbt проекты на каждый домен -- Layered - отдельные dbt проекты по уровням -- Смешанный - анархия, где проекты создаются кто как хочет Выбрали монолитный подход и получили аля монорепо под data mesh, в котором живут все. Обусловлено это было тем, что при микросервисном подходе ломались все связки между моделями (до 1.6 не могли называть модели одинаково в разных проектах + была проблема с импортом друг друга, так как это приводило к циклическим зависимостям). Из интересного еще сделали конвертор графа исполнения dbt в airflow формат, чтобы запускать DAG из airflow. В итоге, ребята реализовали свой подход к data mesh при помощи open source инструмнетов и вся схема выглядит достаточно стройно. #Data #Datamesh #DWH #Processes #Management
Hammasini ko'rsatish...
Евгений Ермаков — dbt — ядро современной платформы данных

Ближайшая конференция — SmartData 2024, 4 сентября (online), 8–9 сентября, (Москва + трансляция). Подробности и билеты:

https://jrg.su/KFFBS7

— — dbt — один из самых быстро набирающих популярность инструментов в сфере построения платформ и хранилищ данных. Сочетание простоты и функциональности этого инструмента подкупила и команду Toloka.ai при создании новой платформы данных. Но серебряных пуль не бывает: как и в любом open source-продукте не обошлось без «доработок напильником». Евгений рассказывает про их опыт применения dbt и доработках, которые пришлось сделать. Спикер также отвечает на следующие вопросы: — Какие возможности dbt делают его must have-инструментом в любой платформе данных; — Как интегрировать dbt и airflow; — Какие части data mesh можно поддержать с помощью dbt; — Что пришлось активно дорабатывать в пакете; — Стоит ли вам бросать все и внедрять dbt прямо сейчас. Скачать презентацию с сайта SmartData —

https://cutt.ly/9wDdNg2l

#dbt #dataplatform

35❤‍🔥 15💯 4😭 1
Photo unavailableShow in Telegram
Работая в больших компаниях часто можно услышать или увидеть как продуктовые менеджеры бегают с CDP (Customer Data Platform)(раньше это была фишка маркетологов). В данном контексте это вендорское решение, например Segment, Amplitude или еще чего.
Customer Data Platform is an all-in-one marketing and data infrastructure. In a nutshell, it’s a database for all your user information with a connected activation layer to help you leverage the data for marketing.
Главное в CDP это клиент, поэтому хочется создать 360 взгляд на активность клиента, и иметь возможность сегментировать и взаимодействовать (письмо, push, звонок и тп) Если вы работает над создание хранилища данных, где хотите консолидировать данные едином месте, когда вы слышите про новую инициативу - создать CDP, то сразу возникает вопрос зачем? Сразу понятно это долго и дорого. Но не для всех. Кто далек от технологий, верит, что CDP решит все проблем, наконец-то будет единый источник данных, продуктовые и маркетинговые метрики будут аккуратные, качество данных будет замечательным, и никаких outages. Прям как в сказке…. Особенно прикольно, когда под капотом у CDP тот же стек, что и вас в компании. Но вы об этом все равно не узнаете, CDP это black box, с хорошим маркетингом и сильным продажниками🤱 Friends Don’t Let Friends Buy a CDP PS Как у вас с CDP?
Hammasini ko'rsatish...
12🍌 1
Photo unavailableShow in Telegram
Одна из сложностей для обучения, курсов и тренингов - оторванность от реального бизнеса. Обычно выбор сводится к данным Airbnb в CSV файла, NY Taxi в Parquet и тп, затертых до дыр use cases. У меня давно была идея как-нибудь решить эту проблему. В мое случае, я хочу сделать реальный интернет магазин с реальным товаром, например футболки. Чтобы все это упростить, пусть это будет drop-shipping/print on-demand на Shopify, интеграция с Stripe, Google Ads, Facebook Ads, LinkedinAds. Можно даже на Amazon положить. Сам объем продаж и профит мне не важны, мне важны реальные данные и реальные use cases. Для начала я решил скрестить дорогие машины и прикольный спорт (серфинг, лыжи, горный/дорожный, велосипед, кайтинг), еще рыбалка и охота. Выбрал разные машины типа DeLorean time machine, Ford GT40, Lamborghini Countach LP500 S, FERRARI TESTAROSSA, и тп + 2 бонусом Volga GAZ 21, vaz-2108. Попросил мою любимую дизайнерскую студию https://studiomuti.co.za/graphics придти с идеями дизайна и товарища предпринимателя изучить вопрос местного рынка футболок, кто интегрируется с shopify. (Товарищ до Канады продавал на Озоне успешно, так что можно будет потом и на озон закинуть ради эксперимента). PS это я дизайнерам нарисовал гелик с серфом в качестве ТЗ:) Кстати наш Data Surf bootcamp будет 20-25 Августа в Тофино.
Hammasini ko'rsatish...
31🐳 4
Photo unavailableShow in Telegram
Самое время летом читать про Iceberg, все вендоры уже вдоль и поперек про него рассказали на своих конференциях.
Hammasini ko'rsatish...
❤‍🔥 27 6🐳 5
В книге Джейсона Каланиса "Ангел-инвестор”, Джейсон приводит пример вопросов, на которые нужно ответить, перед тем как принять решения об инвестировании (seed investment в данном контексте). Самое интересное, что эти вопросы хорошо подходят для вашей карьеры. Вообще особо не важно, что вы делаете на работе, но задать эти вопросы во время собеседования или общаться с фаундерами использую их же терминологию лишним не будет. ❓Какая проблема решается? – Понять, какую конкретную проблему решает стартап, и насколько она значима для целевой аудитории. ❓Почему сейчас? – Почему именно сейчас настало подходящее время для решения этой проблемы? Какие изменения в технологии, рынке или обществе делают этот момент подходящим? ❓Почему вы? – Почему именно эта команда способна успешно реализовать эту идею? Какой у них опыт, знания и мотивация? ❓Что уникального? – В чем уникальность продукта или услуги? Почему конкуренты не смогут легко повторить или превзойти это решение? ❓Как вы будете зарабатывать деньги? – Какова бизнес-модель стартапа? Как планируется генерировать доход и какова стратегия монетизации? ❓Какие метрики важны? – Какие ключевые показатели эффективности (KPI) будут использоваться для измерения успеха? Как будет измеряться рост и прогресс? ❓Какова ваша стратегия роста? – Как стартап планирует привлекать клиентов и масштабировать бизнес? Какие маркетинговые и продажные стратегии будут использоваться? ❓Какие риски? – Какие основные риски связаны с бизнесом и как команда планирует их минимизировать? ❓Какие у вас конкуренты? – Кто основные конкуренты на рынке? Чем они отличаются и как стартап планирует конкурировать с ними? ❓Как вы используете инвестиции? – Как стартап планирует использовать привлеченные средства? На какие основные области будут направлены инвестиции? Да еще в случает офера в стартап, вы сможете оценить самостоятельно шансы на успех: ❓Какое у вас текущее количество наличных денег? – Это помогает понять текущий финансовый резерв стартапа. ❓Каков ваш месячный уровень сжигания наличных (burn rate)? – Этот показатель показывает, сколько денег стартап тратит каждый месяц. ❓Сколько месяцев у вас осталось на существующих наличных? – Этот вопрос помогает оценить, насколько долго стартап сможет продолжать операционную деятельность при текущем уровне расходов. ❓Какой ваш план по привлечению следующих раундов финансирования? – Важно понимать, как стартап планирует привлекать дополнительные инвестиции и какие шаги они предпринимают для этого. У меня недавно был такой кейс, где я зарядил все эти вопросы фаундерам стартапа, и эффект был очень позитивный. Теперь помогаю им выстроить все систему аналитики с 0. Конечно в моем контексте главный уклон был на данные, метрики бизнеса, ценность данных для продукта и leadership команды. Я всегда говорю, вы как специалист должны добавлять ценность компании, коллегам, инвесторам, фаундарам, руководству. По опыту surflalytics я вижу, что скиллы можно быстро получить, а вот behaviour вопросы, навыки продавать себя и рассказывать красиво про свой опыт это не просто, а тут уже не получился в тихушку задачки порешать на Leetcode, нужно выявить слабые места и переступить через свои страхи, начать делать, что вы раньше не делали- Public Speaking? Blog posting? Youtube channel? Митапы? Нетворкинг? PS теперь Surfalytics это про engineering data career.
Hammasini ko'rsatish...
46💯 15❤‍🔥 10
Вот буквально на днях кол-во подписчиков перевалило за 20 000! Конечно активных только 5000, остальные 15т наверно “мертвые души”, но это уже совсем другая история. Канал был создан в 6 ноября 2018 года. Тогда еще телеграмм не был таким популярным и вообще за пределами РФ не использовался. Так получилось, что Алексей меня пригласил на первый Матемаркетинг выступить с докладом от Амазон. Ему был интересен Амазон, как громкое имя, а не лично я. Я даже не помню как мы познакомились, но помню, что до Матемаркетинга я был летом в Москве, и мы встретились первый раз, я получил интересный инсайт - телеграмм канал приносит больше денег чем full time работа. И вот в ноябре 2018 на конференции, я выступил с докладом, и использовал канал, чтобы расшарить лабы по Snowflake + Tableau. В 2018 году Snowflake еще был не публичной компаний и в Канаде о нем мало кто знал, а в Москве уже проходили воркшопы по нему! А доклад назывался - BI-системы и DWH - Архитектура и кейсы Уже после конференции у меня было 600 подписчиков, и я начал бомбить историями про “залететь на работу без опыта”. Вообще думаю о том, что мой канал про “Инжиниринг карьеры и данных”. И тут я подумал, как круто, можно летать на конференцию в Москву благодаря каналу. И действительно, скоро я выступал в Mail Ru офисе перед огромной аудиторий - Как технологии помогают Amazon быть самой клиентоориентированной компанией на Земле? И это было очень круто, я сам кайфанул как круто получилось. Секрет был прост: - 2 предложения на слайд (желательно все выучить наизусть) - много ярких и интересных слайдов - несколько классных промо роликов от Amazon Alexa Так же я писал статьи на Хабр, у которых было пот 40к-80к просмотров, что приводило новых пользователей. Так же выступил онлайн на нескольких конференциях, включая Smart Data - главная конференция по инжинирингу данных: - Два типа инженеров данных - Инжиниринг данных в «Майкрософт» - Все жду 3ю серию про архитектуру и решения В какой-то момент ко мне пришли с запросом из курсов Skill Factory на создание курса по Инжинирингу Данных. Я сделал план курса, но мне предложили 120т рублей за разработку курса и попросили сделать за месяц. Дали доступ на курс по data science посмотреть пример, оказалось все очень печально, из чего я сделал вывод, что все эти курсы шляпа. Чтобы программа не пропадала, решил записать курс и Роман Пономарев очень помог с организаций и поддержкой (курс и сообщество дальше живет) - datalearn.ru . Сообщество очень помогло во время ковида, и я точно знаю, что очень многим помогло начать карьеру, найти работу и тп. Мне всегда хотелось делиться знаниями и у меня всегда была мысль сделать что-нибудь для своей Родины, ну и вообще верю в круговорот энергии, больше даешь, больше получаешь! Здесь же зародился замечательный проект про мониторинг пеликанов, который теперь называется https://www.scifly.ai/ . Сегодня вот, например, обсуждал как бы классно было бы открыть ферму пеликанов в Подмосковье (ведь есть фермы/заповедники кенгуру). Вы знали, что пеликанам появились 40-50 млн лет?! И я не знал… Из последнего в Сентябре/Октябре появился Surfalytics. Это как datalearn, но на английском и глобальный. Так же все бесплатно, но вход сообщество уже за номинальную плату, потому что совсем бесплатное не очень-то уж ценится. Поэтому, мое вам большое спасибо, что продолжаете читать, благодаря каналу я познакомился с огромным кол-вом людей по всему миру! И я рад, что я могу тут быть самим собой и реализовывать потребность “поделиться” ссылочкой, побузить на менеджера или проект, пожаловаться на маленькую зарплату или негодовать на массовые увольнения!
Hammasini ko'rsatish...
❤‍🔥 246🍾 62🦄 26 13🫡 7
Repost from N/a
Действие - это применение некоторого инструмента к процессам для достижения поставленной цели. Главным критерием является не результативность действия, которая может быть и нулевой, и отрицательной. Всё это носит вероятностный характер. Делать что-либо, когда результат не гарантирован на 100% - с тактического масштаба достаточно глупо. Зачем тратить энергию на то, что либо принесёт результат или нет? Лучше зависнуть в экономном режиме и ждать стопудовых вариантов. Все это логично и рационально. Чтобы таким образом живые существа не вымирали за миллионы лет естественного отбора в нас закрепилась одна молекула, молекула «ещё», то есть дофамин. Чем более случайный результат, тем больше азарта, тем больше дофамина в предвкушении возможного выигрыша. Эта молекула поощряет наши вероятностные действия. Более того, без дофамина, как выяснили в ходе одного ужасного эксперимента по лечению зависимостей, мы вообще не можем двигаться. Лишенные чувствительности к дофамину пациенты превратились в парализованных, обездвиженных людей. Предформой дофамина является норадреналин. Который, в свою очередь вырабатывается от стресса, когда нам что-либо угрожает. Все логично и рационально, если опасность застала врасплох, надо срочно сваливать либо атаковать, может и замереть контролируя свои мышцы, но в любом случае действовать. Поэтому если с утра в течение первого часа после подъема сделать силовые упражнения (десяток другой приседаний, отжиманий) и потом поставить и достичь цели, то дофаминовые цепочки заведутся на весь день. Цель может быть минимальной - прочесть 10 страниц книги, помыть посуду, сделать NBack, но обязательно ощущать добровольную завершенность задачи. Вот то самое удовлетворение от сделанного. Именно добровольное, потому что если кто-то заставляет, то цепочка подачи дофамина в лобной доли блокируется. В армии заставляют отжиматься, но это не дает удовольствия. Ещё дофамин выплескивается после обжигающе холодного душа идти ополаскивания, если здоровье позволяет. Обливание должно быть краткосрочным, это не для того, чтобы привыкать к холоду. В результате на четыре часа уровень дофамина растет в два раза. В отличие от множества других ю способов поднять дофамин, после которых дофамин резко падает. Чем выше поднят дофамин, тем ниже он падает. Если одновременно смотреть интересный фильм, есть фастфуд и пить сладкую газировку, то дофамин зашкаливает. Но после этого резко и очень сильно падает. Лучше отдельно: кино, газировка и фастфуд, раз уж так сложилось. Это краткое осмысление одного из подкастов Эндрю Хубермана - https://youtu.be/QmOF0crdyRU
Hammasini ko'rsatish...
Controlling Your Dopamine For Motivation, Focus & Satisfaction

This episode serves as a sort of “Dopamine Masterclass”. I discuss the immensely powerful chemical that we all make in our brain and body: dopamine. I describe what it does and the neural circuits involved. I explain dopamine peaks and baselines, and the cell biology of dopamine depletion. I include 14 tools for how to control your dopamine release for sake of motivation, focus, avoiding and combating addiction and depression, and I explain why dopamine stacking with chemicals and behaviors inevitably leads to states of underwhelm and poor performance. I explain how to achieve sustained increases in baseline dopamine, compounds that injure and protect dopamine neurons including caffeine from specific sources. I describe non-prescription supplements for increasing dopamine—both their benefits and risks—and synergy of pro-dopamine supplements with those that increase acetylcholine. #HubermanLab #Dopamine #Motivation Thank you to our sponsors: ROKA -

https://www.roka.com/huberman

InsideTracker -

https://www.insidetracker.com/huberman

Headspace -

https://www.headspace.com/specialoffer

Logitech Event - Rethink Education: The Biology of Learning

https://info.logitech.com/ReThink-Education.html

Support Research in Huberman Lab at Stanford:

https://hubermanlab.stanford.edu/giving

Supplements from Thorne: http://www.thorne.com/u/huberman Social: Instagram -

https://www.instagram.com/hubermanlab

Twitter -

https://twitter.com/hubermanlab

Facebook -

https://www.facebook.com/hubermanlab

Website -

https://hubermanlab.com

Newsletter -

https://hubermanlab.com/neural-network

Links: Review on Dopamine:

https://www.nature.com/articles/s41583-021-00455-7

Cold Exposure & Dopamine:

https://link.springer.com/article/10.1007%2Fs004210050065

Timestamps: 00:00:00 Introduction & Tool 1 to Induce Lasting Dopamine 00:04:48 Sponsors: Roka, InsideTracker, Headspace 00:09:10 Upcoming (Zero-Cost) Neuroplasticity Seminar for Educators 00:09:58 What Dopamine (Really) Does 00:15:30 Two Main Neural Circuits for Dopamine 00:18:14 How Dopamine Is Released: Locally and Broadly 00:22:03 Fast and Slow Effects of Dopamine 00:25:03 Dopamine Neurons Co-Release Glutamate 00:28:00 Your Dopamine History Really Matters 00:30:30 Parkinson’s & Drugs That Kill Dopamine Neurons. My Dopamine Experience 00:36:58 Tool 3 Controlling Dopamine Peaks & Baselines 00:40:06 Chocolate, Sex (Pursuit & Behavior), Nicotine, Cocaine, Amphetamine, Exercise 00:46:46 Tool 4 Caffeine Increases Dopamine Receptors 00:49:54 Pursuit, Excitement & Your “Dopamine Setpoint” 00:56:46 Your Pleasure-Pain Balance & Defining “Pain” 01:00:00 Addiction, Dopamine Depletion, & Replenishing Dopamine 01:07:50 Tool 5 Ensure Your Best (Healthy) Dopamine Release 01:15:28 Smart Phones: How They Alter Our Dopamine Circuits 01:19:45 Stimulants & Spiking Dopamine: Counterproductive for Work, Exercise & Attention 01:22:20 Caffeine Sources Matter: Yerba Mate & Dopamine Neuron Protection 01:24:20 Caffeine & Neurotoxicity of MDMA 01:26:15 Amphetamine, Cocaine & Detrimental Rewiring of Dopamine Circuits 01:27:57 Ritalin, Adderall, (Ar)Modafinil: ADHD versus non-Prescription Uses 01:28:45 Tool 6 Stimulating Long-Lasting Increases in Baseline Dopamine 01:37:55 Tool 7 Tuning Your Dopamine for Ongoing Motivation 01:47:40 Tool 8 Intermittent Fasting: Effects on Dopamine 01:53:09 Validation of Your Pre-Existing Beliefs Increases Dopamine 01:53:50 Tool 9 Quitting Sugar & Highly Palatable Foods: 48 Hours 01:55:36 Pornography 01:56:50 Wellbutrin & Depression & Anxiety 01:58:30 Tool 10 Mucuna Pruriens, Prolactin, Sperm, Crash Warning 02:01:45 Tool 11 L-Tyrosine: Dosages, Duration of Effects & Specificity 02:05:20 Tool 12 Avoiding Melatonin Supplementation, & Avoiding Light 10pm-4am 02:07:00 Tool 13 Phenylethylamine (with Alpha-GPC) For Dopamine Focus/Energy 02:08:20 Tool 14 Huperzine A 02:10:02 Social Connections, Oxytocin & Dopamine Release 02:12:20 Direct & Indirect Effects: e.g., Maca; Synthesis & Application 02:14:22 Zero-Cost & Other Ways To Support Podcast & Research The Huberman Lab Podcast is for general informational…

❤‍🔥 35🗿 17 5🎄 1
Boshqa reja tanlang

Joriy rejangiz faqat 5 ta kanal uchun analitika imkoniyatini beradi. Ko'proq olish uchun, iltimos, boshqa reja tanlang.