LEFT JOIN

Вайб-кодинг в аналитике? Слышали про вайб-кодинг? Суть явления описал Андрей Карпатый — оригинальный твит на скрине, а ниже наш перевод:

Есть новый вид программирования, который я называю «вайб-кодинг», когда ты полностью отдаешься вайбам, принимаешь экспоненциальный рост и забываешь, что код вообще существует. Это возможно благодаря тому, что LLM (например, Cursor Composer с Sonnet) становятся слишком хороши. Также я просто общаюсь с Composer через SuperWhisper, так что почти не касаюсь клавиатуры. Я прошу у него всякую ерунду, типа "уменьшить отступ на боковой панели вдвое", потому что мне лень искать, где это сделать. Я всегда нажимаю "Принять все", больше не читаю диффы. Когда получаю сообщения об ошибках, просто копирую их и вставляю без комментариев — обычно это решает проблему. Код разрастается за пределы моего обычного понимания, и мне пришлось бы долго его читать, чтобы разобраться. Иногда LLM не может исправить баг, поэтому я просто обхожу его или вношу рандомные изменения, пока он не исчезнет. Для одноразовых проектов на выходные это не так уж и плохо, но все равно забавно. Я создаю проект или веб-приложение, но это уже не совсем программирование — я просто что-то вижу, что-то говорю, что-то запускаю, что-то копирую и вставляю, и оно в основном работает.

Как это выглядит на практике? 🔵 Про свой опыт «вайб-кодинга» написал vas3k — он по итогу остался не так воодушевлен этим подходом, как Андрей Карпатый. 🔵 Недавно завирусилась история про геймера, который решил перевести Dark Souls 3 с помощью нейросети, ничего не понимая в кодинге, и встрял на 2000$. 🔵И мы тоже как-то раз постили про ИИ в ИТ, правда у нас в посте пример был не такой экстремальный. 🔜 Но интересно обсудить это явление не абстрактно, а применительно к сфере аналитики и дата-инжиниринга. Полностью оставить код на усмотрение ИИ — относительно рабочий вариант для личных проектов, которые делаются для души. Но работа аналитика или дата-инженера обычно подразумевает взаимодействие с командой, и там сложные неоптимизированные SQL-запросы от ИИ не понравятся ни коллегам, ни заказчикам. Или это все-таки вполне рабочий вариант? Участвуйте в опросе, пишите в комментах!

Вебинар «Как развиваться в профессии инженера данных?» — сегодня! Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), предприниматель и дата-энтузиаст, который больше 15 лет работает с данными. Про что он расскажет? 🔵 Стек, которым надо владеть, чтобы стать востребованным специалистом. 🔵 Hard & Soft skills, которые нужны дата-инженерам. 🔵 Примеры реальных инжиниринговых задач из практики дата-консалтинга. 🔜 Регистрируйтесь и приходите на вебинар! UPD: вебинар прошел улетно! Огромное спасибо всем участникам 💙

Про данные, будущее и поиски работы Любой бизнес работает с данными — хоть какими-то. А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объемы и сложные пайплайны требуют участия дата-инженеров. В общем, спрос на дата-специалистов никуда не денется, как бы ни лихорадило рынок ИТ, но найти работу и построить успешную карьеру — это все равно челлендж. 🔜 Ребята из karpov.courses разобрались, какие знания и навыки дадут преимущество перед остальными кандидатами. Еще и спросили мнение экспертов, которые в аналитике и дата-инжиниринге не первый год (среди них вы можете заметить знакомые имена). Кстати, помните, что они у себя на канале начали рассказывать про один наш кейс? Уже вышло продолжение и скоро будет завершение — не пропустите!

Польза несовершенства на примере BlueSky BlueSky — соцсеть, созданная как альтернатива Twitter. Принцип работы тот же: пользователи создают профили, подписываются на других пользователей и видят их посты в своих лентах. Давайте посмотрим, как это работает изнутри и почему часть постов не доходит до подписчиков — и это нормально. 🔵 Таблица Timeline — те самые ленты постов — разделена на несколько шардов, где для каждого юзера выделена своя партиция. Всего на 32 млн пользователей приходится несколько сотен шардов. 🔵 Когда кто-то выкладывает новый пост, он разлетается по его подписчикам и встраивается в таблицы, из которых формируются их ленты. Одновременно старые сообщения выводятся из них.  Этот процесс работает нормально, если пользователи не шалят и не подписываются на всех подряд. Но если кто-то подписывается на тысячи или сотни тысяч аккаунтов, начинаются проблемы. 🔵 Его лента постоянно обновляется, и это создает повышенную нагрузку не только на его партицию, но и на соседей по шарду. При этом сам пользователь (если это и правда человек, а не бот) никогда не сможет прочитать все сообщения в ней. Значит, и BlueSky незачем выводить все-все новые посты — достаточно просто, чтобы в ленте регулярно появлялся новый контент. Так, чтобы избежать перегрузки, BlueSky внедрили такие понятия: 🔵 разумное ограничение (reasonable limit) на число подписок — то есть сколько подписок нужно, чтобы лента стабильно обновлялась и оставалась читабельной. 🔵 loss_factor — процент новых сообщений, которые не попадут в ленту пользователя. Он рассчитывается по формуле min(reasonable_limit/num_follows, 1). Допустим лимит у нас 2000, а подписан пользователь на 8000 аккаунтов. В этом случае loss_factor = 0,25, то есть только 25% новых постов попадут в его ленту. Внедрение таких запрограммированных потерь помогло значительно поднять производительность и снизить задержки.

Как вам это решение? ❤️ — Изящно! 🌚 — Можно было и получше придумать…

Как и попросил заказчик, вы использовали Key management для шифровки данных клиентов. Но это привело к факапу. Облачный сервис не оправдал ожиданий: — Из-за большого объема данных их нельзя обработать все разом. Приходится шифровать кусками; — В каждое использование Key management нужно платить за трафик. Какой инструмент попробовать вместо Key management? Оставляйте свои варианты в комментариях. А если хотите решать такие задачи на реальной работе, то записывайтесь на курс «Инженер данных» и получите шанс попасть в команду LEFT JOIN.

Как развиваться в профессии инженера данных? Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN. А перед началом учебы на вебинаре разберемся, что должен знать и уметь инженер данных, чтобы успешно развиваться в профессии и повышать грейд. Вебинар проведет Николай Валиотти — создатель канала и основатель дата-консалтинга LEFT JOIN. 🔵 С каким стеком нужно уметь работать? 🔵 Какие «софты» и «харды» пригодятся DE, и как требования к ним меняются в зависимости от грейда? 🔵 Что именно делает инженер данных и какие задачи решает? Разберем на примере трех реальных проектов из нашей практики. Онлайн-вебинар пройдет 18 марта в 18:00 по Москве. Участие бесплатное. 🔜 Регистрируйтесь по ссылке!

LEFT JOIN открыл вакансии инженера данных для студентов karpov.соurses Это значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через реальный кейс. Попробуйте решить ↓ Реальный кейс от LEFT JOIN: Биллинг-сервис для медицинских организаций пришел с задачей. Хочет автоматизировать обработку данных в трансформационном слое и зашифровать данные клиентов. В качестве материалов вам отдали сырые данные о клиентах и их платежах. Попросили использовать в работе инструмент Key management.

Umami — альтернатива Google Analytics Как бы ни был хорош, привычен и удобен Google Analytics, не всем нравится, что корпорация собирает и использует в своих целях их данные. Если вы не хотите делиться с Google информацией о своих пользователях, можно рассмотреть альтернативы — например, Umami. Это бесплатный инструмент для веб-аналитики с открытым исходным кодом. 🔵 Поддерживает PostgreSQL и MySQL. Судя по отзывам — работает устойчиво и стойко переваривает даже большие потоки данных. 🔵Простой интерфейс с гибкими настройками событий и действий юзеров, которые вы хотите трекать. Можно отслеживать действия, клики, переходы и удержания, строить воронки — в общем, все, что надо. 🔵Для тех, кто не хочет хостить инструмент самостоятельно, есть облачная версия.

Что думаете про подобные альтернативы Google Analytics? ❤️ — Хорошо отношусь — на рынке должна быть здоровая конкуренция! 🙈 — Не вижу смысла — ни одна из них не превзошла GA

6 TB в SQLite Как известно, те, кто хочет, ищет способы, а те, кто не хочет — оправдания. Те, кому не хватает целеустремленности и авантюризма, говорят, что SQLite не заточена под работу с большими объемами данных и вообще не в этом ее главное преимущество. Те, кто открыт новому и не боится вызовов, делают базу на 6 терабайт. Ко вторым относится автор searchcode — проекта по поиску исходного кода. В базе больше 75 миллиардов строк из 40 миллионов проектов. Вот так 6,4 ТБ данных и набежало. 🔵Изначально автор использовал MySQL, и был верен ей с самого начала до конца 2024 года. Но он постоянно искал способы сделать архитектуру проекта проще и удобнее — и пришел к мысли, что пора переходитm на SQLite. 🔵Переход не всегда был простым — пришлось и разобраться, как обойти ошибку database is locked, и найти способ сжатия данных в SQLite. В MySQL вопрос решался через функцию compress, а вот в SQLite решение оказалось не таким очевидным. Спойлернем: автор начал с поисков стороннего плагина, но в итоге пришел к тому, что более жизнеспособный вариант — компрессия на уровне файловой системы. 🔵Несмотря на все сложности, SQLite с 6,4 ТБ справляется не хуже, а иногда даже лучше, чем MySQL. Автор все равно переживает, что какие-нибудь проблемы все равно вылезут, но пока полет нормальный.

Как вам такой эксперимент? ❤️ — Проект работает, цель достигнута — значит, все было не зря! 🙈 — Слишком много суеты непонятно для чего

Сегодня не пятница, но это не повод не запостить #мем

ClickHouse в практике дата-консалтинга Мы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных сторонах у нее есть и минусы вроде отсутствия полноценной поддержки транзакций или сложностей при точечных операциях. В совокупности это все делает ClickHouse отличным вариантом для проектов, где данных уже много, в перспективе станет еще больше, и их надо быстро обрабатывать, возможно даже в режиме реального времени — например, стримингов или рекламных платформ. 🔜 Выложили в нашем блоге новую статью, где кратко рассказали, что знаем про ClickHouse: особенности архитектуры, отличия между работой в облаке и on-premise и, конечно, про кейс из своей практики не забыли. Ждем ваших комментариев — статьи на какие темы вы хотели бы увидеть  в блоге?

🔥 Исследование рынка аналитиков 2024: полные результаты Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам: ➤ Какие задачи решают аналитики ➤ Что с релокацией у аналитиков ➤ Сколько зарабатывают аналитики ➤ ТОП и анти-ТОП компаний для аналитиков ➤ Что ценят в аналитической культуре ➤ За какими экспертами следят аналитики Будем рады, если вы поделитесь результатами исследования с коллегами, знакомыми, друзьями аналитиками и всеми, кому может быть интересно 🫶 👉 Смотреть полные результаты Все, кто принял участие в нашем исследовании и оставлял почту, проверьте её! От нас должно прийти письмо с приглашением на закрытый стрим для респондентов 🙏 💙 Команда NEWHR анализирует IT-рынок в России и других странах. Мы делаем публичные и заказные исследования для компаний (смотреть примеры). Будем рады сделать исследование вместе с вами. 📨 Пишите на почту data@new.hr

Команда NEWHR подвела итоги исследования рынка аналитиков, которое проводила в конце 2024! 🔥 Мы тогда выступили в качестве инфопартнера проекта и теперь рады поделиться с вами результатами.

Аналитика + логистика: выбираем новую локацию для склада Когда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных. Звучит красиво, но без примеров слишком абстрактно. Хорошо, что пример у нас есть — и нет, он не про маркетинг и про то, как с помощью дашборда выбрали баннер, который нагеренерил больше всего лидов. 🔜 Это кейс Wing — телеком-оператора из Нью-Йорка, с которым мы работали несколько лет назад. 🔵 Wing предоставляет услуги связи, продает смартфоны и отправляет клиентам сим-карты и комплекты для подключения (роутер, маршрутизатор, кабели). 🔵 Когда мы начали работать, у заказчика было два больших склада — в Нью-Йорке и Техасе. Оттуда отправляли заказы по всей стране. Постепенно объем вырос, клиентов стало больше, и пришло время оптимизировать процессы и расширяться. Вот только как? 🔵 У Wing накопилось много данных о количество отправок, времени и направлениях, но не было ресурсов для обработки и экспертизы, чтобы извлечь из них инсайты. Но вы уже сами понимаете, что произошло — мы пришли на помощь. На карточках рассказываем, как с помощью данных найти лучшую локацию для нового склада. Делимся своим опытом — может, вам тоже пригодится. Как вам кейс? Стоит рассказывать о своих кейсах почаще? 👀

Trisigma — аналитическая платформа от Авито Тех Trisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на бизнес-показатели, проводя сотни тестов одновременно. Платформа разворачивается в облаке и легко интегрируется в ИТ-инфраструктуру компании для обмена данными с другими компонентами системы. Она нетребовательна к ресурсам, поэтому внедрить ее сможет как корпорация, так и небольшой стартап. Особенно полезен инструмент будет финтехам, эдтехам и стриминговым сервисам — тем, кому важно постоянно развивать и дорабатывать свои продукты с опорой на данные. Что им даст Trisigma? 🔵 Автоматизацию тестирования — это даст возможность проводить больше тестов и при этом освободить время аналитиков. 🔵 Информативные и точные отчеты с результатами тестов. Автоматизация позволяет избежать ошибок, связанных с человеческим фактором. 🔵В итоге — принятие решений на основе данных и быстрое внедрение новых функций в продукт. По словам управляющего партнера Авито Ивана Гуза, применение подхода с A/B тестированием обеспечивает дополнительный прирост ключевых показателей компании, таких как выручка или количество покупателей, в коридоре от 10 до 20% в год. 🔜 Для тех, кто хочет познакомиться с возможностями Trisigma, команда Авито Тех уже открыла прием заявок.

Открыт предзаказ на мерч LEFT JOIN! Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев. 🔵 Стоимость — 2500 рублей. 🔵 Доступны 5 размеров: S, M, L, XL, 2XL 🔵 Отправляем Почтой России и СДЭКом только по РФ. Если вы живете за границей, то можем отправить вашим друзьям-родным, которые будут согласны переслать футболку вам. 🔵 Дизайн со всех сторон показали в своей статье. 🔜 Чтобы оставить заявку, стучитесь к нашему боту. Вскоре с вам свяжется наш сотрудник для оплаты и подтверждения заказа. Все вопросы задавайте в комментариях к этому посту.

Курс от karpov.соurses + оффер от LEFT JOIN 27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по: 🔵 работе с БД, DWH, BI‑платформами и облачными сервисами, 🔵 автоматизации ETL-процессов, 🔵 обработке больших данных, 🔵 применению ML-моделей. Курс поможет не только получить новые знания и упорядочить старые, но и найти работу — 2 студента из потока смогут попасть в штат LEFT JOIN на должность Middle Data Engineer. Для этого понадобится: 🔵 на старте обучения отправить резюме нашему HR, 🔵 пройти 50% курса без срыва дедлайнов, 🔵 выполнить тестовое задание и пройти интервью. Успешные кандидаты получат оффер. 🔜 Подать заявку можно уже сейчас.

Сломалась платформа vc, но не мы — все те же маркетологи, все те же зарплаты Помните, мы публиковали статью про зарплаты маркетологов и наш интерактивный дашборд? Площадка не дала нам возможность продвинуть ее так, как хотелось, поэтому мы решили попытать счастья еще раз. И как никогда нам нужна ваша поддержка в виде лайков и комментариев. Поддержите нашу статью еще раз 🔜 https://vc.ru/hr/1846874

Открыты две вакансии в LEFT JOIN Апдейт по вакансиям: их уже две (обе Middle), и мы рассматриваем part-time занятость c перспективой перехода на полный день. Работаем удаленно по GPT+3. Зарплата в рынке, корпоративный английский, интересные проекты, демократичная атмосфера в компании без бюрократии и прочей духоты. От аналитика ждем: 🔵 Опыт от 2 лет, 🔵 Уверенный Python и SQL, 🔵 Опыт работы с двумя и более BI-системами, 🔵 Релевантное высшее образование и знание мат. статистики. Предстоит строить ad-hoc отчетность, разрабатывать отчеты в BI-системах и витрины данных. 🔜 Полное описание вакансии на huntflow. Откликайтесь там же или пишите напрямую нашей HR Татьяне @tanya_zab. От инженера данных ждем: 🔵 Опыт от 3 лет, 🔵 Уверенное владение SQL, Python, Airflow, bash. 🔵 Опыт разработки ETL, проектирования и разработки хранилищ данных и аналитической отчетности, а также работы c Kafka, S3 и dbt. 🔵 Релевантное высшее образование. Предстоит создавать и поддерживать ETL/ELT-процессы, обеспечивать корректность работы отчетов и консистентность данных, создавать и сопровождать витрины данных и вести документацию. 🔜 Полное описание вакансии на huntflow. Откликайтесь там же или пишите напрямую HR @tanya_zab.