DataEng

🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы: ✔️ Привязка событий к зонам на карте города; ✔️ Агрегирование и аналитика данных с помощью H3 (гексагоны); ✔️ Оптимизация расчетов и производительности, кэширование. 💻 Также на вебинаре подробнее познакомимся с программой онлайн-курса “Data Engineer” 🔥 Проходите вступительный тест и записывайтесь на урок

Релиз Python 3.11 Вчера вышел долгожданный (как минимум мною) релиз Python 3.11 Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич: — TaskGroup, можно забыть про asyncio.gather — ExceptionGroups — Читабельные traceback с подчеркиваниями Мне особенно зашла фича с группами исключений, даже накидал небольшой демо-пример. Когда стоит переводить проект на Python 3.11? Торопиться не стоит, т.к. далеко не все пакеты в вашем проекте могут иметь работающие колёса (wheel). Прямо сейчас, например, нет колёс для библиотеки psycopg2 для python3.11 под Windows. Я бы рекомендовал подождать пару минорных версий с исправлениями и уже после готовиться к миграции. Все хорошего кодинга! 🐍

​​🔥 Хардкорный тест для дата инженеров 🔥 🚀 Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Data Engineer» 💻 В новом потоке вас ждет актуализированная программа, живые вебинары с опытными экспертами и еще больше практики! В программе рассмотрим все процессы обработки данных — от загрузки из внешних источников до подготовки финальных витрин. ️️🦾 После обучения вы сможете самостоятельно справляться даже со сложными задачами в сфере работы с данными. Освоите работу с Architecture, Data Lake, DWH, MLOps с практикой в Yandex Cloud. 👉 ПРОЙТИ ТЕСТ https://otus.pw/39x0/ 💣 Пройдете тест, получите демо-ролик о занятиях на курсе и Welcome-скидку. 🔴 Также вам откроется доступ к 2 открытым урокам курса: ✅ Работа с ГЕО-данными в DWH: координаты, зоны, агрегация ✅ Выгрузка данных из внешних систем

Привет всем! До начала нового сезона Podlodka Techlead Crew 🛠«Observability: monitoring, alerting, tracing» ещё осталось время. Мы перенесли старт на 17 октября. А значит вы еще можете успеть купить билет, чтобы узнать ответы на вопросы: ⚡️Как справляться быстро и эффективно с ошибками в проде — советы от Михаила Дружинина из Datadog ⚡️Как и зачем нужно измерять надежность системы и какие подходы для этого применять. Тайны раскроет Павел Лакосников из «Авито» ⚡️Зачем нужны SRE-инженеры: почему возникла эта профессия, какие ее основные принципы и инструменты и чем они отличаются от DevOps-парадигмы. Примеры из практики Ганны Новиковой из Intergiro ⚡️Как устроено SRE в разных компаниях — послушаем на круглом столе с Дмитрием Масленниковым из «Тинькофф», Михаилом Фесенко из Booking.com, Сергеем Бухаровым из АО «Финам» и Максимом Гусевым ⚡️Какие бенефиты компания получит от внедрения SRE-культуры, как ее поддерживать и развивать — в интервью с Максимом Гусевым ⚡️Кому, когда и зачем нужно тестирование доступности — сессия с Алексеем Мишкиным ⚡️Как выбирать технические метрики правильно — чтобы избежать нескольких итераций и боли от множественных переделок. Секреты раскроет Маргарита Ольшанская из Bolt. Все подробности сессий уже есть на сайте. Купить билет можно уже сейчас — до следующего понедельника действуют скидки!

Конференция SmartData 2022 пройдет 17–18 октября онлайн и 29 октября в офлайне. Программа уже готова — вас ждет 31 доклад о работе с данными. Вот их основные темы: ✔️ DBMS and Big Data Storage ✔️ Architecture of Data Platforms ✔️ Data Governance ✔️ Data Processing ✔️ MLOps / DevOps Если в это непростое время вам хочется на несколько часов отвлечься и побыть среди единомышленников, то приходите на SmartData. А промокод dataeng2022JRGpc даст скидку на билеты из категории «Для частных лиц». Подробности и билеты — smartdatacont.ru Если сомневаетесь, стоит ли идти на SmartData, то приходите на бесплатный онлайн-фестиваль TechTrain 2022 Autumn (https://bit.ly/3RwmkyZ). Он традиционно объединяет всех представителей коммьюнити — от тестировщиков до дата-инженеров. И неважно, уехали вы или остались, TechTrain — для всех. Вас ждут 10 докладов на разные темы, в том числе про эволюцию архитектур платформы данных.

Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57 Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉

#article #ethereum Exporting the full history of Ethereum into S3 https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff) What's inside: — BigQuery public datasets with Ethereum data: how to transfer to S3 quickly. — Alternative approach: exporting data from a public Ethereum node. No need to run your own node! — Processing uint256 with AWS Athena. — Processing realtime updates from Ethereum. — Best Data Engineering practices to process Ethereum data. A short summary inside 👇

Прошлый пост касался архитектуры Redis, а сейчас предлагаю вам познакомиться с кишками memcached: https://bit.ly/3czb6eQ Лет 5-6 назад я был активным пользователем memcached, использовал его во всех проектах как основной кэш-бэкенд, но с бурным развитием Redis я переключился на него. Тем не менее, memcached поддерживается (последняя версия вышла 26 августа 2022 года), видео считаю очень полезным (как и канал автора в целом).

Как работает Redis? Узнать можно тут: https://bit.ly/3pIbA5b

Wunder Fund: проект для Python разработчика 🔥 Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас много данных. Ищем Питон-разработчиков в команду: 🛠 Вы будете разрабатывать парсеры биржевых данных и программы для надежного их сохранения. Будете развивать автоматический пайплайн ежедневной обработки этих сохраненных данных. 👺 Идеальный человек хорошо знает Python. Круто, если ты уже строил пайплайны на Luigi/Airflow/etc и выкатывал их продакшн, работал с облачными платформами. 👾 У нас сильная команда и развитая инженерная культура. Вот небольшое видео с рассказом нашего СТО о том, как устроена работа и вообще — https://youtu.be/662q9FVqp50 А вот более подробное описание вакансии (https://wunderfund.io/jobs/data-eng). Платим от 200 до 400к в месяц ($3k — $7k). В особых случаях больше, договоримся. Контакт @nedifar1703

​​Исследование о виртуализации данных Возможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и получите доступ к материалам про виртуализацию. В библиотеке: • технический документ, в котором рассматриваются цели интеграции, приводятся недостатки традиционных решений и раскрыты 10 ключевых фактов о виртуализации как ключевого метода, позволяющего успешно выполнять оперативную интеграцию информации из разных источников. • Кейс крупной розничной сети Albertsons, которая запустила расширенную программу анализа данных клиентов и благодаря платформе Denodo обеспечила безопасность миллионов строк информации о пользователях в Облаке и контроль доступов к токенезированным и детокенезированным данным • Кейс о том, как ABN Amro Insurance смогла организовать оперативный обмен информацией с подразделениями, регуляторами, анализировать пользовательские данные благодаря созданию Логического Хранилища Данных • Кейс Toyota, которая развернула платформу Denodo поверх корпоративного хранилища данных и транзакционных БД, бесшовно интегрируя несколько различных систем-источников для создания Логического Хранилища Данных Поделитесь своим мнением о развитии виртуализации в опросе!

При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с масштабированием бизнеса. Автоматизированная система поддержки решений Loginom Decision Maker анализирует и структурирует большие массивы данных и представляет их в удобном для принятия решений виде. Готовая система используется в качестве основы кредитного конвейера, проверки контрагентов, формирования рейтинга поставщиков, анализа единого профиля клиентов и других процессов. Преимущества Loginom Decision Maker: ⚡️Формализация процесса принятия решений любой сложности ⚡️Гибкость в настройке новых бизнес-процессов с минимальными трудозатратами ⚡️Централизованный и комплексный подход к управлению логикой принятия решений ⚡️Высокая производительность и увеличение пропускной способности ⚡️Снижение потерь и операционных ошибок Подробнее по ссылке 👈🏻

На канале IT's Tinkoff появились видео с их конференции: — Как мы строим Metadata Management — Под капотом каталога данных — Как с помощью Data Mesh разломать ваше DWH — Data-docs — как найти данные о данных Enjoy! ☀️

SmartData от JUG Ru Group возвращается! Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвердите свою экспертность, познакомитесь с крутыми специалистами и получите обратную связь от участников. Программный комитет поможет с подготовкой к выступлению — назначит персонального куратора, проведет ревью материала и организует репетиции. На сайте вы найдёте список тем, с которыми можно выступить. Если хотите выступить с другой темой, присылайте свои предложения — их обязательно рассмотрят. А если хотите просто поучаствовать в SmartData 2022 — билеты уже на сайте.

Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"! Всю неделю будем пристально смотреть на производительность приложений. Будем учиться ⚡️Замерять и анализировать нагрузку ⚡️Оптимизировать узкие места, не переписывая сервис с нуля ⚡️Грамотно использовать многопоточность и эффективно утилизировать доступные ресурсы ⚡️Ускорять все, что тормозит! Будем разбираться фундаментально, поэтому привязки к конкретному стеку и фреймворкам в программе не будет. Зато, например, будем разбираться с реактивным подходом и акторной моделью. Как всегда в Podlodka Crew все это на протяжении недели с необычными нескучными форматами сессий, и с живым комьюнити в Slack. До следующего понедельник действует early-bird скидка, а билеты и подробности уже доступны на сайте. Ждем на борту!

Про таймауты и внешние API Хорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для блокирующих соединений). На моей памяти было 2 неприятных кейса. В далёком 2015 я использовал requests для работы с сервисом поиска и бронирования ЖД билетов в Казахстане, по-умолчанию в requests нет таймаута и ожидание может превратиться в бесконечность. Всё было хорошо до тех пор пока у внешнего сервиса не начались проблемы, и он перестал отвечать на запросы. Все worker-процессы ушли в бесконечное ожидание, и мой сервис перестал принимать новые соединения, сайт попросту сломался. Тогда мне потребовалось некоторое время, чтобы понять в чем проблема. Со второй проблемой я столкнулся неделю назад. Сейчас я разрабатываю веб-сервисы для автоматизации рекламных сетей, активно пользуюсь Facebook Ads. Для работы с маркетинговым сервисом Фейсбука существует библиотека facebook-python-business-sdk. Внимание! Под капотом она использует requests 😉 И у неё нет таймаута по умолчанию. Я наткнулся на те же грабли, когда ФБ стал подтормаживать. К слову, если вы как и я пользуетесь facebook-python-business-sdk, то таймаут можно установить через инициализацию API-класса: FacebookAdsApi.init(accesstoken=accesstoken, apiversion='v13.0', timeout=settings.FACEBOOKADSAPITIMEOUT) Не наступайте на грабли, ставьте таймауты 😉 Также по теме в ленте увидел пост про патчинг requests: https://adamj.eu/tech/2022/06/23/how-to-patch-requests-to-have-a-default-timeout/

Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0 В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особо нечего, он простой и работает без сбоев. У меня, например, Luigi вот уже много лет бэкапит все сайты и складывает на S3.

Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T