DataEng

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/ 💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД. ✅ На курсе вас ждет: ✔️ Живые вебинары с опытными практиками ✔️ Решение прикладных задач и создание своего продукта ✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок ✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data. 🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам: 👉 Elasticsearch как NoSQL хранилище документов 👉 Clickhouse vs. Greenplum. Какую MPP-базу данных выбрать? Реклама. Информация о рекламодателе на сайте www.otus.ru.

Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th Edition Электронную версию книги можно бесплатно скачать на сайте по ссылке выше. 3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно откладываю её прочтение (читал отрывками). Надеюсь в 2023 году доберусь до неё 🤞

Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдадут бесплатно. Не медлите, регистрируйтесь сами и зовите коллег — будет весело!

Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

Cоздание сквозных логов, настройка ETL в Apache NiFi и конфигурация Apache Flink. Обсудим инструменты дата-инженера на бесплатном митапе от билайна при поддержке JUG Ru Group. 📆 20 декабря, 17:00, онлайн. В программе: ✔️ Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». ✔️ Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами airflow». ✔️ Александр Булатов — «Apache Flink: Flink Table API & SQL». После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки. Бесплатная регистрация на сайте митапа.

💣 Хотите мастерски владеть Spark? 🚀 Приглашаем дата-инженеров 13 декабря в 20:00 на открытый урок «Spark в Kubernetes» в рамках онлайн-курса «Spark Developer». ➡️ На занятии мы: - Кратко расскажем о том, что такое Spark и Kubernetes - Рассмотрим особенности и варианты запуска Spark в Kubernetes - Сравним работу Spark в Kubernetus и Hadoop Yarn ➡️ Кому будет полезен урок? - IT-специалистам, которые хотят перейти в Big Data - Начинающим дата-инженерам, желающим углубить свои знания в профессии - Тем, кто самостоятельно изучает технологии Big Data 🦾 Вебинар проведет Вадим Опольский, Scala Big Data разработчик в Luxoft DXC Technology. Продолжить освоение инструментов дата-инжиниринга вы сможете на онлайн-курсе в OTUS. 💻 Пройдите вступительный тест для регистрации на урок https://otus.pw/Htue/ Реклама. Информация о рекламодателе на сайте www.otus.ru

Требования информационной безопасности: как всё учесть? С каждым годом всё больше компаний задумывается о защите персональных данных клиентов, сертификации и разграничении прав доступа. На вебинаре спикеры из RPPA и Yandex Cloud помогут вам разобраться в множестве стандартов, а также прокачать свои знания в сфере безопасности. ➡️Регистрируйтесь на вебинар

У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1L Я же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: http://weekly.sfdata.io/

На главной странице HackerNews нашел ссылку на бесплатный курс по основам Natural Language Processing (NLP) - Natural Language Processing Demystified. Эта тема меня давно интересует, но я никак не могу выделить время, чтобы основательно погрузиться туда. Курс состоит из серии видео роликов на YouTube. Ссылка на тред с обсуждение на HN.

Релиз Apache Airflow 2.5.0 🎉 Вчера вечером вышла новая версия Apache Airflow - 2.5. В последнее время меня удивляет с какой скоростью выходят обновления у этого инструмента. Полный список новых фич смотрите тут. Из примечательного на мой взгляд: — Возможность очистить через UI всю таск группу (TaskGroup) для перезапуска всех операторов внутри. — Декоратор-сенсор (task.sensor). Теперь легко можно превратить функцию в сенсор. — Поиск по датасетам — Автообновление логов в UI. Отныне можно забыть про F5 в разделе логов 😎

В шведском городе Мальмё недавно прошла интересная IT-конференция Øredev 2022. В плейлисте нашел доклады про data engineering: - The 7 habits of data effective companies - Five Sins of Data Observability - Data Mesh: Data Analytics for Engineer - Democratize your data with Analytics Engineering - Data engineering in 10 years Полный список можно глянуть по ссылке.

Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами? 1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя. Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса. Участие бесплатное. ➡️ Регистрируйтесь на вебинар

🔥 Как применять подход векторного представления слов в NLP? 🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анализу данных в команде AGI NLP в SberDevices. 💣 По итогам занятия вы: ️✔️ Узнаете технику векторных представлений слов (word embedding) ✔️ Изучите несколько классических методов векторных представлений слов. ✔️ Научитесь применять методы word embedding для решения прикладных NLP-задач 📊 Занятие проходит в рамках курса «Natural Language Processing (NLP)». Курс предназначен для DS/ML-специалистов, которые хотят углубить знания в области NLP. ✅ Регистрируйся бесплатно - https://otus.pw/AYly/

Всем привет! 👋 Друзья, предлагаем вам оценить российский рынок мероприятий для разработчиков. Поделитесь, какие митапы и конференции вам интересны и почему, какие форматы участия вы предпочитаете. Онлайн-опрос займет не более 3-х минут. За это время вы передохнёте от работы, а в конце мы подарим скидку 25% на крутые образовательные лекции! Пройти опрос

​​🔥 Выгрузка данных из внешних систем — одна из неотъемлемых задач дата-инженера. 📌 Узнайте, как грамотно справляться с ней на открытом уроке 10 ноября в 18:00 мск. Занятие проведет Алексей Железной, Data Engineer в Wildberries. ️️❇️ Что вас ждет на вебинаре? ️️✔️ Изучим классификацию источников ✔️ Поймем, как это влияет на выбор способа загрузки информации ✔️ Разберемся, какие из универсальных инструментов выгрузки данных актуальны сегодня ✔️ Научимся самостоятельно настраивать Data Ingestion пайплайны с помощью NiFi. 💻 Занятие является частью онлайн-курса «Data Engineer» и дает возможность оценить формат обучения в OTUS. 🟢 Для регистрации пройдите вступительный тест Реклама. Информация о рекламодателе на сайте www.otus.ru

На ютуб-канале SmartData начали появляться доклады с одноимённой конференции, которая проходила в конце декабря: https://bit.ly/3zOHh2h

Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теперь лучше организовывать профессиональные мероприятия и оказывать помощь и поддержку комьюнити. Пройти опрос. Опрос актуален для граждан РФ

Data Engineer (senior/lead) 🏢 в классном офисе в Москве; 💳 от 300К руб., белая ЗП или ИП; 🗂 большой датасет, интересные задачи, возможность влиять на продукт. Ищем Data Engineer в команду PREDICTO. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории и многих других интересных задач. Нет долгих согласований, стремимся к быстрому внедрению в production и итеративной работой над улучшениями. Что нужно делать: • Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных; • Обеспечивать SLA и качество данных; • Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой. Что ждем от кандидата: • Хорошее знание технологий из стека: Python, SQL, Spark, Airflow; • Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных; • Опыт продуктовой разработки в технологических компаниях. Будет плюсом: • Опыт работы с облаками, особенно, с Яндекс.Облаком; • Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python; • Опыт работы с моделями машинного обучения в продакшене; • Опыт работы с базами данных для аналитики, особенно, с ClickHouse. Если Вас заинтересовала вакансия, пожалуйста, дайте обратную связь и резюме в Telegram: @fedosovaAS

​​🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы: ✔️ Привязка событий к зонам на карте города; ✔️ Агрегирование и аналитика данных с помощью H3 (гексагоны); ✔️ Оптимизация расчетов и производительности, кэширование. 💻 Также на вебинаре подробнее познакомимся с программой онлайн-курса “Data Engineer” 🔥 Проходите вступительный тест и записывайтесь на урок