DataEng

Great thread on Python 3 cool features. https://twitter.com/svpino/status/1308632185113579522?s=19

Дневник дата инженера: https://lakefs.io/2020/09/14/diary-of-a-data-engineer/

Коллеги, приветствую! Мы рады анонсировать очередной митап: DE or DIE #4. Дата и время: 01.10.2020, начало в 18:00 MSK Формат: online. На этот раз нас ждут две контрастные темы, так что вне зависимости от того, занимаетесь ли вы прокладкой ETL-пайплайнов или менеджментом в области данных, вы найдете для себя что-то интересное. Что в программе: 1. «Своя песочница – как сделать кластер для инженера данных», Артем Селезнев, Senior Data Engineer, Сбербанк 2. «Data governance – что это, зачем, и с чего начать», Андрей Вихров, Главный системный аналитик, Связной Зарегистрироваться можно здесь: https://deordie.timepad.ru/event/1435939/

По аналогии с DataCamp ребята из DataQuest решили открыть доступ ко всем курсам своей платформы бесплатно на 1 неделю. Ссылка — https://bit.ly/33IqIny P.S. на платформе есть целый трек, посвященный дата инжинирингу

Apache Arrow это новый колоночный in-memory формат хранения данных от создателя pandas: https://youtu.be/SBy1WtA3b6o

Нашел тут давеча data engineering вебинар-митап про утилиту dbt: https://www.youtube.com/watch?v=7ClMYCWOekk

База данных о базах данных: https://dbdb.io/

Бесплатный курс по Scala: https://datastacktv.teachable.com/p/scala-now

В Amazon Redshift стал доступен функционал работы с БД поверх HTTPS: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/announcing-data-api-for-amazon-redshift/

Сервис онлайн-образования Яндекс.Практикум в поиске Наставников на факультеты Аналитики и Data Science. Необходимо знание Python. Наш девиз: «Каждый может». Каждый может менять свою жизнь, каждый может научиться новому, каждый может начать сегодня. Даже если раньше не получалось. Если вы считаете так же — вы уже часть нашей команды. ✔️Что делает наставник? Наставник помогает студентам учиться: отвечает на вопросы и помогает с трудностями. Каждый наставник курирует группу студентов: общается с ними в Slack, проводит групповые и индивидуальные звонки. Все наставники перед работой проходят Школу наставников от Яндекс.Практикума. ✔️Чтобы стать наставником на факультете Аналитики потребуется владение библиотеками Pandas, NumPy, Matplotlib, Seaborn и, желательно, Plotly. Откликнуться на вакансию можно здесь: https://clck.ru/QkkjQ ✔️Если вдобавок к вышеперечисленному вы работали с проектами из сферы машинного обучения, то рассмотрите для себя наставничество на факультете Data Science: https://clck.ru/QkkmN Кстати, наставничество возможно совмещать с основной работой, это частичная удалённая занятость.

Диалог @a_nikushin и @data_karpov о доступном образовании для аналитиков на Youtube вдохновил меня рассказать одну свою историю и поделиться ссылками. Так сложилось, что в Университете мне очень повезло с преподавателями (от линейной алгебры до баз данных и языков программирования). Один из них, В. Л. Аббакумов, разжег настоящую страсть к методам анализа данных своими лекциями и лабораторными заданиями. В. Л. — практик и был моим научным руководителем по дипломной работе (мы делали кластеризацию данных Ленты), а затем и по кандидатской диссертации (строили нейронную сеть специальной архитектуры, тогда еще в Matlab). Уже несколько лет назад в рамках ШАД и Computer Science Яндекса у него был записан курс Анализ данных на Python в примерах и задачах в двух частях. Настало время поделиться ссылками на первый и второй плейлисты на Youtube. Первая часть посвящена описательным статистикам, проверке статистических гипотез, иерархическому кластерному анализу и кластерному анализу методом к-средних, классификационным моделям (деревья, Random Forest, GBM). В целом, весь плейлист достоин внимания без отрыва 🤓 Во второй части более глубокое погружение в нейронные сети, keras, deep learning, xgboost и снова все лекции крайне рекомендованы.🎖 Смотреть можно смело на 1.5x. Материалы к видео: — Часть 1. Занятия и материалы — Часть 2. Занятия и материалы

Карта навыков современного дата инженера: https://github.com/datastacktv/data-engineer-roadmap Неплохо дополняет мою статью: https://khashtamov.com/ru/data-engineer/

DataCamp в очередной раз устраивают бесплатную неделю: https://www.datacamp.com/freeweek

Mastering a data pipeline with Python / Robson Luis Monteiro Junior (Microsoft) https://youtu.be/25fUlUsmg38

CAP теорема для дата инженеров: https://www.analyticsvidhya.com/blog/2020/08/a-beginners-guide-to-cap-theorem-for-data-engineering/