DevBrain

Нашел сайт с коллекцией видео с различных конференций. По сути это большой тематический каталог с функцией подписки на интересующие вас темы и конференции. Вот, например, список всех доступных видео с различных Python конф: https://tulu.la/events/?past=show&search=Python&videos=true

Если вы также как и я активно используете PyCharm для создания приложений на Python, то ребята из JetBrains совсем недавно проводили очень крутой вебинар по продвинутой отладке в PyCharm: смотреть

На образовательной платформе edX появился бесплатный курс по контейнерам в AWS: https://www.edx.org/course/building-containerized-applications-on-aws

Интересное в сети Давненько я не делал постов из серии рекомендаций на интересных авторов в IT. Рекомендую вам отличный блог девушки по имени Chelsea Troy. Она пишет регулярно (в отличии от меня). Сейчас она в процессе написания цикла статей про реализацию алгоритма Raft на Python по мотивам мастер-класса от Дэвида Бизли: https://chelseatroy.com/2019/12/20/the-raft-algorithm-what-why-and-how/ Все слышали про знаменитый курс SICP от MIT и одноименную книгу? Челси прошла мастер-класс от того же Бизли и забабахала серию статей. Начало SICP, Introduction: On Learning the Abstract. Другой не менее интересный автор Ruslan Spivak. Руслан в 2015 году начал серию постов о том как создать свой интерпретируемый язык программирования на Python :) Ссылка на первый пост: Let’s Build A Simple Interpreter. Part 1.. Статья написана в июне 2015 года, а последний пост вышел в августе 2019. Недавно в твиттере Руслана появилась информация, что совсем скоро будет ещё один Отдельных аплодисментов заслуживает Eli Bendersky, который регулярно ведёт блог с 2003 года. Не буду выделять какие-то конкретные его работы. Весь блог это сплошной must read.

Гугл выпустил новый сервис по поиску датасетов, пока в бета, но что-то годное для работы уже можно найти: https://datasetsearch.research.google.com/

В официальном devguide CPython обновилась информация о работе сборщика мусора: https://devguide.python.org/garbage_collector/ Выделите 20-30 минут на чтение, чтобы лучше разобраться как работает очищение памяти в Python.

Всем привет! На сайте Dice вышла статья о том, что 2020 год должен стать годом Data Engineer: 2020: The Year of the Citizen Data Engineer В заметке есть интересная ссылка на исследование от LinkedIn: 2020 Emerging Jobs Report, где дата инженер занимает почетное 8 месте с годовым приростом спроса аж на 38%. Отчёт актуален для рынка США. Из наиболее популярных навыков для дата инженера упоминаются: - Apache Spark - Hadoop - Python - SQL - ETL - Amazon Web Services Самое время углубиться в эту интересную и важную профессию цифрового века. А узнать как стать дата инженером поможет моя прошлогодняя статья: Как стать Data Engineer.

Увидела свет первая версия pandas: pandas 1.0.0rc0. К этому знаменательному событию ребята также обновили сайт с документацией: https://pandas.pydata.org/pandas-docs/version/1.0.0/. Теперь он выглядит приятно и не вызывает рвотного рефлекса :) Это не финальная версия релиза, а первый релиз-кандидат, поэтому библиотека может вести себя нестабильно. Из прикольного, в версии 1.0 появился метод .to_markdown у объекта DataFrame. Чтобы поиграться: pip install pandas==1.0.0rc0

Нашел, пожалуй, лучший сайт, посвященный индексам в базе данных: https://use-the-index-luke.com/. Это лучшее, что есть в сети :)

В Amazon Redshift наконец появилась фича UNLOAD прямо в Parquet формат: https://aws.amazon.com/ru/about-aws/whats-new/2019/12/announcing-amazon-redshift-data-lake-export/

Состоялся релиз 3й версии популярного веб- фреймворка Django 🥳 https://www.djangoproject.com/weblog/2019/dec/02/django-3-released/

От университета ETH Zürich в Швейцарии в сети стал доступен курс Computer Architecture: https://www.youtube.com/playlist?list=PL5Q2soXY2Zi-DyoI3HbqcdtUm9YWRR_z-.

Нашел в сети увесистый гайд по разработке веб-приложений на базе serverless технологий. Конкретно в этом гайде разбирают Amazon Web Services, AWS Lambda, React.js: http://bit.ly/2XJmgBW

Друзья! На платформе Stepik я запустил продажи курса Введение в data engineering: дата-пайплайны. Речь в курсе идёт о замечательном инструменте Luigi о котором я неоднократно рассказывал на конференциях и в статьях. Сейчас курс сделан наполовину, в нём есть вводная часть и каждую неделю, начиная с 18 ноября, будет открываться новый модуль с практическими материалами. Этот небольшой курс это начало интересной специализации по data engineering (будут отдельные курсы), которую я планирую создать в будущем, в неё войдут материалы про базы данных, распределенные системы, продвинутый SQL, инструменты экосистемы больших данных (Kafka, Spark, Airflow и т.д). В курсе про дата-пайплайны я рассказываю о существующих инструментах, и детальный акцент делаю на Luigi. Курс научит вас понимать luigi и его компоненты, эффективно строить сложные зависимости между задачами, а также деплоить ваш пайплайн через Docker. Я подробно расскажу про конфигурирование и подводные камни при работе с этим инструментом. Стоимость курса $10. Ссылка на курс: http://bit.ly/2NtOrRG Чтобы его купить, необходимо сначала зарегистрироваться на платформе stepik.org.

Гвидо Ван Россум ушел на пенсию: http://bit.ly/2C9JR4N

Вот и состоялся релиз python 3.8. Отличный релиз с большим набором интересных фич. Кому любопытно узнать что там нового - почитайте мой июльский пост: https://khashtamov.com/ru/python38-overview/ Скачать релиз https://www.python.org/downloads/release/python-380/

Нашел в сети бесплатный курс про Apache Druid. Apache Druid это колоночная база данных, предназначенная для выполнения быстрых аналитических запросов. Из аналогов: Amazon Redshift, Yandex ClickHouse, HP Vertica. Вводный курс можно посмотреть по ссылке https://imply.io/druid-university/intro-to-druid-university

Кстати, в сети стал доступен исходный код 3-й версии фронтенд фреймворка VueJS. Примечательно, что он полностью написан на TypeScript. Ссылка на реп: https://github.com/vuejs/vue-next

В блоге Pragmatic Engineer вышла крутая статья про подход в проектировании ПО. Gergely Orosz, Engineering Manager из Uber, поделился своим опытом и мыслями на счёт паттернов проектирования, новомодых инструментов для рисования диаграмм и создания документации. Автор пришел к выводу, что не нужно искать серебрянную пулю и пытаться подогнать паттерн под конкретный кейс. Вместо этого необходимо стремиться к простоте. Мне особенно понравились его рекомендации, так сказать, пошаговые инструкции, при разработке новой архитектуры системы. Не пожалейте своего времени, и прочтите её в оригинале: http://bit.ly/2kV9e52