DevBrain

​​Всем доброго дня! На днях запустил новый канал @dataeng, где буду делиться материалом на тему распределённых систем и data engineering. В последнее время нового материала по этим темам в сети всё больше, поэтому подписывайтесь, если вам также как и мне нравится это направление. Постараюсь постить только самое интересное. Канал @dataeng

​​Обновил свою статью про работу с Celery. Давно хотел дополнить её информацией почему Celery не самый лучший инструмент для работы с long-running tasks, а также советами, если другого выхода нет ¯\_(ツ)_/¯. Читать тут http://bit.ly/2pWMD75

Сегодня рекомендую курс по продвинутому программированию на Python. 27–28 октября пройдет двухдневный интенсив Advanced Python в @binarydistrict_ru на площадке Digital October в Москве. Для кого курс: для разработчиков, техлидов, тимлидов и менеджеров проектов. О чем курс: метриках качества и оптимизации кода, основных паттернах и принципах проектирования, метапрограммировании и дескрипторах. Вы научитесь: писать быстрый, поддерживаемый и хорошо читаемый код и применять распространённые шаблоны проектирования, профилировать код и исследовать проблемы производительности, выбирать правильные структуры данных для задач и проводить рефакторинг. Спикеры: специалисты из Techops, которые ранее работали в «Яндексе», «Лаборатории Касперского», МТС, Rambler&Co, «Билайне» и «Мегафоне». Подробнее о курсе: https://goo.gl/vh8W44 Скидка: 10% по промокоду DevBrain

​​Забыл написать, что в сети появились доклады с прошедшей в конце сентября в Барселоне конференции по Data Engineering - DataEngConf BCN 2018. Из интересного стоит посмотреть доклад про формирование культуры Data Engineering в компании. Плейлист с докладами http://bit.ly/2pUsMpj

Автор библиотеки requests зарелизил HTTP Framework под названием Responder. Вдохновили на это его Falsk и Falcon: https://github.com/kennethreitz/responder

Где учиться криптографии? Рекомендую вам курс от @binarydistrict, который начнется 13 ноября. Это офлайн-курс, он будет проходить в Москве на площадке Digital October. Программа будет полезна тем, кто хочет освоить современные методы защиты информации и находить решения прикладных задач при разработке сервисов и услуг в финансовом секторе, страховом, юридическом, электронной коммерции и телекоммуникациях. Курс курирует Research Institute — международный научно-исследовательский центр с R&D лабораториями в Москве, Лондоне, Праге и Амстердаме. Смотрите программу и регистрируйтесь, как наберут места — регистрацию закроют: https://goo.gl/gQyjfW Для подписчиков канала действует скидка 10% по промокоду Devbrain.

Думали ли вы об автоматизации работы программистов? Я - да. Особенно после доклада Андрея Карпатого из Tesla про Software 2.0, где по словам техдира они автоматизировали создание ПО, используя нейронную сеть. И ведь действительно. Очень много кода уже написано. Большая часть нашего трудового времени уходит на построение ПО из кирпичиков в виде библиотек, мы стоим на плечах гигантов. Ребята из гитхаб перешли от слов к делу и запустили в качестве эксперимента поисковик готового кода https://experiments.github.com/semantic-code-search. Он еще тупой, но вектор развития четко виден.

Классный доклад от профессора Стэнфордского университета John Ousterhout про философию проектирования ПО. У него, кстати, есть одноимённая книга, которую я недавно купил, но пока ещё не прочитал. Видел только положительные отзывы о ней, как прочитаю сразу поделюсь мнением. А доклад смотрите по ссылке: https://www.youtube.com/watch?v=bmSAYlu0NcY

​​Хотите узнать, как не нужно писать на Python? Про это расскажут 3 октября в 20:0 (мск) на открытом уроке онлайн-курса для программистов «Разработчик Python»: https://otus.pw/9jXG/ Присоединяйтесь − будет интересно и профессионально! Участие свободное для всех. Будут рассмотрены антипаттерны программирования, bad practice и прочее зло, о котором стоит знать и не стоит допускать. Встречу проведет преподаватель курса Станислав Ступников − программист рекламной системы в MailruGroup, имеющий 6 лет опыта промышленной разработки, в том числе для крупных госзаказчиков, создания и поддержания веб-приложений, инфраструктурных решений, высоконагруженных систем, data pipeline'ов и аналитических систем. А про best practice Станислав будет рассказывать на курсе «Разработчик Python» − читайте программу, сдавайте вступительный тест и присоединяйтесь к группе https://otus.pw/eU8g/

Интересно как работают колоночные базы данных? Тогда непременно стоит прочитать отличный paper и summary по нему: http://bit.ly/2xOyCwA

Подборка курсов в Binary District для разработчиков, которые хотят прокачать навыки в машинном обучении, искусственном интеллекте и освоить новый востребованный язык программирования. 6 октября — 10 ноября, AI School Длительный курс по искусственному интеллекту с разбором кейсов и практикой. Специалисты из Microsoft, OpenWay, Comparex LLC, МФТИ, «Лаборатории Наносемантика» и «Хоум Кредит Банка» расскажут про типы нейросетей, возможные сценарии внедрения машинного обучения, доступные сервисы и платформы. Вы научитесь оптимизировать бизнес-процессы с помощью ИИ, создавать чат-боты, анализировать и генерировать тексты, распознавать изображения с помощью нейросетей. Зарегистрироваться: https://goo.gl/hE7iAL 6 октября, Machine Learning и нейросети для разработчиков Однодневный воркшоп от специалиста из NVIDIA. Дмитрий Коробченко, Deep Learning R&D Engineer, познакомит с технологическим стеком NVIDIA и инструментами, которые должны быть в арсенале инженера по машинному обучению. Вы научитесь работать с данными, изучите типы нейросетей и их возможности, основные методы и алгоритмы машинного обучения. Каждый блок программы включает в себя практику, можно принести свои проекты для разбора. Зарегистрироваться: https://goo.gl/YnPzoV 27–28 октября, Go Workshop Двухдневный воркшоп по разработке на Go — одном из самых востребованных языков программирования. Сергей Камардин, Software Developer из «Яндекса», поделится опытом, расскажет, где применяют язык, про его преимущества и возможности. Вы разберетесь в идеологии Go, сможете работать с базовыми структурами данных, горутинами, каналами, runtime и научитесь оптимизировать работу существующих веб-сервисов и приложений на Go. Зарегистрироваться: https://goo.gl/zb74MW

​​Уже совсем скоро в Москве состоится Frontend Conf (@FrontendConfChannel) - конференция про разработку клиентской части веб-проектов: адаптивный дизайн и юзабилити, вёрстка, CSS и HTML, разработка на JavaScript, новые и популярные фреймворки, одностраничные приложения, архитектура, автоматизация и тестирование фронтенда, rich-медиа и быстродействие интерфейса. 🔸Было подано 100 заявок, из которых выбрано 40 лучших 🔸Дискуссионные зоны для общения со спикером после доклада 🔸В организаторах крупнейшие сообщества - MoscowJS, MoscowCSS 🔸Среди партнёров - крупнейшая фронтенд-конференция Беларуси, MinskCSS 🔸Мы будем говорить обо всём фронтенде: HTML, CSS и JavaScript Регистрация 👉 https://clck.ru/ESVeA

Доступны доклады с прошедшего митапа SF Python: https://www.youtube.com/channel/UC51aOZF5nnderbuar5D5ifw/videos

​​Отличная новость для всех, кому интересна разработка онлайн-игр. Хотите узнать, как создать игру «2048» и перенести ее на свой смартфон? Подключайтесь 25 сентября, в 20:00 (мск) к открытому вебинару курса «Разработчик игр на C#». Будет интересно и профессионально. Участие свободное для всех: https://otus.pw/XBmt/ На этом вебинаре вы напишете игру «2048» и запустите её на мобильном телефоне. Вы пройдете по всему жизненному циклу создания программы: планирование, создание модуля логики игры, интерфейса пользователя, подбор музыкальных эффектов, перенос игры на Android или iPhone. Для того, чтобы занятие прошло успешно, вам понадобятся: Windows 10, Visual Studio, Unity 3D Personal, Android и iPhone устройство и, конечно, базовые знания языка C#. Проведет бесплатный мастер-класс Евгений Волосатов – преподаватель онлайн-курса «Разработчик игр на C#», магистр математики и информатики, разработчик с 20-летним опытом работы ведушим программистом и автор курсов по языкам C#, Java, PHP. И всех, кому интересна разработка онлайн-игр и клиент-серверных приложений, и всех программистов C# с опытом работы от 1 года приглашаем пройти вступительное тестирование и познакомиться с полной программой онлайн-курса: https://otus.pw/8oj3/

Крутой доклад от не менее крутого Maxime Beauchemin (автор Airflow и Superset) про продвинутое использование Apache Airflow в Data Infrastructure Engineering. Видео https://www.youtube.com/watch?v=23_1WlxGGM4 Доклад https://prezi.com/p/adxlaplcwzho/advanced-data-engineering-patterns-with-apache-airflow/

Делимся доступом ко всем докладам c прошлой Frontend Conf (@FrontendConfChannel) - конференции про разработку клиентской части веб-проектов: адаптивный дизайн и юзабилити, вёрстку, CSS и HTML, разработку на JavaScript, новые и популярные фреймворки, одностраничные приложения, архитектуру, автоматизацию и тестирование фронтенда, rich-медиа и быстродействие интерфейса. 👇https://clck.ru/EP5Ap

Интересные мысли в статье про DSL в ORM. В последнее время пишу массу SQL кода, который запускается через python скрипты. Использовал SQLAlchemy, Django ORM и т.д, в конце концов пришел к выводу, что чем сложнее SQL запрос, тем проще его написать на голом SQL, чем мучиться с диалектом различных ORM. Читать тут: https://erikbern.com/2018/08/30/i-dont-want-to-learn-your-garbage-query-language.html

​​25 сентября стартует новый курс по С++ для продолжающих: https://otus.pw/owYz/ Для тех, кто уже шарит в классических плюсах и хочет прокачаться в новых стандартах, лямбдах, паттернах, асинхронности и прочих продвинутых фишках. В свежем обновлении в курс включили и С++17. Ведёт Дмитрий Шебордаев — опытный преподаватель. Использует плюсы уже более 20 лет, сейчас руководит отделом разработки технологий в Rambler&Co. А 20 сентября в 20:00 по мск состоится онлайн День открытых дверей курса, где мы детальнее расскажем о программе/формате обучения, ответим на ваши вопросы и поведаем о возможности трудоустройства в 12 крупнейших IT компаний по итогу обучения на курсе. Зарегистрируйтесь, чтобы не пропустить: https://otus.pw/xLjz/

Нашел незаменимый репозиторий с коллекцией скриптов для работы и мониторинга колоночной БД Amazon Redshift https://github.com/awslabs/amazon-redshift-utils

Интересно что под капотом у современного веб-браузера? Тогда читаем статью от Гугл http://bit.ly/2CzKqaU