DevBrain

Ура! Я наконец завершил создание курса по построению дата-пайплайнов в Python, используя фреймворк Luigi: Введение в Data Engineering: дата-пайплайны Идея создания курса пришла давно, в июле 2019 я начал готовить материал и выбирал платформу на которой он будет размещаться. Выбор пал в сторону Stepik по ряду причин: удобные инструменты, хорошее сообщество и условия по продаже курса. Первые уроки стали доступны в начале ноября 2019 года, тогда же стартовали продажи. К сожалению, на протяжении длительного периода не появлялся новый материал. Я прошу прощения у всех, кто купил курс и ждал материал так долго. В тот период был некоторый завал на работе, квартирный ремонт и череда болезней. Как итог, получил парочку негативных отзывов о курсе, вполне справедливо. К счастью, мне удалось решить все проблемы и продолжить наполнение новым и интересным контентом. Честно говоря я не ожидал, что простой казалось бы с виду курс отнимет столько времени и сил. Я не надеюсь, что затраченные усилия окупятся в денежном плане, но я безумно рад, что получил интересный, а главное суперполезный опыт. И считаю, что курс получился уникальным. Почему? Я постарался сделать его максимально практическим, но в то же время не забыл про теорию и мотивацию. В курсе разобраны 5 практических задач от банального Hello World пайплайна до кастомных нотификаций об ошибках при выполнении в Telegram. Затронул не менее важную тему деплоя пайплайнов на продакшен, используя Docker. В конце курса подробно описал один из вариантов деплоя на serverless технологиях Amazon Web Services, используя Fargate, ECS,ECR, Cloud Map, Route 53. Такого материала вы нигде не найдёте. Курс получился миксом из текста и видео уроков. Если вам интересна тема data engineering и построения дата пайплайнов на Python, то милости прошу по ссылке: https://bit.ly/34Ezq6J Стоимость курса не изменилась, всего $10 Курс хостится на платформе Stepik, поэтому для его прохождения необходимо зарегистрироваться.

​​Научи нейросеть узнавать объекты с первого раза. Приходи на открытый урок по Нейросетям на Python https://otus.pw/wkac/ 14 апреля в 20:00 Михаил Степанов, эксперт по машинному обучению из Jet Infosystems, проведет занятие по Triplet loss. Что будем делать: Научимся работать с tensorflow datasets Рассмотрим проблему one-shot learning, metric learning Разберемся, что такое siamese networks и triplet loss Обучим нейросеть, способную с первого раза узнавать объекты Проходи вступительный тест и записывайся в группу, пока действуют самые большие скидки!

Бесплатная книга по системному программированию на Си: http://cs241.cs.illinois.edu/coursebook/index.html

Кстати, возможно не все знают, но у меня есть старый проект по удаленным вакансиям remotelist. Я давно его не развивал, сейчас планирую возобновить над ним работу. Если вы ввиду последних событий задумались о поиске работы, велком 🤗 Телеграм канал: @remotelist Сайт: remotelist.ru Бот: @RemoteListBot

​​7 апреля в 20:00 мск приглашаем на бесплатный пробный вебинар «Секреты динамического программирования» в рамках онлайн-курса «Алгоритмы для разработчиков»: https://otus.pw/gYSY/ Пройдите вступительный тест и поступите в группу с максимальной скидкой: https://otus.pw/8aPM/ На этом вебинаре будут рассмотрены основные идеи Динамического программирования и их применение для решения олимпиадной задачи.

​​Хочешь освоить интересную и современную профессию? Попробуй себя в геймдизайне! Научись разрабатывать концепты своих идей и эффектно их презентовать! Как это сделать, поговорим на бесплатном онлайн-интенсиве. Регистрируйся по ссылке: ▶️ https://clc.to/q-mRCA. Тебя ждёт: 🚀 ключевые составляющие геймдизайна; 🚀 живые примеры из игровой индустрии; 🚀 разработка игрового концепта в прямом эфире; 🚀 создание собственного сценария. Лучших участников ждут подарки: книга Джейсона Шрейера «Кровь, пот и пиксели» и доступ к игре «Мор» от компании Ice-Pick Lodge.

И снова поговорим про ETL На PyCon RU я сравнивал 2 ETL-инструмента в экосистема Python: - Luigi - Apache Airflow И в конце упоминал ещё несколько батареек на которые стоит обратить внимание. Среди них был Prefect. Это относительно новый инструмент, который появился в результате коллаборации разработчиков из Apache Airflow и Dask. Мотивацию о создании нового инструмента они описали в посте Why not Airflow?. Но сейчас не об этом. Вчера состоялся новый релиз Prefect, где наконец появился UI дэшборд. Я до этого времени особо не обращал на него пристального внимания, т.к. именно UI фишечки и не хватало. Кстати, небольшой пример пайплайна на Prefect я писал в рамках подготовки к PyCon RU 19. Материалы: - NYC Yellow Taxi Data Pipeline на Prefect - Примеры пайплайнов на Airflow, Luigi, Prefect для выступления на PyCon RU 19 - Доклад на PyCon RU 19: ETL инструменты в экосистеме Python - Сайт Prefect

​​На просторах сети нашел бесплатный курс от Стэнфордского Университета про веб-безопасность — CS 253 Web Security. Ведёт его небезызвестный Feross Aboukhadijeh. Он в своё время прославился сервисом YouTube Instant, который в реальном времени выводил подсказки при поисковых запросах. После чего получил приглашение на работу в YouTube 😎 Курс определенно стоит вашего внимания!

Ребята из JetBrains провели очередной крутой вебинар. На этот раз он был посвящен PyCharm и Django. На вебинаре рассмотрели такие штуки как: - Django specific автокомплит - Dependency диаграммы - Отладка Django шаблонов - Генерирование type hints И многое другое. Если вы создаёте веб-приложения на Django, а также используете PyCharm, то этот вебинар — must-watch: https://bit.ly/39rrUNh

Для того чтобы пользователи увидели видео в Интернете, его нужно не только загрузить на сервер, но и обработать (сконвертировать в необходимый формат, создать превью). Разработчики Яндекса ускорили этот процесс в 8 раз. Теперь записи будут быстрее предобрабатываться во всех сервисах, где есть видеоконтент (Эфир, КиноПоиск, Дзен, Новости). Обычно видео кодируется последовательно одним сервером. Чтобы ускорить этот процесс, используют параллельное кодирование. Теперь видео разбивается на множество мелких фрагментов длиной около 10 секунд и обрабатывает их не поэтапно одним сервером, а одновременно сразу несколькими. Параллельная обработка видео позволила Яндексу сократить задержку между загрузкой видео и его доступностью для пользователей. Раньше на создание нескольких версий разного качества для FullHD-фильма длиной в полтора часа уходило два часа, то теперь это занимает 15 минут. Если при старом подходе серверы простаивали без задач или их, наоборот, не хватало, то теперь железо задействовано в работе более равномерно.

Асинхронный фреймворк FastAPI сейчас на хайпе, и, к слову, к нему стоит присмотреться. Я не так давно запилил небольшой сервис на основе него, в основном всё там IO-bound, поэтому получилось быстро и минималистично. Предыдущую версию сервиса я делал на Django + Celery, и это решение отжирало памяти как не в себя. С fastapi получилось уложиться в 60 мегабайт против 400+ на Django/Celery. Если вы ещё не слышали про FastAPI, то я нашел подходящую статейку про построение микросервиса на FastAPI: https://dev.to/paurakhsharma/microservice-in-python-using-fastapi-24cc

Сегодня, 25 марта в 20:00 мск OTUS приглашает на День открытых дверей онлайн-курса «Разработчик Java»: https://otus.pw/88cU/ — Старт 15-ого набора уже на этой неделе - успейте пройти тест и попасть в группу со скидкой 20%: https://otus.pw/C8xQ/ 📌На бесплатном вебинаре: — вы познакомитесь с преподавателем Сергеем Петрелевичем — Java-разработчиком и экспертом по разработке высоконадежных трейдинговых приложений. Специалистом с 17-летним опытом работы в отрасли, который на практике знает, как часто приходится погружаться в детали внутренней реализации виртуальной машины Java и заглядывать «под капот» популярных фреймфорков; — сможете задать любые вопросы по продвинутой Java-разработке; — узнаете подробнее о хардкорной программе курса, формате обучения и выпускном проекте; — расскажем о карьерных перспективах. Вебинар рассчитан на программистов с опытом разработки на Java и других языках ООП.

​​Big Data снова врывается в обычную жизнь. Персонализированная система рекомендаций, разработанная с использованием больших данных, увеличивает доход Amazon до 30% в год. Хочешь добиваться впечатляющих результатов в работе с помощью data-driven подхода? Тогда онлайн-школе SkillFactory есть, что тебе предложить: специализация Data Science, где студенты за 12 месяцев решают десятки крутых практических задач, среди них — обучение сервиса распознаванию речи, выявление мошеннических транзакций и генерация музыки или стихов. Python, machine и deep learning, Data engineering и менеджмент для Data Science — менторы помогут в изучении каждого из этих блоков. Но SkillFactory позаботилась и о трудоустройстве, собрав закрытые вакансии для лучших выпускников программы 🚀Давно откладывал обучение? Самое лучшее время – сейчас! Освой специализацию со скидкой -50%: https://clc.to/cR_1Nw

Как добиться соответствия вашего продукта ожиданиям целевой аудитории и обеспечить бизнесу стабильный рост доходов? С помощью концепции Product/Market Fit! 24 марта в 19:00 (мск) ребята из ProductStar проведут бесплатный интенсив для продактов «Product/Market Fit в мобайл: как понять, какие продукты и фичи запускать». 👩‍🏫 Кто выступит? Вера Рабкина, Product Manager в AppFollow. 👨‍💻 О чем пойдет речь? — В рамках интенсива познакомимся с концепцией Product/Market Fit. — Расскажем про поиск инсайтов через данные, конкурентов и gaps. — Обсудим, как провести качественную нулевую фазу продукта в короткие сроки. Все участники вебинара получат именные электронные сертификаты, а два самых активных — сертификат на бесплатное обучение в ProductStar. Участие бесплатное, но регистрация обязательна. Зарегистрироваться на вебинар 👉@ProductStarProductBot

Гарвард открыл доступ для всех к курсы CS50 Introduction to Artifical Intelligence with Python: https://cs50.harvard.edu/ai/

​​OTUS открывает новый набор онлайн-курса «Алгоритмы для разработчиков». Пройдите вступительный тест и поступите в группу со скидкой -20%: https://otus.pw/Sn7W/ Знание классических алгоритмов и структур данных — обязательное требование, которое предъявляют брендовые IT-компании к претендентам на вакансию Middle developer. Благодаря этим знаниям можно повысить производительность и улучшить качество кода. Именно поэтому так важно понимать принципы работы алгоритмов и структур данных и уметь использовать их с учётом поставленных задач. Получить эти ценные навыки вы сможете на курсе по уникальной авторской программе от Михаила Горшкова - инженера-программиста известной международной компании с 18-летним опытом программирования. Онлайн-курс предназначен для разработчиков, владеющих С++/Python/Java. Он подходит и для Middle-специалистов, которые застоялись на месте, и для «джуниоров», которые хотят быстрее вырасти как профессионалы и избежать многих ошибок. Проходите вступительное тестирование и присоединяйтесь - будет круто: https://otus.pw/Sn7W/

​​Как научить нейросеть узнавать объекты с первого раза? Зарегистрируйтесь среди первых на бесплатный вечерний вебинар 17 марта «Triplet loss: учим нейросеть узнавать объекты с первого раза»: https://otus.pw/TKcs/ На вебинаре: − научитесь работать с tensorflow datasets − рассмотрите проблему one-shot learning, metric learning − разберете, что такое siamese networks и triplet loss − обучите нейросеть, способную с первого раза узнавать объекты. Проведет онлайн-практику Михаил Степанов, программист в отделе машинного обучения компании Jet Infosystems и преподаватель онлайн-курса по компьютерному зрению в Отус Онлайн-образование.

В сети появились доклады с конференции PyCon Belarus 2020, которая прошла в феврале: https://www.youtube.com/playlist?list=PLpVeA1tdgfCDdciEIzfItkMXhXEUyFewL