DevBrain

13 декабря пройдет бесплатный вебинар «Создай свою первую модель машинного обучения». Вы соберете и проанализируете данные с сайта hh.ru, на основе которых создадите модель регрессии и оцените результаты. Также вы узнаете секреты работы с категориальными и текстовыми данными. Ведущий — Петр Ермаков, руководитель отдела аналитики Mail.Ru Group. Регистрация — https://goo.gl/EkXxwo.

Около месяца назад начал проходить сразу 2 специализации на платформе Coursera: - Машинное обучение и анализ данных от МФТИ - Big Data for Data Engineers от Яндекса Последняя специализация, к слову, была запущена чуть больше месяца назад. На сегодня закончил по 1 курсу из каждой специализации, а именно вот эти: - Математика и Python для анализа данных (мой сертификат) - Big Data Essentials: HDFS, MapReduce and Spark RDD (мой сертификат) Хочу поделиться мыслями о курсах. Начнём с первого. Цель курса "Математика и Python для анализа данных" — обозначить необходимый набор навыков для успешного прохождения всей специализации. Здесь вы найдёте небольшое введение в язык Python и его инструменты для анализа данных: pandas, numpy, scipy, остальная же часть курса посвящена математическому аппарату, а именно темам из линейной алгебры (матрицы, векторы, векторное пространство), теории вероятностей и немного затронут математический анализ — предел и производная. Особенно понравился упор на прикладные задачи, т.е. изучая, например, матрицы или векторы, понимаешь как их применять для решения прикладных задач. Но курс всё таки требует некоторой предварительной подготовки по обозначенным мною темам. Эти материалы возможно помогут при прохождении курса: - Essence of linear algebra - Введение в pandas Big Data Essentials это первый из 5 курсов, посвященных "горячей" нынче теме про построение инфраструктуры для эффективного анализа данных. Анонс специализации я делал у себя в Telegram канале в первой половине октября. Тогда я только присматривался, в итоге решил проходить. Что из себя представляет первый курс? Это плавное введение в основные инструменты анализа больших данных — Apache Hadoop и Apache Spark. Из 6 недель курса, 2 недели исключительно практические, вообще практических заданий тут хватает. Материалы курса предполагают некоторый опыт программирования, от себя добавлю, что большим плюсом будет наличие навыка в функциональном программировании. К сожалению, есть и ряд минусов. Так как материал появился относительно недавно, в нём есть ошибки из-за которых я терял время. Во-первых, встречаются задания с ошибками в формулах и коде, частенько "валился" удалённый hadoop/spark кластер. Мой совет перед выполнением заданий — активно читайте форум, тестируейте код локально на небольших кусках данных, по возможности поднимите свой docker-контейнер с hadoop или spark (в материалах есть ссылка на контейнер, а на форуме инструкция по настройке). Ещё смущает дичайший русский акцент, иногда в речи встречаются неверно составленные предложения, но к этому можно привыкнуть. Изучение продолжается. На очереди у меня "Обучение на размеченных данных" и "Big Data Analysis: Hive, Spark SQL, DataFrames and GraphFrames". Скучно точно не будет :)

Занятная статья про упорство и трудолюбие, которое может привести к получению офферов от крупнейших IT компаний мира. Читаем на "Хабре" - https://goo.gl/gbfAzN

В сети стали доступны видео-доклады с прошедшей в Москве конференции Moscow Python Conf 2017. Вот список докладов, которые могут вас заинтересовать: Построение распределённых Django систем Блокчейн и Python Работа с изображениями на Python в 2017 году, Александр работает разработчиком в Uploadcare (когда-то собеседовался туда) и развивает Pillow, поэтому знает о чем говорит. Все видео доступны в 2-х плейлистах: Поток 1 Поток 2 #python #video

Не так давно на канале я публиковал видео, где автор наглядно объясняет что из себя представляет нейронная сеть. А вот вам такое же видео на тему глубокого обучения. Смотрим. Что такое нейронная сеть? Что такое глубокое обучение? #datascience

Ребята из frameworks days организовывают тематические митапы/конференции. На этот раз затронули тему высоконагруженных систем, доклады можно посмотреть тут #highload

Разработчики VueJS выпустили доклад на 80 страниц под названием State Of Vue.JS 2017. Что из себя представляет этот документ? История развития и будущее фреймвореа Vue в экосистеме JavaScript. Я активно использую vue в своих проектах и пока мне всё нравится. С каждым днём количество новых компонентов растёт, а вместе с тем и сообщество. Интерес со стороны крупных игроков также есть, что свидетельствует о зрелости технологии.

Если вы также как и я "плаваете" в океане инструментов JS и фронтенд-разработки, то вот эта замечательная статья на русском языке поможет навести порядок в том хаосе, который творится в наших головах при изучении JS в 2017 году. 100% концентрат полезной информации.

Нахождение минимального расстояния между словами это одна из самых популярных задач на собеседованиях. Любителям щёлкать алгоритмические задачки понравится. https://t.me/unilecs/78

Высшая школа экономики вместе с Яндексом запустили новую специализацию на платформе Coursera — Advanced Machine Learning Specialization. Вас ждут 7 курсов хардкорного погружения в передовые технологии искусственного интеллекта.

SkillFactory запускают крутой курс по Machine Learning. Обещают научить важным навыкам в области машинного обучения для решения конкретных бизнес-задач. А еще работать с алгоритмами машинного обучения на Python, готовить данные и выбирать подходящую модель. Закончится курс выпускным хакатоном. Курс подойдет аналитикам, разработчикам и product-менеджерам. Преподаватели — аналитики Mail.ru и преподаватели НИУ ВШЭ. Курс начинается 27 ноября, пройдет очно в Москве Подробнее — https://goo.gl/BifvWG

Лариса Агаркова известная личность в определённых кругах, работает в Google уже несколько лет, и ведёт свой блог. В октябре она выступала с лекцией на мехмате БГУ на тему "Хочу работать в Google". Получилась философско-поучительная презентация, которую я предлагаю вам посмотреть. А вот её блог с кучей статей на ту же тему — larrr.com

Техносфера запустила очередной крутой курс про высоконагруженные системы. Ведут его технари из Одноклассников, я уже посмотрел 2 лекции и очень советую его вам. Смотреть

Очень классная серия статей про устройство дисков с точки зрения файловой и операционной систем, а также разбор двух популярных структур данных на основе которых строятся движки баз данных: B-Tree и LSM-Tree. 1. On Disk IO, Part 1: Flavours of IO 2. On Disk IO, Part 2: More Flavours of IO 3. On Disk IO, Part 3: LSM Trees 4. On Disk IO, Part 4: B-Trees and RUM Conjecture #dataengineering

Нашел классное объяснение что из себя представляет нейронная сеть и технология глубокого обучения. Смотрите видео

Нашел в своей ленте твиттера ссылку на прикольный курс про разработку микросервиса на Flask, React, Docker. Курc состоит из 6 частей, где каждая часть это набор пошаговых инструкций по созданию и настройке микросервиса. Будет особенно полезен начинающим. Вот сам туториал, а вот код микросервиса.

На днях написал обзорную статью на инструмент под названием Luigi. Он предназначен для пакетной обработки задач и построения т.н. data pipeline'ов. Как ни странно, но на русском информации по нему я не нашел. Статью можно прочитать у меня в блоге.

Yandex стал официальным партнёром образовательной платформы Coursera. Компания запускает очередную специализацию, на этот раз про Data Engineering. Программа состоит из 5 курсов, последним из них является Capstone проект. 24 июля в этом канале я постил ссылку на курсы про hadoop от Ивана Пузыревского, в новой специализации он ведёт 2 курса, посвященных real-time обработке. Думаю записаться самому 🤔

В сети стали доступны доклады с прошедшего 20 сентября MoscowPython 🔥 Бегом смотреть. Особенно доставил доклад про машинное обучение без PhD.