DataGym Channel [Power of data]

#education #courses : Неделю назад Университета Карнеги - Меллона начал новую сессию курса по Deep Learning. С программой и описанием курса можно познакомиться тут: http://deeplearning.cs.cmu.edu (курс на английском). К сожалению, в отрытом доступе будут появляться только лекции и слайды. Я связался с профессором курса и спросил о возможности присоединиться к тестам и домашним работам на Kaggle. Профессор отозвался на просьбу и на текущий момент готов предоставить доступы к учебным материалам. От нас требуется набрать учебную группу, так что если вы хотите пройти курс - заполните, пожалуйста, форму ниже. Тем не менее, действовать надо быстро, потому что мы пойдем синхронно с текущим запуском курса, а на данный момент прошло уже 3 лекции. Так же мы хотим создать свою площадку для обсуждения и взаимопомощи на курсе (piazza/slack/telegram). Все успешно завершившие (над метрикой успешности еще работаем) курс получат электронные сертификаты от ODS. Ну и как вы понимаете: все бесплатно, держится на полном энтузиазме и требовать чего-то от сообщества вы не можете 🙂 Форма: http://xxtt.ru/fa9d

#python #tips #libs : tqdm в телефоне tqdm - сделала жизнь проще. Но как следить за долгим процессом итерации? Да так, чтобы можно было оторваться от компьютера, поиграть с детьми, провести время с женой, но при этом держать руку на пульсе. Есть hyperdash, но придется ставить приложение и огромную либу, при этом будут сыпаться логи, а мы то хотим ProgressBar. А что, если tqdm можно засунуть в telegram? Да так, что в один чат будут приходить ProgressBar с разных скриптов или даже серверов. Достаточно установить легковесную либу. Как это сделать и как ее использовать, смотрите в репозитории http://xxtt.ru/5098

Пример синхронного применения функции и распараллеливание этой же функции t.me/powerofdata/32

#python #tips : Распараллеливание и progress bar Как контролировать многопоточное применение функции к массиву данных? - С появлением tqdm стало проще контролировать процесс прохода по циклу (про tqdm: http://xxtt.ru/60c8) - Также мало для кого секрет, что функции map проста для распараллеливания с помощью встроенной библиотеки multiprocessing (хорошая статья про это: http://xxtt.ru/c6c6) Но что, если вы хотите следить за процессом распараллеленного выполнения с помощью multiprocessing? Есть решение! Вот пример:

from multiprocessing import Pool
from tqdm import tqdm_notebook

def pow_2(n):
    import time
    sq_n = n ** 2
    time.sleep(0.1) # slow function 🙂
    return (n, sq_n)

def imap_unordered_bar(func, args, n_jobs):
    p = Pool(n_jobs)
    res_list = [x for x in tqdm_notebook(
        p.imap_unordered(func, args),
        total=len(args)
    )]
    p.close()
    p.join()
    return res_list

result = imap_unordered_bar(pow_2, range(100), n_jobs=10)

где args - массив данных к которому вы хотите параллельно применить функцию func ❗️`imap_unordered` возвращает результаты не обязательно в порядке входных данных. Потому, если вам важно понимать, результатом каких входных значений является выходное значение, возвращайте идентификатор, по которому восстановите к чему относился результат. Код примера на github: http://xxtt.ru/6b4d

#competitions : MadCars / MailRu Mini AI Cup #3 Бой автомобилей в замкнутом пространстве, вдохновленный игрой Drive AHEAD. Необходимо реализовать/обучить алгоритм управления автомобилем с целью выведения из строя автомобиля соперника. Реализация применяется на большинстве популярных языков (даже php есть 👻). Взаимодействие осуществляется через систему ввода-вывода: на вход поступают данные окружающего мира, на выходе ожидаются ваши действия. Дедлайны: по 06/09 - бета-тест (возможность проникнуться механикой, сделать первые решения) по 20/09 - рейтинговые игры 24/09 — финал между топовыми игроками Призы: 1st - MacBook Air, 2-3 - Apple iPad, 4-6 - Samsung Gear S3 (или их ценовой эквивалент) Финалисты конкурса получат фирменные футболки чемпионата, а TOP-10 участников скидку на 250 рублей на 20 поездок в сервисе такси Ситимобиль (в течение месяца) Страница конкурса: http://xxtt.ru/9975

#competitions : Power Laws: Cold Start Energy Forecasting Прогнозирование электропотребления "холодного пуска" здания Дедлайн: 31/10/2018 (более 2 месяцев) Призовой фонд: 23.000$ (1st - 12.000$, 2nd - 7.000$, 3rd - 4.000$) Данные представлены в виде временных рядов с почасовыми показателями энергопотребления и температуры Для обучения представлены 4 недели почасовых наблюдений Для предсказания необходимо прогнозировать разные временные отрезки: - прогнозировать по часам на сутки - прогнозировать по дням на неделю - прогнозировать по неделям на 2 недели Также по зданиям дана метаинформация. Суммарный объем данных ~ 36 мегабайт DrivenData - не очень популярная платформа для конкурсов, потому большая конкуренция не предвидится. Ссылка на страницу конкурса: http://xxtt.ru/cea8

#competitions : RSNA Pneumonia Detection Challenge Детекция непрозрачности легких на изображениях рентгена грудной клетки (для определения пневмонии) Дедлайн: 24/10/2018 (почти 2 месяца) Призовой фонд: 30.000$ (1st - 12.000$, 2nd - 7.000$, 3rd - 4.000$, 4-10th - 1.000$) Победители будут приглашены на конференцию RSNA (Чикаго, штат Иллинойс, США, с 25 по 30 ноября 2018) без регистрационного взноса Первым 200 участникам предоставляются 300$ кредитами на Google Cloud для участия в конкурсе Конкурс пройдет в 2 этапа: до 24/10 нужно отправить финальную модель, далее на новых данных с помощью отправленной модели нужно подготовить финальное предсказание до 31/10 Подробнее про конкурс: http://xxtt.ru/ec8b

#competitions : ECCV 2018 Challenge Дедлайн: 30/08/2018 (осталось 3 дня) Призовой фонд: 3.000$ 3 задачи: 1) Сегментация дорожной разметки из кадров видео 2) Определение позции камеры в 3d пространстве на основе кадров видео 3) По кадрам восстановить позицию автомобилей в 3d На лидерборде первой задаче всего 1 участник, на остальных - участников нету. Легкая возможность получить приз, если у вас есть хоть какие-то наработки в этом направлении. Источник: http://xxtt.ru/3cb7 (и далее по ссылкам)

#events : Moscow Data Science Major 11.00-17.00 01/09/2018, #Москва, офис Mail.Ru, Бесплатно Но обязательна регистрация http://xxtt.ru/mdsm_01092018 Обязательно к посещению. Сам собираюсь посетить следующие доклады и секции: Всю "Передовая ML" - сжатое ревью прошедших мировых конференций Всю "RecSys" - особенно доклад Одноклассников Доклады про "Анализ качества пиццы по фото" и "Архитектуру OCR и TD" Ну и расслабиться под "Пивоварение: следить за температурой в python"

Привет! Запрыгиваю на уехавший поезд хайпа телеграм-каналов. Так вот, сейчас много каналов посвящённых анализу данных, но часто они сводятся к техноблогингу, ретранслированию около-AI новостей и их субъективной оценке. Хочется больше хардкора и цель данного канала доносить максимально сжато полезный контент. Я хочу сфокусироваться тут на следующих вещах: - 📣 анонс бесплатных DS/BigData-мероприятий в Москве, России и СНГ (возможно платных, но как быть с ними, честно признаться, я пока не решил) - 🏆 новые DS-конкурсы - 🎓 новости DS/BigData-курсов - 🛠 новости библиотек и инструментов DS/BigData, которые стоят внимания и почему - 🖇 детальный разбор статей (а не просто ссылка) - 🐍 немного python'а - 💼 возможно появится дайджест DS/BigData-вакансий (формат интересный, но тоже еще не проработан) Рад Всем! Зовите друзей! Для связи (я где-то не прав, предложить новость или просто уточнить что-то) пишите в этот телеграм: http://xxtt.ru/6462