STACK MORE LAYERS

✍️BERT Language Model📚 Гугл вслед за ELMO, OpenAI выпустил свою работу о лингвомодели для трансферлернинга. Модель представляет из себя biderectional LM, который не требует дополнительной настройки. https://arxiv.org/pdf/1810.04805.pdf

"PyTorch 1.0 is released now! torch.jit, C++ API, c10d distributed" 🔎 https://github.com/pytorch/pytorch/releases 📉 @loss_function_porn

Летняя школа по deep learning на задачах анализа звука, изображений, и аудиовизуального распознавания эмоций Летнюю школу организовывет ЦРТ - Центр речевых технологий в Петербурге со 2 по 15 августа. И набор в нее уже закрыт. Но можно зарегестрироваться и получить ссылки на онлайн лекции! Поэтому если кому интересно - https://mlschool.speechpro.ru/

🎤STC ML School📷 Можете чекнуть, сейчас я нахожусь как раз в этой школе.

😆 Joke time 😆 friend: yo dude, wanna drink? me: nah man, that stuff kills brain cells. friend: you say its killing brain cells but i say its just real life dropout to prevent overfitting

🇷🇺Bayes Group - Words Defenitions🇷🇺 Bayes Group (российская исследовательская группа по машинному обучению) опубликовала новую работу, которая призвана устранить главную проблему моделей по типу word2vec - семантическую многозначность. Достигается это благодаря тому, что у слова есть некоторый контекст «звезда в космосе» или «звезда выпустила новый альбом». В работе продемонстировано как благодаря этому можно генерировать различные определения для одного слова, на удивление они шикарны 🔥 Хорошая статейка на вечер. https://twitter.com/bayesgroup/status/1011945583454584834

📣OpenAI Language Understanding Model📝 Недавно OpenAi выпустили свою новую статью, в которой они описывают новую NLP модель, которая позволит вам быстрее и лучше решать задачи с классификацией текста, Q&A и т.д. Коротко описать статью можно так: NLP + unsupervise = 🔥. Обучение модели состоит из двух этапов: Обучение Attention-Transformer’а в виде лингвистической модели на большом, неразмеченном корпусе (5GB), после чего модель тюнится на нужной нам задаче, в результате мы получаем хорошую модель. Стоит отметить, что первый этап обучения занял 1 месяц на 8 GPU, однако это нужно проделать всего один раз, после чего мы можем тюнить модель на любой задаче. https://blog.openai.com/language-unsupervised/

✍️NLP Architect by Intel⌨️ Интел таки представили свою новую библиотеку для работы с NLP, библиотека призвана упростить процесс создания диалговых систем. Как я и говорил, с первого взгляда библиотека похожа на DeepPavlov: она включает в себя множество уже готовых компонент, таких как NER, выделение интентов, Q&A система. Библиотека может работать совместно с несколькими популярными фреймворками: nGraph, neon, Tensorflow, Dynet. https://github.com/NervanaSystems/nlp-architect

🚖Uber Kepler📊 Uber представили свою новую OpenSource технологию для визуализации географических данных - Kepler. Система может рисовать точки, пути, карты высот, гистограммы и многое другое. Все это доступно интерактивно прямо через веб интерфейс, для работы необходимо лишь загрузить данные в определенном формате. https://uber.github.io/kepler.gl/#/

🗂Minecraft Datset📦 Я тут опубликовал на Каггле новый картиночный датасет с 7.9к текстур скинов для майнкрафта. В целом это фановый датасет, который вы можете использовать в ваших ресерчах, например генератор новых скинов на базе GAN-сетки. https://www.kaggle.com/alxmamaev/minecraft-skins

📚Intel NLP📖 Судя по всему Intel в скором времени представят новую Open Source библиотеку для обработки естественного языка, данная библиотека призвана улучшить качество диалоговых систем. Библиотека будет включать в себя бенчмарки для академических исследований, например SQuAD (датасет с задачей поиска ответа в тексте), а так же возможностью тренировать NLP модели. https://venturebeat.com/2018/05/24/intel-ai-lab-open-sources-library-for-deep-learning-driven-nlp/ P.S. Напомним, что в Феврале исследовательская группа IPavlov представили свой nlp-фреймворк для разработки диалоговых систем - DeepPavlov (http://deeppavlov.ai), который включает в себя многие компоненты, такие как form-filling, распознавание интентов, NER и другое.

🔥 Обязательно послушайте то, как звучит разговор с этой системой, очень похоже на настоящего человека 🔥 http://www.gstatic.com/b-g/KOK4HAMTAPH5Z96154F6GKUM74A3Z1576269077.mp3

📞Google Duplex🤖 Google Duplex - новый сервис гугла, который будет за вас звонить в ресторан/парихмахерскую/кофейню и заказывать что-то. Гугл выпустили статью, где подробно разбирают интересные фишечки системы, из интересного - они научили систему разговаривать более человечно расставляя паузы, а так же звуки вроде «хм», «ах», «ага». https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.html

📚Practical RL📖 Очередное пополнение в линейке курсов от Яндекса - Advanced Machine Learning. Сегодня стал доступен курс по пратическому машинному обучению с подкреплением, и ведет его Еж. https://www.coursera.org/learn/practical-rl/home/info