Generative Ai

Google just released a paper describing a chatbot titled "Meena", and they claimed that it's the most human-like chatbot ever created https://www.youtube.com/watch?v=JhfNJlnN_Bg

Машинному обучению сейчас не обучается только ленивый, но большинство делает это по старой университетской привычке, через боль и высшую математику. В школе Skillfactory готовы доказать, что это не единственный подход. На практическом курсе “Machine Learning” вы научитесь решать все типовые задачи машинного обучения и познакомитесь с нейронными сетями. Совсем начинающим помогут лучше разобраться с Python и основными библиотеками. Все полученные знания вы закрепите на финальном хакатоне на kaggle с реальными датасетами. Хотите учиться на практике? Узнайте подробнее о программе: https://clc.to/1IYO1A ⚡️Кибернеделя в SkillFactory! Cкидка на курсы до 40% ー не упустите шанс!

Польза big data для медицины: случай в Лурдском медицинском центре Богоматери в Нью-Джерси. В то время как пациент проходил обследование из-за нового приступа судороги, вызванного пропущенным приемом лекарств, врачи обнаружили, что мужчина имеет куда более серьезную проблему со здоровьем: фибрилляция предсердий. Диагноз удалось поставить благодаря тому, что сотрудники отделения получили доступ к телефону пациента, а именно к приложению, сопряженному с его фитнес-трекером. Данные с приложения оказались ключевым фактором в определении диагноза, ведь на момент обследования у мужчины никаких сердечных отклонений обнаружено не было. Как еще специалисты используют большие данные? Узнай, записавшись на полный курс по Data science в SkillFactory. Здесь для обучения уже подготовили много-много практических заданий по Python, Math&Stat, Machine Learning, менеджменту ー спустя всего год ты будешь готов к старту успешной карьеры в Data science! 🎁И, конечно, как же без новогодних желаний? В SkillFactory их уже начали исполнять – до 13 декабря скидка на курс 40%! Если и учиться, то только на практике: https://clc.to/J3km8w

ИИ пока не успел «переизобрести» человека, но уже научился делать много хорошего. В этом ему (пока) нужна помощь специалистов по глубокому обучению. Курс “Deep Learning” от Нетологии — отличная возможность занять место на передовой отрасли. Вы научитесь работать с многослойными нейронными сетями, компьютерным зрением, алгоритмами внимания и другими технологиями — всё на «живых» проектах от менторов курса и компаний-партнёров Нетологии. Записывайтесь на курс до 5 ноября со скидкой 20% по промокоду DLRU20: http://netolo.gy/e6g

ПАО "НК "Роснефть" приглашает вас принять участие в чемпионате по анализу данных. Вам предстоит разработать алгоритм для выделения сейсмических горизонтов в кубе амплитуд, решить задачу сегментации данных с помощью распознавания изображений. Обсуждение в чате: @boosterspro Страница чемпионата: https://boosters.pro/championship/seismic_challenge/overview

Задачу выделения различных объектов нейронной сетью можно считать решенной уже пару лет как, ну а теперь она решена еще больше, для всех желающих, в режиме реального времени. Пример на что способен алгоритм YOLACT в реалтайме: https://youtu.be/0pMfmo8qfpQ (Числа у объектов это насколько нейронка уверена в том, что она узнала объект, например 1.0 это 100% уверенность) А тут исходный код который можете поковырять сами. Для ценителей: на Reddit пишут, что работает лучше чем Mask RCNN. А тут небольшой скриншот прогресса решения этой задачи сквозь годы.

PyTorch Developer Conference 2019. Презентация мобильной версии Pytorch Mobile и версии PyTorch 1.3 https://www.youtube.com/watch?v=ivTGO6BAQG0

Дипфейков мало не бывает

Результаты DistilBERT

Место DistilBERT в пантеоне

Итак, первый лот: DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter Victor Sanh, Lysandre Debut, Julien Chaumond, Thomas Wolf Статья: https://arxiv.org/abs/1910.01108 Эту модель все уже давно знают по посту от Hugging Face (https://medium.com/huggingface/distilbert-8cf3380435b5) и по их же реализации в библиотеке transformers (бывшая pytorch-transformers, которая теперь стала достаточно универсальной, чтобы обеспечить interoperability моделей между как раз только что вышедшим TF 2.0 и PyTorch), тоже на днях вместе с переименованием обновившейся до версии 2.0.0 (https://github.com/huggingface/transformers/releases). Кажется, это самая популярная быблиотека, сожержащая наиболее популярные предобученные модели на трансформерах (https://github.com/huggingface/transformers#model-architectures). В предверии NeuralIPS 2019 вышла наконец и статья на arxiv. Собственно DistilBERT — это дистиллированный BERT, примерно на 40% меньший по размеру, на 60% более быстрый и сохраняющий 97% качества оригинального BERT’а (BERT-base на самом деле). Идея дистиллирования весьма проста. Давайте обучим более простую модель (ученика), воспроизводящую поведение более сложной модели (учителя). Модель-студент в DistilBERT — это модель, где слоёв в два раза меньше, а их размерность остаётся прежней (типа, все BLAS вычисления настолько оптимизированы, что это слабо влияет). Слои студента инициализируются весами из модели-учителя. В случае DistilBERT мы воспроизводим финальное распределение вероятностей после softmax в задаче masked language modeling (MLM). Функция потерь — это комбинация обычного MLM loss с новым кросс-энтропийным лоссом, штрафующим за непохожесть предсказаний ученика на предсказания учителя. Также добавляется косинусный лосс на эмбеддинги, чтобы вектора скрытых состояний обеих моделей смотрели в одинаковых направлениях. Кроме того в DistilBERT применены улучшения из недавней RoBERTa: обучение на больших батчах (4К), динамические маски и отсутствие Next Sentence Prediction (NSP) задачи. Обучали DistilBERT на том же датасете, что и BERT. 90 часов на 8xV100 (16Gb) против 1 дня на 1024xV100 (32 Gb) в случае обучения RoBERT’ы. Дистиллировали только предобучение. Отдельным экспериментом попробовали сделать дополнительное дистиллирование для fine-tuning под SQuAD, оказалось ещё получше. В целом результат достойный, работает хорошо, времени требует меньше (и на обучении, и на инференсе). Пробовали даже загонять модель в iPhone 7 Plus, этот код живёт тут: https://github.com/huggingface/swift-coreml-transformers.

В последнее время особенно набирает обороты тема с дистилляцией. Двусмысленно получилось… Ну да ладно… BERT оказался хорошим примером сильной модели, которую хочется использовать везде, но не везде можно, так как она тяжёлая, не на все устройства влезает и инференс на ней довольно долгий, что опять же ограничивает применение. Направление сжатия и ускорения моделей сильно актуально и дистилляция оказалась одним из хороших вариантов этого добиться.

Освойте самую востребованную технологию искусственного интеллекта! У вас уже есть базовое понимание машинного обучения и знание языка Python? Повысьте компетенции и получите практические навыки по программированию глубоких нейронных сетей! В SkillFactory открыт новый набор на курс "Deep Learning и нейронные сети" https://clc.to/8Q3OKA разработанный при поддержке NVIDIA Corporation. Проекты, над которыми вы будете работать, включают: ● создание нейронной сети для распознавания рукописных цифр; ● обучение рекурентной сети задачам прогнозирования временных рядов; ● разработку нейросетевого чат-бота; ● создание модели для идентификации лиц и генерации лиц на основе архитектуры GAN; ● разработку агента для игры на основе DQN алгоритма. Вы познакомитесь с основными библиотеками для Deep Learning, такими как TensorFlow, Keras и другими. Узнайте подробности: https://clc.to/8Q3OKA

Возвращаемся из отпусков и регистрируемся на хакатон в рамках недели ИИ от Nvidia и МФТИ! Задача хакатона: предложить самое безумное и неожиданное применение ИИ Вас ждут: - бесплатный доступ к курсу DLI от Nvidia для всех, презентовавших свое решение; - Jetson Nano за самую безумную идею; - возможность презентовать свою идею инвесторам, корпоратам и лабораториям МФТИ; - возможность попасть на очный отборочный тур в Сборную России по хакатонам Russian Hack Team без отбора по анкетам; Мы будем рады видеть: - Команды до 5 человек из индивидуальных разработчиков и стартапы - Аналитиков, продуктологов, дизайнеров, маркетологов • Место проведения: кампус МФТИ, Институтский переулок 9 стр 7 • Даты проведения: 22-23 августа Регистрируйся: → bit.ly/2KqYp4D Чат Telegram: → bit.ly/2YTYOVs

Вы наверное уже видели как Джека Николсона заменили на Джима Керри в «Сиянии» с помощью Deep Fake, так вот, вышло новое видео от того же автора, еще более реалестичное: https://youtu.be/-ZRUZzZPGto Очень рекомендую канал автора на ютубе, у него там полно подобных видео. Все это делается с помощью алгоритма Deep Fake о котором я уже не раз писал в этом канале. Всё жду первый полнометражный deepfake-фильм где все роли сыграет Николас Кейдж 🦄

Немного подробнее о том, где можно применить дистанционную идентификацию по сердечному ритму: Самая очевидная сфера — маркетинг: можно будет измерять, как меняется пульс зрителей, которые смотрят рекламный ролик или изучают новую вывеску в ТЦ. Другая перспективная цель — HR. Сейчас данные носимых кардиографов позволяют определить уровень стресса и восстановления, оценить состояние физических и ментальных ресурсов. Для этого анализируется вариабельность сердечного ритма (ВСР) — показатель, который отображает влияние симпатической и парасимпатической нервной систем на организм. Jetson тоже позволит определять ВСР: менее точно, зато на расстоянии. Датчики можно установить в публичных местах, чтобы отслеживать опасные состояния прохожих. Если разработчики создадут для технологии медицинский функционал, она станет еще одним инструментом для диагностики сердечно-сосудистых заболеваний, наряду с ECG- и PPG-трекерами. Больше людей получат шанс вовремя выявить нарушения ритма и потенциально — спасут себе жизнь. В мире снизится уровень смертности от ССЗ. Сейчас это причина смерти № 1 в мире, более 30% всех смертей. Снизив этот показатель на треть, можно спасти до 6 млн человек в год.