Data Science | Machinelearning [ru]

​IT-журнал «Завтра облачно» → @zavtra_oblachno Доступно рассказываем о технологиях и разработке, делимся свежими IT-новостями и тонкостями работы с облаками и не только. А ещё вас ждут ответы на любые вопросы об IT, анонсы интересных мероприятий и многое другое. Подписаться → https://t.me/zavtra_oblachno

Интересные концепции: REPL (Read-eval-print loop) REPL (Read-eval-print loop) — среда для интерактивного программирования. В такой среде пользователь может вводить выражения, которые среда тут же будет вычислять, а результат вычисления отображать пользователю.

В Тюменском университете ученые показали всему миру свое изобретение – биоморфный нейропроцессор. Чем же он отличается от уже существующих? А тем, что существующие нейропроцессоры ускоряют расчеты в искусственных нейросетях на простейших нейронах, обеспечивают работу компьютерного зрения, машинного обучения и других систем со слабым искусственным интеллектом (ИИ). Новый нейропроцессор способен генерировать новые ассоциации (новое знание), не заложенное в нем ранее. То есть искусственный интеллект получил возможность осмысливать новое знание. А это означает, что мы находимся на грани перехода от слабого ИИ к сильному ИИ. Ученые уже показали самообучение по ассоциациям и генерацию новых ассоциаций. Сейчас аппаратное тестирование новой системы продолжается.

​В основе современных цифровых продуктов лежат технологии искусственного интеллекта, глубокого и машинного обучения. Индустрия востребована, но квалифицированных специалистов мало — самое время прокачаться в Data Science. На бесплатном занятии в Нетологии узнаете о возможностях обучения нейросетей, машинного и глубокого обучения, необходимом скилсете и путях входа в профессиональную область. Регистрируйтесь, это бесплатно → http://netolo.gy/fFb

Синтаксис Python: переменная __all__ Вы наверное слышали фразу "wild import - зло". В коде это выглядит так

Sequencer: алгоритм ищет зависимости в данных Sequencer — это алгоритм, который автоматически извлекает основные закономерности в данных. Для этого Sequencer переупорядочивает набор объектов, чтобы получить наиболее длинное многообразие, описывающее сходства объектов. Алгоритм использует четыре разные метрики. Метрики включают в себя евклидово расстояние, KL-дивергенцию, метрику Васерштейна и энергетическое расстояние. Sequencer масштабируется на любой датасет. Алгоритм принимает во внимание разные уровни в данных. Каждый объект во входном датасете делится на отдельные части (чанки). Между чанки измеряется схожесть. Затем информация о каждом чанке агрегируется отдельно для каждой метрики и уровня.

Генераторы списков Если вы использовали Python достаточно долго, вы должны были хотя бы слышать о понятии «list comprehensions». Это способ уместить цикл for, блок if и присваивание в одну строку. Генератор списков - яркий пример «синтаксического сахара». То есть конструкции, без которой легко можно обойтись, но с ней намного лучше :) Генераторы списков, как это не странно, предназначены для удобной обработки списков, к которой можно отнести и создание новых списков, и модификацию существующих. Допустим, нам необходимо получить список нечетных чисел, не превышающих 25. В принципе, только познакомившись с работой команды xrange решить эту проблему несложно.

​​Будущее рядом — освой профессию Data Scientist Раньше мы с огромным интересом смотрели фильмы про искусственный интеллект и гадали, как же это пришло в голову сценаристам и режиссёрам, ведь так не бывает.  Но в реалиях настоящей жизни искусственный интеллект — это не фантазии американских сценаристов-выдумщиков. Это реальность, которая стремительно врывается в нашу жизнь. Но с одной поправкой. Незаменимый помощник Data Scientist — специалист по машинному обучению, который выбирает архитектуру и обучающие алгоритмы, для работы с этими данными.   И у тебя как раз есть шанс стать тем самым незаменимым специалистом благодаря курсу от Skillbox «Профессия Data Scientist».  На курсе тебе предстоит научиться очень многим интересным вещам: от программирования на Python и визуализации данных до программирования на R и применения нейронных сетей для решения реальных задач. Skillbox даёт возможность сначала уделить время обучению, а заботы с оплатой можно отложить на полгода. После прохождения курса не стоит переживать о том, где найти работу. Эти заботы берут на себя опытные HR-специалисты. Открой мир будущего — переходи по ссылке ▶ https://clc.to/yMN_xg и бронируй место на курсе со скидкой 40%.

Искусственный интеллект в международных отношениях: эпоха «цифровой дипломатии» Международные отношения на современном этапе находятся в плачевном состоянии, в связи с чем слышатся призывы усовершенствовать функционирование международной дипломатии. Один из способов сделать это мог бы заключаться в использовании некоторых достижений научно-технического прогресса для налаживания межгосударственного взаимодействия. В число областей, где такой подход уже применяется, вошла международная дипломатия, для развития которой применяется искусственный интеллект (ИИ). В частности, решения в области ИИ уже активно используются в Китае для проработки дипломатами сценариев развития событий на международной арене. ИИ также всё больше используется в рамках экономической дипломатии применительно к торговым переговорам. В будущем важно сделать так, чтобы развивающиеся страны имели возможность пользоваться ИИ при заключении международных договоров и развитии международного сотрудничества.

*args, **kwargs При написании кода не всегда хочется явно прописывать все аргументы. Например - на вход программы подается набор аргументов:

Для всех, кто интересуется Data Science и ищет работу в этом направлении — рекомендуем вам канал с предложениями по работе в этой области. @datasciencejobs специализируется только на узкоспециализированных релевантных вакансиях: ничего лишнего, только лучшие вакансии по теме с обязательным указанием предлагаемой зарплаты. Сбор, обработка и анализ данных; искуственный интеллект; нейросети; машинное и глубокое обучение; обработка натурального языка; рекомендательные системы; системы компьютерного зрения; распознавание образов и текстов; свёрточные сети и многое многое другое. Приходите в мир науки и искусственного интеллекта 👉 https://t.me/datasciencejobs

langid.py Представим ситуацию: есть блог, в котором публикуются посты на двух языках (а может и на 10). Необходимо рассортировать посты по языкам в разные RSS. (постов очень много, пускай 1000) Вопрос - как вы решили бы такую задачу? Чтобы решить подобную задачу можно воспользоваться библиотекой langid.py. Это небольшой инструмент, который без доступа в Интернет(!!!) может определить язык текста (и слова). Инструмент работает и из консоли, и как web сервис, а также как обычный Python-модуль: >>> import langid >>> langid.classify("This is a test") ('en', 0.99999999099035441) Ссылка на инструмент: https://github.com/saffsd/langid.py

Google представил пользователям YouTube функцию с искусcтвенным интеллектом Google SmartReply — это технология на основе искусственного интеллекта, которая помогает предлагать ответы на сообщения в Gmail, Android-сообщениях, Play Developer Console и других местах. В Google объявили о выпуске обновленной версии SmartReply, созданной для YouTube. Она позволит авторам легче и быстрее взаимодействовать со своими подписчиками в комментариях, сообщает Tech Crunch.

lambda-функции Python поддерживает интересный синтаксис, позволяющий определять небольшие однострочные функции на лету. Позаимствованные из Lisp, так называемые lambda-функции могут быть использованы везде, где требуется функция. Небольшой пример...

Vaex против Dask Vaex не похож на сам Dask, но имеет сходства с его DataFrame’ами, которые создаются на основе DataFrame’ов Pandas. Это означает, что Dask наследует проблемы Pandas, например необходимость полной загрузки данных в RAM для их обработки. В Vaex же этой проблемы нет. Vaex не создаёт копий DataFrame’ов, а значит может обрабатывать более крупные DataFrame’ы на машинах с меньшим количеством основной памяти. И Vaex, и Dask используют ленивую обработку. Единственное отличие в том, что первый вычисляет поле при необходимости, а для второго нам нужно явно использовать функцию вычисления. Для того, чтобы полноценно воспользоваться преимуществами Vaex, данные должны быть в формате HDF5 или Apache Arrow.

Vaex (eng) Vaex — это высокопроизводительная библиотека Python для ленивых DataFrame’ов, работающих по алгоритму out-of-core (обработка данных во внешней памяти). Предназначена она для визуализации и изучения больших наборов данных. Vaex может вычислять базовую статистику для более чем миллиарда строк за одну секунду. Она поддерживает несколько визуализаций, тем самым позволяя интерактивное изучение больших данных.

Компьютерное зрение против нежелательного видеоконтента Хотите узнать о практических кейсах применения computer vision и machine learning? Тогда подключайтесь к нашему онлайн-митапу МТС и КРОК 8 июля в 19:00. Участие бесплатно, регистрация по ссылке https://bit.ly/2NMBd1R Мы расскажем про: - анализ выкладки товаров на витринах в салонах МТС; - классификацию текстов узконаправленной тематики в условиях малого - количества данных; - детектирование нежелательного контента в видеопотоке; - калибровку камеры для адаптации существующих детекторов к различным условиям.

Почему ошибаются алгоритмы машинного обучения Мы часто слышим о том, как очередной сложный алгоритм искусственного интеллекта начал ошибаться или стал следовать предрассудкам, которым машины не должны быть подвержены. Почему так происходит? Из-за чего появляются эти ложные положительные и отрицательные ответы и так ли это важно? Для начала давайте определим три термина из Матрицы смешения: точность, возврат и правильность.

Наконец-то мы нашли этот канал! Друзья, кто работает, учится или планирует начать заниматься программированием – welcome в Твой Программист. 🔥 Здесь есть всё, что нужно IT-специалисту: от статей до новостей, от обучения до юмора, от интерактива до просто полезных советов. Автор собирает вокруг канала крутое коммьюнити, с которым познавать сферу будет ещё легче и интересней. Советуем подписаться 😌

Полезные инструменты: virtualenv + pip Опыт показывает, что каждый проект обладает своими зависимостями (библиотеками), а если и одинаковыми, то версии не совпадают. Чтобы упростить запуск и настройку проекта разработчики пишут INSTALL.md, README.md, make-файлы и что более важно - requirements.txt. Файл requirements.txt - это правило хорошего тона для Python проектов. Файл содержит список необходимых библиотек для запуска с указанием версий: