Data Science | Machinelearning [ru]

ПЕРЕСТАНОВКА И КОМБИНАЦИЯ В PYTHON Python предоставляет прямые методы для поиска перестановок и комбинаций последовательности. Эти методы присутствуют в пакете itertools.

Gartner: 10 основных тенденций в области данных и аналитики https://www.gartner.com/en Выявленные Gartner тенденции, возможно, позволят компаниям использовать данные и аналитику, чтобы успешно преодолеть финансовые и операционные трудности, вызванные COVID-19. «Чтобы проложить новый путь в мир после COVID-19, руководителям подразделений данных и аналитики требуются непрерывно нарастающие в смысле быстроты обработки и доступа скорость и масштабы анализа, чтобы добиться успеха в условиях беспрецедентных рыночных сдвигов», — считает заслуженный вице-президент Gartner по исследованиям Рита Саллем. Речь идет о следующих тенденциях.

слайсы/срезы Синтаксис Python легкий, читаемый. Хочется упомянуть массивы (как структура с последовательными элементами). В Python они бывают разные - list, tuple, строки Операции с массивами:

Аналитика данных: правильный подход По мере своего развития аналитика данных становится все более востребованной. Опрошенные порталом InformationWeek эксперты рассказывают о том, каким образом нужно выстроить процессы, чтобы ваша организация могла применять эту критически важную технологию в бизнесе. За последние несколько лет предприятия всех типов и размеров превратились в организации, управляемые данными, и теперь при помощи аналитики можно проанализировать клиентские и рыночные данные и практически мгновенно извлечь из них полезную информацию. Несмотря на то, что о ее преимуществах хорошо известно, некоторые организации настойчиво игнорируют ее, поскольку опасаются, что дорогостоящие запуск и поддержка аналитического проекта не принесут им потенциальной выгоды. В то же время технология анализа данных постоянно совершенствуется и становится более доступной, поэтому не исключено, что такие организации могут пересмотреть свое отношение к ней.

Россия стала лидером в сфере технологий и анализа данных Согласно исследованию Global Skill Index проекта Coursera, Россия стала лидером в сфере технологий и анализа данных. Страна по этому показателю опережает США и Китай. Из исследования образовательной платформы Coursera стало известно, что Россия признана самой высококвалифицированной страной в сфере технологий и анализа данных. Страна лидирует в области разработки программного обеспечения, статистического программирования, управления данными и операционными системами. Компетенции России в области технологий и анализа данных определяются исследованием как «передовые и конкурентоспособные».

Google представила первый переводчик, который умеет работать с иероглифами. Инструмент обучается и работает лучше с каждым переводом. Компания Google запустила переводчик иероглифов, использующий машинное обучение для расшифровки древнеегипетского языка. Эту функцию добавили в приложение Arts & Culture. Она также позволяет пользователям переводить свои слова и эмодзи в иероглифы. В Google отметили, что это первый инструмент, который с помощью машинного обучения умеет переводить и интерпретировать иероглифы. Он становится лучше по мере популярности среди пользователей.

Объект среза как объект или встроенный метод slice В Python списки по реализации похожи на векторы. А векторы это динамические массивы, то есть последовательности элементов. К этим элементам можно обращаться - получить первый, второй, пятый, десятый элемент. Положение в массиве - это индекс. Но когда надо получить элементы с 1 по 3, или четные, или каждый третий - то одними индексами не обойтись. Поэтому в Python есть понятие - СРЕЗы.

Новая модель искусственного интеллекта (ИИ) определяет жесты с точностью до 85%. Для ее создания ученые изучили то, как работает мозг человека. Исследователи из Наньянгского и Сиднейского технологических университетов разработали систему машинного обучения, которая может распознавать жесты рук. Для этого она анализирует изображения с помощью растягивающихся тензометрических датчиков. Архитектура искусственного интеллекта (ИИ) описана в журнале Nature Electronics, ученые вдохновились устройством мозга человека.

В России создали новую систему цифрового мониторинга С помощью новой системы цифрового мониторинга безопасности можно будет оперативно обнаружить аномалии на производстве. Когда подавляющее большинство традиционных производственных процессов уже основано на искусственном интеллекте, машинном обучении, анализе больших данных и системных командах на основе этого анализа, вопросы цифровой безопасности становятся определяющими. Важно не просто определить аномалию, которая может повлиять как на конкретный производственный цикл, так и на систему в целом, но и сделать это максимально оперативно: с помощью цифровых настроек или ручного вмешательства исправить «помарку» или устранить угрозу в системе.

Nokia разработала новую операционную систему Известная компания Nokia разработала новую операционную систему. Сообщается, что сетевая операционная система нового поколения для центров обработки данных получившая название Nokia Service Router Linux (SR Linux) NOS, была разработана совместно с представителями крупнейших компаний, в числе которых Apple. Более того, уже сейчас в Apple развертывают решение Nokia в своем фирменном облачном центре обработки данных. Представители Nokia, в свою очередь, заявляют, что новинка является первой сетевой операционной системой, которая построена на новейших микросервисах. Помимо операционной системы Nokia разработала инструментарий для автоматизации и эксплуатации сетей. Nokia FSP является решением, которое в первую очередь предназначено для развертывания и контроля всей сети центра обработки данных. В основу нового продукта финской компании легла мощная архитектура сетевого уровня.

Полезные инструменты: virtualenv + pip Опыт показывает, что каждый проект обладает своими зависимостями (библиотеками), а если и одинаковыми, то версии не совпадают. Чтобы упростить запуск и настройку проекта разработчики пишут INSTALL.md, README.md, make-файлы и что более важно - requirements.txt. Файл requirements.txt - это правило хорошего тона для Python проектов. Файл содержит список необходимых библиотек для запуска с указанием версий:

🔎 Авито в поиске аналитиков Зарплата: От 100К рублей и выше Уровень: От уверенного junior и выше Город: Москва #Авито — самый популярный сервис объявлений в Европе. Наша месячная аудитория 34,7 миллиона человек. В реальном времени на Авито «живут» более 47 миллионов объявлений. Мы ищем аналитиков на несколько направлений: Product Analyst (Verticals) — https://clc.to/Product_Analyst Data Analyst (Tech Platform) — https://clc.to/Data_Analyst_TechPlatform Data Analyst (Market Intelligence) — https://clc.to/Data_Analyst_MI А также Team Lead (Marketing Analytics) — https://clc.to/Team_Lead ➡️ Несколько фактов об аналитике в Авито: • Аналитики в Авито — это полноценные партнеры в развитии бизнеса и продукта • Мы не берёмся за задачи, не имея чёткого ответа на вопрос «зачем?» и «что мы будем делать по-другому, когда узнаем Х?» • Мы очень любим Tableau и у нас каждый сотрудник имеет доступ в общий аналитической портал и к ключевым отчетам • У нас очень много данных, которые мы все собираем в Vertica (и чуть-чуть в ClickHouse) — в день это 5+ млрд событий • Кроме очень крутой команды аналитиков у нас есть крутейшая команда DWH & Analytical Infrastructure, которые очень помогают в решении насущных инфрастуктурных проблем и автоматизации типовых аналитических задач Подробную информацию по каждой вакансии и условиях работы в Авито можно узнать при переходе по ссылкам ⬆️ 🙋🏻‍♂️Откликнуться на вакансию: @dozmorovadv и @tanastasiav

Нейросеть научилась вычислять операторов беспилотников Когда несанкционированный беспилотник пролетает в запретной зоне, власти по понятным причинам хотят найти его оператора. Новая система на основе искусственного интеллекта может позволить им сделать это, преуспевая там, где другие технологии терпят неудачу.

Синтаксис Python: keyword only В python3 есть интересный синтаксис:

Ошибки при внедрении ML Прежде чем машинное обучение начнет улучшать результаты, компаниям нужно научиться его использовать. Любое обучение (особенно самостоятельное) невозможно без ошибок.  Компании ставят неправильные цели   Большинство попыток внедрения машинного обучения заканчиваются неудачами. Одна из причин — непонимание возможностей технологии и ее специфики. Нужно определить бизнес-цель, установить показатели, по которым будет определяться успешность ее достижения. На основе этого сформировать требования для машинного обучения.  Глобальные бизнес-метрики компаний обычно связаны с прибыльностью. Их редко получается использовать при постановке задач машинного обучения. Для ML используют промежуточные бизнес-метрики. Например, маркетинговые: охват уникальных пользователей, CTR, конверсия из перехода на сайт в регистрацию, конверсия в продажу из регистрации, повторные продажи. Один из самых важных факторов успеха — определение технических метрик, которые учитывают все аспекты бизнес-задач.

Синтаксис Python: yield from Рассмотрим еще одну страшную конструкцию в Python 3.3+ - yield from Напомню, генератор это объект который можно про итерировать только однажды. Записывается как:

​Думаешь, Data Science — только для продвинутых? Убедись, что для разработки искусственного интеллекта достаточно базовой арифметики! Попробуй свои силы на бесплатном интенсиве от Skillbox. Регистрация по ссылке: 🔜 https://clc.to/Mw-qww. Опыт в программировании для участия не нужен! Что тебя ждёт? ⚙️ Экспресс-введение в Python. ⚙️ Работа с библиотеками Matplotlib и Scikit-Learn. ⚙️ Загрузка и визуализация данных. ⚙️ Построение модели от начала до конца. ⚙️ Оценка качества полученной модели. 🎁 А если твой проект будет одним из лучших, получишь сертификат на 30 000 рублей для поступления на любой курс онлайн-университета Skillbox!

Искусственный интеллект, как оказалось, весьма неплохо справляется с задачей обработки зеркально отраженных изображений. Компьютерная обработка изображений — нетривиальная задача для искусственного интеллекта. Поэтому на этапе машинного обучения, когда электронный «разум» ищет общие черты у объектов на снимках и заполняет свою базу данных, требуется огромное количество изображений. Чтобы сократить время поиска «тренировочных» картинок, исследователи часто хитрят: зеркально отражают часть изображений, увеличивая их число вдвое.

Синтаксис Python: трехместное выражение if/else Сегодня хочется упомянуть о непонятной на первый взгляд конструкции - тернарная условная операция, или по-русски - трехместное выражение if/else. Представим, есть такой код: