Data Science | Machinelearning [ru]

10 трюков библиотеки Python Pandas, которые вам нужны Любите панд? Мы тоже. А еще мы любим эффективный код, поэтому собрали классные трюки, которые облегчат работу с библиотекой Python Pandas. https://proglib.io/p/pandas-tricks

na centre - чатбот, который поможет найти работу и оставаться в курсе карьерных возможностей. Чатбот позволяет получать интересные вакансии в одном месте, а не просматривать много телеграм-каналов, сайтов) @na_centre_bot поможет оставаться в курсе интересных вам вакансий с помощью настроек подписки по: - сфере деятельности - уровню зарплаты - локации (и по другим в будущем). Собирает вакансии из 100+ источников, постепенно список источников пополняется, добавляют персонализацию. Попробовать - @na_centre_bot 🚀

Kак появилась Data Science и при чем тут большие данные? От Википедии : " Data Science – это наука о данных, объединяющая разные области знаний: информатику, математику и системный анализ. Сюда входят методы обработки больших данных (Big Data), интеллектуального анализа данных (Data Mining), статистические методы, методы искусственного интеллекта, в т.ч машинное обучение (Machine Learning). DS включает методы проектирования и разработки баз данных и прикладного программного обеспечения " А подробнее про тему читайте по этой ссылке.

Всем привет! Мы сделали сервис, который отбирает вакансии по вашим интересам. Настройте личные фильтры: локация, точный технологический стек, и, конечно, не забудьте о деньгах. Все самые подходящие предложения рынка – в @GetMeIT_bot

​​Интервью с Data Scientist: «Я вижу, как моя работа влияет на жизнь людей» https://iot.ru/gadzhety/intervyu-s-data-scientist-ya-vizhu-kak-moya-rabota-vliyaet-na-zhizn-lyudey

Формула успеха: как стать востребованным экспертом по интеллектуальной обработке данных. https://telegra.ph/Formula-uspeha-kak-stat-vostrebovannym-ehkspertom-po-intellektualnoj-obrabotke-dannyh-03-29

​​Тонкая настройка предварительно обученных трансформаторов в RNN Microsoft + Deepmind + ... Трансформеры - это текущая СОТА в языковом моделировании. Но они сопряжены со значительными вычислительными затратами, поскольку механизм внимания квадратично масштабируется по длине последовательности. Потребление памяти также линейно растет с увеличением длины последовательности. Это узкое место ограничивает использование крупномасштабных предварительно обученных моделей генерации, таких как GPT-3 или преобразователи изображений. Недавно было предложено несколько эффективных вариантов трансформатора. Например, рекуррентный вариант линейной сложности (https://arxiv.org/abs/2006.16236) оказался хорошо подходящим для генерации авторегрессии. Он аппроксимирует внимание softmax с помощью рандомизированных или эвристических карт характеристик, но может быть трудно обучить или получить неоптимальную точность. Эта работа преобразует предварительно обученный преобразователь в его эффективный рекуррентный аналог линейной сложности с изученной картой функций для повышения эффективности при сохранении точности. Для этого они заменяют softmax Внимание в готовом предварительно обученном трансформаторе на его рекуррентную альтернативу линейной сложности, а затем тонкую настройку. ➕ Плюсы: + Процесс точной настройки требует гораздо меньше времени графического процессора, чем обучение повторяющихся вариантов с нуля + Преобразование большого стандартного трансформатора в облегченную модель вывода без повторения всей процедуры обучения очень удобно во многих последующих приложениях.

Сколько зарабатывает дата-сайентист: обзор зарплат и вакансий в 2021 https://telegra.ph/Skolko-zarabatyvaet-data-sajentist-obzor-zarplat-i-vakansij-v-2021-03-27

​​Мы много говорим о понятии data science , даже канал называется так, но многие всё еще путают данную науку с узкими отраслями IT сферы. Чтобы наши подписчики больше не путали данное понятие мы дадим понятное объяснени где и как используют data science. - Об­на­ру­же­ние ано­ма­лий, на­при­мер, ненор­маль­ное поведение кли­ен­та, мошенни­че­ства; пер­со­на­ли­зи­ро­ван­ный мар­ке­тинг — элек­трон­ные рассылки, ре­тар­ге­тинг, системы ре­ко­мен­да­ций; - Ко­ли­че­ствен­ные про­гно­зы — по­ка­за­те­ли эф­фек­тив­но­сти, ка­че­ство ре­клам­ных кам­па­ний и дру­гих ме­ро­при­я­тий; - Cко­рин­го­вые си­сте­мы — об­ра­бот­ка боль­ших объ­ё­мов данных, по­мощь в принятии ре­ше­ний, на­при­мер, о предостав­ле­нии кре­ди­та; - Ба­зо­вое вза­и­мо­дей­ствие с кли­ен­том — стан­дарт­ные ответы в ча­тах, го­ло­со­вые по­мощ­ни­ки, сор­ти­ров­ка пи­сем по пап­кам. Пять ос­нов­ных эта­пов в ра­бо­те с дан­ны­ми Сбор. По­иск ка­на­лов, где мож­но со­би­рать дан­ные, и выбор ме­то­дов их по­лу­че­ния. Про­вер­ка. Ва­ли­да­ция, ни­ве­ли­ро­ва­ние ано­ма­лий, ко­то­рые не вли­я­ют на ре­зуль­тат и ме­ша­ют даль­ней­ше­му ана­ли­зу. Ана­лиз. Изу­че­ние дан­ных, под­твер­жде­ние предположений. Ви­зу­а­ли­за­ция. Пред­став­ле­ние ин­фор­ма­ции в по­нят­ном для вос­при­я­тия виде: гра­фи­ки, диа­ грам­мы. Ре­ак­ция. При­ня­тие ре­ше­ний на ос­но­ве дан­ных. На­при­мер, из­ме­не­ние мар­ке­тин­го­вой стра­те­гии, уве­ли­че­ние бюд­же­та ком­па­нии.

Что читать специалисту по Data Science в 2021 году В этом посте делимся с вами подборкой источников полезной информации о Data Science от сооснователя и CTO DAGsHub — сообщества и веб-платформы для контроля версий данных и совместной работы дата-сайентистов и инженеров по машинному обучению. В подборку попали самые разные источники, от аккаунтов в твиттере, до полноценных инженерных блогов, которые ориентированы для тех, кто точно знает, что ищет. Подробности под катом.

🔥Большой гайд по библиотеке pandas: анализ данных на Python https://telegra.ph/Vvedenie-v-pandas-analiz-dannyh-na-Python-03-24

​​Описание одиночного набора данных Факты - упрямая вещь, а статистика гораздо сговорчивее. -Марк Твен Благодаря полезному сочетанию живого слова и удачи социальная сеть DataSciencester выросла до нескольких десятков пользователей, и директор по привлечению фи­ нансовых ресурсов просит вас проанализировать, сколько друзей есть у пользова­ телей сети, чтобы он мог включить эти данные в свои "презентации для лифта" 2• Используя простые методы из главы 1, вы легко можете предъявить запрашивае­ мые данные. Однако сейчас вы столкнулись с задачей выполнения их описательно­ го аншlИза. Любой набор данных очевидным образом характеризует сам себя: # Число друзей nurn friends [100, 49, 41, 40, 25, # ... и еще много других ] Для достаточно малого набора данных такое описание может даже оказаться наи­ лучшим. Но для более крупного набора данных это будет выглядеть очень громоздко и, скорее всего, непрозрачно. https://telegra.ph/Opisanie-odinochnogo-nabora-dannyh-03-23

Big Data: что это такое, как искать, хранить и использовать В этой статье разберемся, что считается Big Data, а что нет, как эту информацию хранить, обрабатывать и получать пользу. https://telegra.ph/Big-Data-chto-ehto-takoe-kak-iskat-hranit-i-ispolzovat-03-22

Найти и обезвредить: как Big Data и Machine Learning сканируют ваши соцсети для предупреждения преступлений https://telegra.ph/Najti-i-obezvredit-kak-Big-Data-i-Machine-Learning-skaniruyut-vashi-socseti-dlya-preduprezhdeniya-prestuplenij-03-21

5 лучших библиотек Python для визуализации данных https://telegra.ph/5-luchshih-bibliotek-Python-dlya-vizualizacii-dannyh-03-20

Участие искусственного интеллекта в современном трейдинге Профессиональные трейдеры периодически вынуждены модернизировать свои наработки, так как прогресс делает трейдинг сложнее. В 2000–2015 гг. им пришлось конкурировать с торговыми ботами, а потом научиться настраивать их, чтобы силы уравнялись. Примерно с 2015 года трейдерам и их ботам приходится конкурировать уже с искусственным интеллектом. https://telegra.ph/Uchastie-iskusstvennogo-intellekta-v-sovremennom-trejdinge-03-19

Разбираем, чем отличается версионирование в ML-разработке по коду от версионирования по коду и состоянию. Ситуация: вы работаете над проектом, например занимаетесь ML-прототипированием или анализом данных. По ходу работы в системе сохраняется код, и вы спокойно продолжаете, не боясь что-то упустить из виду. Но в конце недели понимаете, что где-то свернули не туда. Вы откатываетесь на несколько шагов назад по коду, и все бы ничего, но вычисления ведь придется делать заново. Это главный недостаток версионирования по коду. Версионирование по коду и состоянию отличается тем, что во время работы сохраняется не только сам код, но и состояние вычислений. То есть состояние = код + вывод + переменные. Это значит, что если вы откатитесь назад, то получите не только прежний код, но и значения переменных. Вам не придется заново запускать вычисления, терять время и ресурсы. Попробуйте версионирование по коду и состоянию в Yandex DataSphere, где каждому новому пользователю доступны бесплатные ресурсы на ML-разработку: 👉 https://clck.ru/ToJNp

Как устроены камеры с искусственным интеллектом В каждой умной камере есть встроенная видеоаналитика, сегодня чаще всего здесь используются нейросети глубокого обучения или искусственный интеллект. Это стало возможным благодаря увеличению мощности процессоров видеокамер, раньше видеоаналитика могла существовать только на серверах. https://telegra.ph/Kak-ustroeny-kamery-s-iskusstvennym-intellektom-03-18

Построение графиков в Python при помощи Matplotlib Картиной можно выразить тысячу слов. В случае с библиотекой Python matplotlib, к счастью, понадобится намного меньше слов в коде для создания качественных графиков. https://telegra.ph/Postroenie-grafikov-v-Python-pri-pomoshchi-Matplotlib-03-17