Data Science | Machinelearning [ru]

​​ИИ научился обнаруживать далекие галактики на нечетких снимках. Программа под названием Morpheus создана учеными из Калифорнийского университета, их работа опубликована в журнале Astrophysical Journal. Морфология галактик от вращающихся дисковых галактик, подобных нашему Млечному пути, до аморфных эллиптических и сфероидальных галактик, может рассказать астрономам о том, как они образуются и развиваются со временем. Крупномасштабные исследования, такие как проект LSST, который будет проводиться в обсерватории Вера-Рубина в Чили, позволят получить огромные объемы данных. В сутки LSST будет снимать более 800 панорамных снимков с помощью камеры с разрешением 3,2 млрд пикселей, захватывая все видимое небо Южного полушария два раза в неделю. Хотя разрешение у телескопа будет довольно большим, снимки не будут очень четкими, — а на их ручной анализ уйдут десятилетия. Для автоматизации поиска объектов на снимках таких крупномасштабных исследований ученые создали ИИ Morpheus. Для обучения нейросети ученые загрузили в нее данные крупномасштабного исследования 2015 года — снимки, на которых астрономы уже нашли более 10 тыс. галактик. Затем ИИ тренировался на поиск галактик на снимках, сделанных телескопом Hubble. В результате система научилась анализировать объекты на снимках, отделяя их от фона и проверяя, соответствует ли их размер, форма и другие параметры предмету поиска — в данном случае далеким галактикам. Затем система сама проводит проверку на достоверность полученных данных.

Сделки, аналитика, персоны, анонсы - в мире технологий ежедневно происходят интересные события.  Не утонуть в море продуктов потребления поможет канал @topit_media. Только важное, интересное и актуальное. Про бизнес, производства, стартапы, игры и людей, которые за этим стоят. Читаем, думаем, обсуждаем в чате. Подписываемся -> https://t.me/topit_media

Вы не смотрите на данные до интерпретации Ещё одна подобная проблема: ваши результаты могут быть обусловлены выбросами и другими артефактами. Это особенно актуально для моделей, минимизирующих суммы квадратов. Даже без выбросов возникают проблемы с балансом, отброшенными или отсутствующими значениями и другими аномалиями реальных данных, которые вы не разбирали в университете. Решение: повторяю, смотрите на данные — это очень важно! Поймите, как их природа влияет на результат. Пример: с выбросами наклон x1 изменился с 0,906 до -0,375!

​​Распространенные мифы, которых следует опасаться в Data Science и машинном обучении Начинающих пользователей волнует, как стать специалистом по обработке и анализу данных; руководители задаются вопросом, насколько важное влияние оказывает Data Science на бизнес. Люди, работающие в этой сфере, не могут определиться, как себя называть: Data Scientist, Data Engineer или Data Analyst. Читать...

Это работает, но почему? Аналитики хотят строить «модели». Они слышали, что xgboost и алгоритм “случайный лес” работают лучше всего и просто используют их. Они читают о глубоком обучении и думают, что, возможно, оно улучшит результат. Они бросают модели в проблему, не глядя на данные и не выдвигая гипотезы, какая модель лучше всего отражает особенности данных. Это сильно усложняет объяснение вашей работы хотя бы потому, что вы сами её не понимаете. Решение: смотрите на данные! Поймите их характеристики и сформулируйте гипотезы о том, какие модели лучше всего их отражают. Пример: посмотрев на данные на графике даже без запуска модели, вы увидите: x1 линейно связан с y, а x2 не имеет с ним сильно выраженной связи.

​​Мужчина в 55 лет стал программистом Коллега искала программистов в ит отдел, и к ней на собеседование пришел кандидат. Мужчина 60 лет, имел 5-ти летний опыт работы, и сертификаты подтверждающие его квалификацию. Собеседование прошло стандартно, мужчина был приятным, рассказал, что раньше работал сантехником, в принципе зарабатывал неплохо, но так как уже возраст и он стал неинтересен компаниям на рынке труда, он решил сменить специальность. А сын у него программист и предложил отцу учится. Тот сначала отнекивался мол, старый уже и все такое, но сын оказался настойчивым и стал потихоньку отцу подкидывать всякие интересные статьи по этой тематике. По итогу он решил попробовать, рассказывал что первое время вообще ничего не понимал и были мысли бросить это дело, но сын настоял и сам подключился к обучению отца. По итогу через некоторое время он стал что то понимать и конечно появился интерес. А когда у него получился первый его проект, то он был вне себя от счастья. В общем по итогу стал более усердно заниматься и потом устроился на работу, удаленную. и работал только по проектам, но уже есть работы, которые он может показать. На самом деле я восхищаюсь такими людьми, и не важно на что человек переучился, главное, что даже в таком уважаемом возрасте он не считает себя стариком и двигается дальше. мне хочется верить, что я тоже такой же буду и не буду боятся что то менять в своей жизни, причем так кардинально. И да, его взяли в штат, потому что он хорошо сделал тестовое задание, и прошел техническое интервью, сами ребята из ит отдела были в шоке, потому что ранее не сталкивались с таким кандидатами. Начальник отдела доволен работой, и рассказывает, что когда у Павла Сергеевича, получается, то у него прям глаза горят. Такого он давно уже не видел, чтобы сотрудники были так увлечены работой и получали истинное удовольствие от работы..

Программировать = зарабатывать. И почему круто быть IT специалистом.  Uno. Ты сможешь применить свои знания в любой сфере деятельности, ведь в развивающемся мире информационщики нужны везде.  Dos. У твоего заработка не будет верхней границы, потому что число нулей прямо пропорционально твоим навыкам.  Tres. Абсолютно каждый сможет научиться программированию и закрепиться в сфере IT.  Подпишись на Life in code и прокачивай свой скилл вместе с нами. Здесь тебе расскажут азы и помогут протоптать дорогу в мир IT. Сделай первый шаг вместе с Life in code

Неполное понимание целевой функции Аналитики хотят создать «лучшую» модель. Но красота в глазах видящего. Если вы не знаете, в чем заключается основная задача и целевая функция, не знаете, как модель себя ведёт, то вряд ли построите «лучшую» модель. Кроме того, задача может заключаться в улучшении бизнес-метрики, а не в построении математической функции. Решение:  У большинства победителей Kaggle уходит много времени на понимание целевой функции и того, как с ней связаны модель и данные. Необходимо оптимизировать бизнес-метрику, сопоставьте её с соответствующей целевой функцией. Пример: для оценки моделей классификации используется F-мера. Однажды была построена модель классификации, успех которой зависел от того, в каком проценте случаев она была правильной. Как выяснилось, F-мера вводит в заблуждение, потому что показывает, что модель была правильной примерно 60% времени, а на самом деле — только 40%.

​​Новый ИИ генерирует голос за 500 миллисекунд. Социальная сеть Facebook представила высокоэффективную систему на основе ИИ, которая быстро преобразовывает текст в речь. Ее можно использовать в режиме реального времени и с использованием обычных процессоров. Исследователи рассказали о новом подходе для сбора данных — он позволил производить секунду звука за 500 миллисекунд. Система Facebook сможет производить высококачественные голоса без необходимости использования специализированного оборудования. Специалисты компании отмечают, что система достигла 160-кратного ускорения по сравнению с аналогами. Это сделает его пригодным даже для устройств с ограниченными вычислительными возможностями. Система Facebook состоит из четырех частей, каждая из которых фокусируется на различных аспектах речи: лингвистической, особенностях произношения, акустической модели и нейронной кодировке голоса. ИИ преобразовывает текст в последовательность лингвистических цепочек — предложения и единицы звука, которые отличаются друг от друга в зависимости от того, в каком слове они используется. Модель также отвечает за особенности происхождения и стиль — ИИ может интерпретировать и прогнозировать ритмы речи, предложения и частоты. Встраивание стилей позволяет системе создавать новые голоса — «мягкие», «быстрые», «формальные», при этом для их изменений требуется лишь небольшое количество данных. Для каждого стиля требуется всего 30 до 60 минут, утверждает Facebook — на порядок меньше, чем несколько часов записей, которые нужны для аналогичной системы Amazon.

​​ИИ разработал более справедливую налоговую систему. Нейросеть, созданная компанией Salesforce, занимается тестированием и разработкой идеальной налоговой системы в моделируемой среде. ИИ получил название AI Economist, в его основе лежит система обучения с подкреплением: она предполагает применение вознаграждения и наказания к машинным алгоритмам с целью максимизации желаемых результатов. По тому же принципу, например, созданы алгоритмы Google DeepMind AlphaGo и AlphaZero. Цель эксперимента — помочь правительствам во всем мире создать более справедливую систему налогообложения, говорится в сообщении компании. «Экономическое неравенство усиливается во всем мире и вызывает растущую обеспокоенность в связи с его негативным влиянием на экономические возможности, здоровье и социальное обеспечение. Налоги являются важным инструментом правительства для сокращения неравенства. Однако поиск налоговой политики, которая оптимизирует равенство и производительность, является нерешенной проблемой. С помощью AI Economist мы хотим выяснить, как новые налоговые системы могут уменьшить неравенство, повысить производительность и в конечном итоге сделать мир лучше» Ричард Сошер, Salesforce. Исследователи отмечают, что такой подход позволит выявить нерациональное поведение, которое экономисты часто не учитывают в своих моделях. По их словам, ИИ уже предложил сценарии, которые на 16% эффективнее существующих.

​​Модель машинного обучения предсказывает смертность пациентов с COVID-19 Инструменты машинного обучения выбрали три биомаркера - уровни молочной дегидрогеназы, лимфоцита и высокочувствительного С-реактивного белка - которые могут предсказать смертность пациентов с COVID-19 из образцов крови 485 инфицированных людей в Ухане, Китай, согласно статье, опубликованной в Nature Machine Intelligence. Эти инструменты предсказывали смертность отдельных пациентов более чем за десять дней до их результатов с точностью более 90%.

​​Глубокое обучение Люди, велосипеды, автомобили или дорога, небо, трава. Пиксели изображения представляют отдельные лица или объекты на переднем плане перед автомобилем с управлением ИИ, а какие пиксели представляют классы фона? Эта задача, известная как паноптическая сегментация, является фундаментальной проблемой, которая находит применение во многих областях, таких как автомобили с автоматическим управлением, робототехника, дополненная реальность и даже в анализе биомедицинских изображений. На факультете компьютерных наук Фрайбургского университета доктор Абхинав Валада, доцент кафедры обучения робототехнике и член BrainLinks-BrainTools, занимается этим вопросом исследования. Валада и его команда разработали современную модель искусственного интеллекта (ИИ) "EfficientPS", которая обеспечивает более быстрое и эффективное последовательное распознавание визуальных сцен.

​​Пандемия стала катализатором революционных изменений в ИТ-индустрии Как защитить свою ИТ-инфраструктуру для удаленной работы? Как сделать бизнес более устойчивым к глобальным потрясениям? Какие проблемы решают облачные технологии? Какие ИТ-задачи следует автоматизировать? Как использовать искусственный интеллект (ИИ), чтобы справиться с массовым увеличением вызовов? Далее...

​​Cоветы ИТ-специалистам Даже будучи профессионалом своего дела, повышать свою ценность на рынке труда необходимо для достижения наилучших результатов. Так и для ИТ-специалистов: помимо основного требования - знать свои обязанности и грамотно их выполнять, существует еще ряд полезных привычек, необходимых для успешной работы. Читать#

​​IDC: Половина сервисов IaaS и PaaS используется для разработки приложений, управления и анализа данными Ключевые деловые приложения, включая CRM, ERM и SCM, в облачном варианте чаще всего приобретаются в виде SaaS-сервисов. Более половины закупок инфраструктурных и платформенных сервисов (IaaS и PaaS) в публичных облачных средах приходится на три задачи: управление данными, разработка и тестирование приложений и анализ данных. Хотя на рабочие нагрузки, связанные с важнейшими бизнес-приложениями (CRM, ERM и SCM) идет больше средств, они приобретаются в виде программ, предоставляемых в виде сервиса (SaaS), а большинство нагрузок потокового вещания работает в виде цифровых сервисов на облачной инфраструктуре. В то же время в IDC не считают показательной долю рабочих нагрузок в виде веб-серверов, поскольку подавляющее большинство веб-серверов в облаке работает в качестве компонентов других бизнес-приложений. Управление данными и их анализ в ближайшее время останутся наиболее распространенными рабочими нагрузками в публичных облачных системах. Это объясняется переносом в облако унаследованных программных систем, доступностью облачных машин с ускорителями вычислений и распространением сервисов с функциями искусственного интеллекта и машинного обучения. Распространение методов разработки и тестирования приложений в облаке и создания исходно рассчитанных на работу в облаке приложений тоже поддержит рост соответствующего сегмента.