Data Science | Machinelearning [ru]

Сайт для разработчиков Stack Overflow провел опрос среди 65 тыс. пользователей, чтобы узнать, какие языки программирования они знают и сколько им за это платят. С помощью этих данных Stack Overflow составил рейтинг, расположив языки по возрастанию дохода, который они приносят программистам. При подсчете результатов была использована медианная зарплата за 50 рабочих недель, иностранную валюту конвертировали в доллары.

Искусственный интеллект на квадратном миллиметре Мозг человека часто сравнивают с компьютером. Машины давно обогнали содержимое черепной коробки в скорости и объеме вычислений, однако ученые продолжают вдохновляться устройством природного «компьютера» при создании машин нового поколения. Разработчиков прельщает принцип передачи информации между синапсами мозга — соединениями между нейронами. Синапс получает сигналы от одного нейрона в виде ионов и отправляет сигнал дальше по цепочке следующему нейрону.

Всем привет, сегодня @stalkerser составил подборку интересных каналов: ♦️ @prorobots - Этот канал с интересными новостями роботизации, с упором на тренды в этой области. То есть не просто новости, а их анализ, прогнозы, мнения. ♦️ @devsp - Статьи на тему data science, machine learning, big data, python, математика ♦️ @ChanelPC - Обзоры и тестирования компьютерных комплектующих, периферийных и сетевых устройств, игровых аксессуаров ♦️ @dotnetreview Авторские статьи по технологиям, языкам программирования и инструментам для разработки в .Net.

Как искусственный интеллект меняет маркетинг По оценкам Deloitte, почти 50% компаний уже использует машинное обучение в маркетинге. ИИ генерирует контент, настраивает рекламу, анализирует аудиторию и общается с клиентами.

Прогноз развития ИТ в России от НИУ ВШЭ: темные мысли о светлом будущем Институт статистических исследований и экономики знаний НИУ ВШЭ подготовил отчет о перспективах развития российской ИТ-отрасли. Главные выводы исследования опубликованы на сайте НИУ ВШЭ. Там, в частности, отмечается, что в последние годы российский ИТ-рынок рос — минимальное значение роста в 5% отмечалось в 2016 году, а максимальное 21,8% в 2012-м. Тем не менее, в ближайшее время на рынке ожидается спад, в ВШЭ ожидают, что к уровню 2019 года российский ИТ-рынок вернется не ранее 2024 года. Тем не менее, отмечают создатели документа, если государство поможет отрасли налоговым стимулированием и созданием спроса на ИТ-продукты, все может быть намного лучше.

Интересные концепции: webhook Webhook — механизм получения уведомлений об определённых событиях (в основном о действиях пользователей) на свой собственный сайт. В момент срабатывания события - бросается запрос (чаще всего POST) на указанный URL. Например, разновидность Webhook - GitHook - отслеживает статус Git-репозитория на предмет изменений - пришел коммит на определенную ветку, проставили тэг и другое.

От хранения до аналитики: принцип «одного окна» в работе с данными Компании собирают все больше как структурированных, так и неструктурированных больших данных. Однако не все BI-инструменты могут работать с Big Data, а традиционные хранилища не справляются с миллиардами записей – в результате бизнес вынужден использовать несколько решений для работы с данными и тратить большие ресурсы на их интеграцию. А возможно ли вести всю работу с данными, используя лишь одну платформу?

Искусственный интеллект встанет на защиту API Selectel, провайдер облачных сервисов и услуг дата-центров, и Salt Security, компания-разработчик средств информационной безопасности, вывели на российский рынок платформу для защиты API. Эксперты относят атаки на программные интерфейсы приложений (API) к наиболее серьезным угрозам для корпоративных информационных систем. Посредством API осуществляется множество транзакций, в том числе и с конфиденциальными данными. Их уязвимость создает растущую проблему безопасности, которую нельзя полностью решить традиционными инструментами.

​Хотите получить практические навыки по программированию искусственного интеллекта? В SkillFactory скоро стартует специализация «AI разработчик». Спрос на таких специалистов намного выше, чем предложение. На курсе вы освоите: — машинное обучение с нуля до продвинутого уровня — Computer Vision, NLP, Reinforcement learning — и нейронные сети По окончанию обучения вы сможете проектировать и внедрять рекомендательные системы, участвовать в fintech проектах, создавать интерактивных агентов технологиями NLP и многое другое. Курс основан на практике, к каждому студенту прикрепляется ментор, который поможет пройти путь в новую профессию. 💼Карьерный центр поможет вам оформить резюме, начать проходить собеседования и освоить необходимые soft skills. 🎯Последний день действует скидка 40% на курс — успейте записаться с выгодой: https://clc.to/_Nh2Dw

Полезные библиотеки: swig - запускаем C-код из Python Для работы с С-библиотеками есть несколько способов: - Писать программу на С/C++ и подключать DLL (.so) файлы - Попытаться напрямую запустить C код из нужного языка. Перед тем как продолжить - зачем нужно запускать C/C++ код? Все просто - например, работаем с железом, а значит и с драйверами (а их пишут на C). Вот здесь и появляется необходимость взаимодействовать с С кодом. В Python есть несколько вариантов запуска С/C++ кода (без модификации исходного кода) - ctypes, cliff или даже swig.

Прорыв в среду IT без учёной степени. Джейсон Ванг Джейсон Ванг — из семьи иммигрантов, прибывших в Америку на поиски лучшей жизни. Он поступил в университет на сестринское дело, затем переквалифицировался в международный бизнес, после чего на третьем году обучения решил бросить учёбу. Переехав в Сиэтл, он несколько лет перебивался случайными заработками и размышлял о решительном переходе в индустрию IT. Благодаря поддержке родителей и воодушевлению со стороны друзей, летом 2018 он принял решение “всё или ничего”. Посвятив себя самообучению и пройдя курсы, он прошел путь от новичка до стажёра, а затем и до инженера-разработчика всего за один год. Как ему это удалось? Он отлично освоил алгоритмы и структуры данных, не переставал писать код, изучал сетевые ресурсы, старался всё делать профессионально, проводил время на форуме программистов и никогда не утрачивал веру в себя.

Facebook выплатит инженеру Mapbox $500 тысяч за алгоритм распознавания фейков Facebook опубликовал результаты конкурса по созданию алгоритмов распознавания поддельных видео. Победителем стал Селим Сефербеков — компьютерный видео-инженер в компании Mapbox с центром разработки в Минске, пишет  ndelo.ru

Не редко возникает задача убрать лишние пробелы с начала/конца строки. Например a = 'Доброе утро, Иван' message, name = a.split(',') print(name) > ' Иван' # (лишний пробел сначала строки) Что получить имя пользователя в чистом виде - хорошо бы убрать лишние символы (если они там есть). Лишними символами чаще всего являются - \r \n пробелы - и все это в большом количестве Для этого в Python есть метод strip, rstrip, lstrip new_str = name.strip() # Удалит пробелы в начале и в конце строки new_str = name.rstrip() # Удалит только в начале new_str = name.lstrip() # Удалит только в конце

Хайп вокруг Big Data утихает, но идеальное хранилище под большие данные — всегда актуальная тема: чтобы легко масштабировалось под любой объем и предоставляло расширенные возможности по обработке данных. Современные базы бывают именно такими. Мы расскажем, почему DWH лучше строить в облаке и какие есть Best Practice для архитектуры. 👉 Регистрируйтесь на наш вебинар про управляемую СУБД на основе Greenplum, разработанную специально для решения аналитических задач — от BI до AI. Встретимся в четверг 18 июня, онлайн. Начало в 17:00 по Москве, регистрация обязательна: https://events.webinar.ru/mcs/arenadatadb

Facebook заявил, что их разработка TransCoder может конвертировать код из одного языка программирования высокого уровня в другой. Система, которую исследователи Facebook описывают как «нейронный транскомпилятор», использует неконтролируемый подход к обучению для перевода между такими языками, как C ++, Java и Python. Исследователи обучили TransCoder в общедоступном корпусе GitHub с более чем 2,8 миллионами репозиториев с открытым исходным кодом. Чтобы оценить его возможности, исследователи извлекли 852 параллельных функции в C ++, Java и Python из онлайновой платформы GeeksforGeeks и разработали новый показатель точности вычислений, который проверяет, генерируют ли функции гипотезы те же выходные данные, что и эталонные, при наличии тех же входных данных. Как писали исследователи, «TransCoder легко обобщается на любой язык программирования, не требует специальных знаний и значительно превосходит коммерческие предложения».

Математика в Python: Матрицы в NumPy Списки - встроенный тип Python, могут содержать любые элементы: целые, дробные числа, строки, объекты. Это великая сила Python, но в то же время и слабость — в отношении скорости работы. В стандартные дистрибутивы Python входит модуль array, реализующий аналог массивов C/C++, он может пригодиться для простейших расчётов с многомерными массивами, матрицами.

Аналоги switch в Python Используйте то, что предлагает язык: конструкция if / else. Ну, если вы хотите switch / case конструкции, самый простой путь заключается в использовании старых добрых , if / else построить: def switch(value): if value == 1: return "one" if value == 2: return "two" if value == 42: return "the answer to the question about life, the universe and everything" raise Exception("No case found!") это может выглядеть избыточно, и не всегда красиво, но это самый эффективный способ, и он выполняет свою работу:

Новая технология, как отмечают её создатели, является доступной и может использоваться в бизнес-процессах. Российская компания «Сателлит Инновация», входящая в число резидентов инновационного центра «Сколково», анонсировала софт с возможностью распознавания лиц. Отличительной особенностью российской разработки Macroscop является возможность внедрения нового программного обеспечения в массовое использование.

Сколтех открывает кафедру искусственного интеллекта В сентябре 2020 года по инициативе Института Сколтех открывается кафедра Искусственного интеллекта. Миссия новой кафедры — интеграция в современное общество знаний и технологий ИИ, разработка этических норм и технических стандартов для обеспечения всеобщего доступа к знаниям и технологиям на основе принципов равенства. Университет подал заявку в штаб-квартиру ЮНЕСКО на открытие данной кафедры. В независимости от результата, активность будет развиваться либо под международным брендом, либо самостоятельно, сообщает пресс-служба университета.  На базе университета планируется создать think tank по проблемам искусственного интеллекта. Это синхронизирует все активности в этой области на глобальном уровне.

Израильский ИИ-стартап Sightbit помогает спасать тонущих людей Спасатели делают все возможное для обеспечения безопасности, но они могут контролировать только ограниченное пространство. Особенно сложно следить за ситуацией на больших пляжах, где ежедневно собирается более 10 тысяч человек. Решение этой проблемы придумал израильский ИИ-стартап Sightbit.