Бигдатый маркетинг

🦠В Кардиффском университете придумали как обнаруживать кибератаки меньше чем за секунду Метод основан на ИИ и может предотвратить повреждение до 92% файлов на компьютере, при этом для уничтожения вредоносного ПО требуется всего 0,3 секунды! Тестировали систему на нескольких ноутбуках, на каждом из которых запустили до 35 приложений для имитации нормальной деятельности. Потом компьютеры атаковали тысячами вирусов, и модели удалось защитить 92% файлов. И хотя система еще не готова к внедрению в компьютеры «как есть», технология выглядит перспективной🔥

И вот так каждый раз!

😶‍🌫️Обсудим сегодня классный алгоритм генерации изображений Модель называется генеративно-состязательной сетью (generative adversarial network, GAN). Суть проста — у нас есть 2 сети, одна из которой генерирует картинки (генератор), а другая пытается понять, является ли картинка настоящей или сгенерированной (дискриминатор). Объясню на примере: представим, что есть фальшивомонетчик, который пытается от раза к разу все лучше подделывать купюры. Это как раз наш генератор. А с другой стороны, есть полицейский, который проверяет купюры и следит, нет ли среди них поддельных — он будет дискриминатором. Получается, каждый раз, когда фальшивомонетчика ловят, он старается улучшить свою технологию. В конце концов, полицейский не сможет понять, где настоящая, а где поддельная купюра. Кстати, с помощью этой модели можно не только рисовать. Она может создавать музыку, улучшать четкость изображений, создавать дипфейки. Короче, применений много! На 2-3 фото примеры сгенерированных картин, листайте🎨

А вот и пятница! Предлагаю вспомнить, что интересного произошло за неделю: 🟢 Минцфиры решили вернуться к идее смягчения требований к компаниям-разработчикам ПО. Таким образом, в этот список можно будет включить российские компании, которые перенесли головные офисы зарубеж. 🥲 Тем временем, правительство РФ упразднило подкомиссию по развитию искусственного интеллекта (да, такая была). Увы, многие из актов и их отдельных положений утратили силу. 😎 Компания Google представила прототип AR-очков со встроенным переводчиком. Очки выглядят совсем как обычные, но зато умеют переводить: они записывают, анализируют и переводят речь собеседника. В компании надеются, что это поможет устранить языковой барьер. Также это устройство может помочь людям с нарушениями слуха. 🤓 В Apple тоже не отстают! Сегодня компания представила своему совету директоров будущую гарнитуру AR/VR. Это означает, что продукт почти готов, и скоро будет релиз. Ранее Bloomberg сообщал, что выход устройства планируется на 2023 год, но, судя по всему, гарнитуру могут представить и раньше. Если верить слухам, устройство будет легче аналогов и оснащено аж 15 камерами. 🪙 Глава Минпромторга Денис Мантуров считает, что в России будет легализована криптовалюта. Согласно его словам, над этим вопросом сейчас активно работают правительство и Центробанк. Ну что ж, ждем! 📹 VK решил выделить сервис VK Видео в отдельное приложение до конца года. Модель развития нового продукта будет немного напоминать YouTube. А на днях компания выпустила амобильный VK мессенджер — он уже доступен Android и iOS и работает без смс и регистрации в сети Вконтакте. 😰 Американский актер Сет Грин потерял NFT на сумму $300 тыс. Он прошел по фишинговой ссылке, когда покупал новый NFT токен. Как только мошенники украли NFT, они их сразу же и продали. На этом у меня все, хороших выходных! 💃

Сегодня расскажу, как можно сделать 3D модель из набора обычных снимков Такие модели называются Neural Radiance Field (NeRF). Если объяснять на пальцах, то модель работает так: сеть берет на вход несколько снимков с разных ракурсов, объединяет их, усредняет пиксели между кадрами (чтобы заполнить дыры между ракурсами), и вуаля — 3D модель готова. Круто, да? Недавно компания Nvidia представила новую модель, которую назвала Instant NeRF. И эта модель берет всего 4 снимка, снятых камерой (работает даже с камерой Polaroid), и создает суперреалистичную модель за несколько секунд (!!!). В общем, я в восторге! Кстати, технология может оказать огромное влияние и на метавселенные — за считанные секунды можно будет создавать очень реалистичные аватары используя всего несколько фото. Ну и заодно можно использовать модель для обучения роботов или автономных систем вождения (там важно понимать размеры объектов и их форму).

🤔Мы постоянно произносим термин «большие данные», но насколько же они большие? Оказывается, цифра просто колоссальная! Например, в 2020 году каждый день генерировалось 2.5 квинтиллиона байт. Если вы, как и я, не знаете, сколько нулей в квинтиллионе, то подсказываю: 18. Дальше хуже: эксперты предсказывают, что к 2025 году будет генерироваться 463 эксабайта данных ежедневно. Чтобы нам стало чуточку проще, умные люди прикинули, что это примерно 212 765 957 заполненных DVD дисков в день. Основной рост приходится за счет наших любимых с вами соцсетей: картинки в инстаграме, видео в снапчате, посты в твиттере.. Кстати, большой вклад даёт и интернет вещей: такими темпами, умный дом скоро станет умнее меня. Кстати, именно с этой проблемой боролись герои сериала «Кремниевая долина». Крайне рекомендую к просмотру🍿

Алгоритмы, обученные на исторических данных, справляются с прогнозированием популяции лучше, чем классические методы моделирования популяции. Ученые из Стамбульского технического университета сравнили работу алгоритмов машинного обучения (среди которых, кстати, есть и CatBoost, разработанный Яндексом). Данных было предостаточно: исследователи проанализировали 1595 демографических показателей из 262 стран, которые собирали с 1960 по 2017 год. Получилось точнее, чем у стандартных методов. Кстати, государству важно понимать, как будет развиваться общество в ближайшие годы. От размера популяции зависит многое: планирование в области здравоохранения, образования, жилья, инфраструктуры. За последние 2 года мы можем видеть, как внезапные события могут изменить структуру общества, тогда как перепись населения проходит раз в 10 лет.

Исследователи Лондонской школы экономики и политических наук (LSE) выпустили статью, в которой утверждают, что ИИ намного лучше справляется с процессом найма, чем человек. Оказывается, найм с помощью ИИ происходит куда эффективнее: анкеты анализируются быстрее, а рекомендуемые моделью кандидаты и в самом деле имели больше шансов на найм. Более того, авторы заметили, что модель не склонна к предвзятостям и дискриминациям, а выбранные ею кандидаты оказались намного разнообразнее, чем аналогичный найм людьми. А вот люди работу электрического эйчара не оценили: кандидаты и рекрутеры одинаково не доверяют предсказаниям модели, да и побаиваются проблем с конфиденциальностью. Один из авторов с этим категорически не согласен: он считает, что чтобы наконец-то избавиться от кумовства и предвзятости при найме, этим должны заниматься машины.

Хорошо, что данных озеро, а не океан

Я не люблю, когда говорят, что ИИ заменит человека. По-моему, это неправильный подход к технологиям: нужно думать не про противостояние человека и компьютера, а про их синергию. Один из ярких примеров такой синергии — шахматы. Помните, как Гарри Каспарова, действующего чемпиона мира по шахматам, обыграл компьютер Deep Blue? Кстати, это было его самое быстрое поражение в карьере. С тех пор, появились так называемые шахматные кентавры: игроки тренировались играть не только друг с другом, а еще и с компьютером. С годами такие тренировки набирали популярность, и игроки, практикующие такой подход, занимали все больше мест на соревнованиях. Похожий подход исследователи пытаются распространить и на другие сферы жизни. У человека есть много слабостей: мы иррациональны, любим прокрастинировать. А ИИ порой ошибается, когда человек принимает правильное решение почти моментально. Цель — найти баланс, который поможет ИИ скомпенсировать наши слабости. Не знаю как вы, а я жду не дождусь успехов в этой области.

🦷Не знаю, как вы, а я ужасно боюсь стоматологов. Зато люблю технологии, поэтому эта новость меня очень порадовала. Учёные компании Pearl получили недавно одобрение от FDA (подразделения Минздрава США) для использования их технологии — обнаруживать кариес на рентгенах. Как это работает — доктор загружает в облако компании рентгеновский снимок зубов, и дальше снимок анализируют. Модель позволяет найти не только кариес, но и еще кучу других неприятностей от сломанных коронок до воспалений каналов зуба. Меня удивил тот факт, что, по сравнению с обычным стоматологом, модели удаётся отыскать на 36% больше поражений зубов. Боюсь представить, насколько вырастет и без того немаленький чек за услуги врача после такой диагностики😥

В этот понедельник предлагаю обсудить один из полезных инструментов для увеличения набора данных — аугментацию Представим, что мы обучаем нейронку различать птичек. Для этого модели придется выучить, как собственно птичка выглядит. Но во время обучения она заодно запоминает и нерелевантные мелкие детали: ракурс, положение на картинке, свет. Увы, мы тогда не можем быть уверены, что модель справится с картинкой, где та же птичка стоит в другом углу фото или же под совершенно другим светом. Чтобы модели было проще разобраться с такими нюансами, принято в данные добавлять обработанные картинки: можно поворачивать, зеркалить, вырезать части фотографии, менять контраст и так далее. В этом случае, модель увидит такие примеры во время обучения. В общем, способов поиздеваться над картинкой бесчисленное множество, зато без них не обучают ни одну модель 🦆

​🎓Сегодня хочу рассказать вам про один из самых интересных подходов в современном машинном обучении — самообучение (self-supervised learning). Лично я считаю, что за этим методом будущее (у ИИ все как у людей) Начну с предыстории: все алгоритмы машинного обучения учатся на данных: например, у нас есть картинка, и мы знаем, что на ней изображён кот. Проблемы начинаются тогда, когда нам не хватает рук разметить все данные — это долго и дорого. А ИИ ведь надо на чём-то учиться. Учёные предложили концепцию самообучения, где не нужно иметь много размеченных данных. План обычно такой: на небольшом кусочке размеченных данных мы учим нейронку. Потом мы с помощью выученной модели предсказываем классы для неразмеченных — получаются так называемые псевдо-метки (pseudo-labels). А дальше обе части объединяют и на них доучивают модель. Кстати, это можно сделать и с помощью обучения без учителя. Идея у этих методов обычно простая: логично предположить, что картинки котиков сильнее похожи друг на друга, чем на картинки с собачками. Так, для неизвестного элемента данных, мы ищем ближайший элемент с известным классом. Удивительно, но этот подход обогнал методы, где известна полная разметка🏆

🥲Учёные из Открытого университета Каталонии разработали модель, которая обнаруживает ментальные проблемы у людей по их постам и выложенным картинкам Всё-таки, в соцсетях мы проводим львиную долю времени, и наше психическое состояние отражается на постах. Учёные решили воспользоваться этим и придумали способ помогать психологам с диагностикой. У исследователей ушло аж 2 года на разработку ИИ модели и 30000 картинок с подписями, размеченными психологами. Например, испаноязычные люди больше переживали из-за проблем в отношениях по сравнению с англоязычными. В общем, постите картинки аккуратнее. Кажется, эта технология уже взята HR в оборот👀

И не нужно лишних слов

🤯Исследователи центра Cedars-Sinai создали модель, которая сумела обнаружить людей у кого может развиться рак поджелудочной железы за годы до появления самого заболевания Автор статьи утверждает, что человеческим взглядом эти признаки не обнаруживать. Метод сложный: из 66 снимков КТ выделили 4000 специфических статистических признаков, и на них обучили модель. Рак поджелудочной железы очень коварен: после обнаружения болезни только 10% пациентов живут больше 5 лет, зато ранняя диагностика увеличивает выживаемость вполовину.

🥵Пятница 13-го подходит к концу, предлагаю вспомнить, что произошло интересного за неделю: 💸Государственные меры поддержки IT команий выглядели настолько привлекательно, что многие непрофильные компании захотели попасть в заветный список аккредитованных в Минцифры IT-компаний. Правда, все не так просто: список аккредитованных компаний позволяет получить только отсрочку от армии для работников, а вот для льгот по налогам надо быть еще и разработчиком ПО. 📉Крипта продолжает падать: в начале мая цена доходила аж до $29т — минимума лета 2021 года. Эксперты говорят, что есть вероятность дальнейшего падения аж на $20т. 👀Альфабанк в своем офисе поставил прозрачный банкомат. Можно посмотреть, как выглядят детальки внутри. 😬В телеграме появились данные 21 млн пользователей VPN сервисов, которые слили хакеры. В конце 2021 года их выложили на продажу в даркнете, а теперь все данные бесплатно есть и в мессенджере. Слив затронул пользователей GeckoVPN, SuperVPN и ChatVPN. 👨‍✈️ИИ могут заменить дежурных у эскалаторов в московском метро. Система автоматически мониторит данные с видеокамер, микрофонов и датчиков. В случае появления внештатных ситуаций, она подает сигнал оператору вместе со списком возможных действий. Решение остается за человеком.

⚖️Предлагаю сегодня обсудить ещё одну из фундаментальных проблем ИИ — честность предсказаний модели (fairness). Простыми словами, это степень предвзятости модели. Люди склонны к дискриминациям и стереотипам, а модели ИИ копируют поведение человека. Примеров полно: автоматические системы выдачи кредитов в банках могут предлагать не выдавать кредиты темнокожим людям. А нашумевшая модель генерации картинок DALL-E 2 тоже отличилась: поначалу модель генерировала белых мужчин по умолчанию. Чтобы проверить модель на честность, можно запустить ее на полном наборе данных, а потом убрать из датасета «чувствительные категории» (пол, возраст и т.д.) В идеале, большой разницы в предсказаниях быть не должно. А вот как изначально строить непредвзятые модели — задача открытая. Считаю, что задача важная: не хотелось бы пострадать от такой модели. Увы, мало того, что сформулировать математически критерий «честности» непросто, так ещё и уже предложенные критерии противоречат друг другу. В общем, учёным есть чем заняться.

😎Санкции никого не щадят. Затронули они и компании, которые специализируются на VR (виртуальная реальность) и на AR (дополненная реальность) Государство решило их поддержать и выдает им гранты. Из приятных новостей: санкции не затронули поставки комплектующих для VR/AR оборудования. А я вот помню, как мне мама говорила, чтобы не сидел близко к телевизору.

#российскиетренды «Ростелеком» протестировал новый ИИ-сервис по оцифровке документов — облачный сервис Beorg Smart Vision С его помощью можно автоматически распознавать, оцифровывать и анализировать документы с применением ИИ. Нейросеть будет выполнять работу, которую обычно делают сотрудники. Например, проверять актуальность договоров, определять наличие необходимых подписей, печатей, дат и реквизитов. Кажется, у многих делопроизводителей будет больше времени на кофе.