Айра Монгуш — AI, tech & math

Как же хорошо, когда кто-то об этом сказал что-то вслух.

Ушла думать, как быть теперь в этом одномногообразии эйяй блогеров, про что рассказывать.. ИИ развивается, новостей каждый день больше, чем символов в посте в тг. И это почему-то стало поводом к фрустрации и саморефлексии. Пока не нашла ответов, буду продолжать писать и экспериментировать с темами. Напишите, плиз, чем вдохновляетесь, что нравится, что нет — поможет лучше проанализировать и взбодриться 🦭🦧 Спасибо, что ждете постов 🤝🏼

Как-то в шестидесятые годы (это было принято тогда) в общежитии организовали встречу профессоров и преподавателей кафедры теории функций и функционального анализа со студентами. Дмитрия Евгеньевича [Меньшова] попросили рассказать о рождении Московской математической школы. Он начал свой рассказ так: «В 1914 году я поступил в Московский университет. Николай Николаевич Лузин был тогда за границей. Но он договорился с Дмитрием Федоровичем Егоровым, что они организуют семинарий для студентов. И в 14-м году Дмитрий Федорович такой семинарий организовал. Он был посвящен числовым рядам. В следующем году Николай Николаевич вернулся в Москву и начал руководить семинарием сам. В 1915 году мы занимались функциональными рядами, а в 1916 году — ортогональными рядами. А потом наступил 1917 год. Это был очень памятный год в нашей жизни, в тот год произошло важнейшее событие, повлиявшее на всю нашу дальнейшую жизнь: мы стали заниматься тригонометрическими рядами...»

В посте, возможно, самый полный список релизов языковых моделей. Забавляют темпы роста анонсированных моделей даже в марте-мае (рост в разы месяц к месяцу) По плану: — написать про диплернинг и генеративный AI в рубрику #база_ML — раскрыть больше про деятельность в AI у Alphabet в рубрике про компании (а также ироничность того, что Google был первым гигантом с четкой AI-стратегией в 2015 году, но в итоге его жизни угрожает стартап, который за считанные недели вырос до 100 млн юзеров). Больше про ИИ в канале @aira_mo

К тем, кто боится, что AI заберет у них работу 🙃

12 метрик AI-модели, которые должны знать фаундеры 📊 Accuracy (Общая точность): оценивает точность предсказаний модели. Например, если модель классифицирует изображения, то accuracy показывает, какая их доля верно классифицирована. 🔄 Precision (Точность определения класса): измеряет долю верных положительных результатов. Например, если модель определяет email-спам, то precision покажет, сколько из предсказанных моделью спам-писем действительно спам. 🔀 Recall (Полнота): определяет долю верных положительных результатов от всех фактически положительных. В пред. примере recall покажет, сколько спама модель правильно классифицирует. 🎯 F1 Score: среднее гармоническое precision и recall, позволяет оценить баланс точности и полноты. ⏰ Training Time: время предсказания на новых данных. Меньшее время обучения — преимущество для стартапа, т.к. позволяет более быстро итерировать модель. ⌛ Inference Time: время предсказания на новых данных. Быстрое время предсказания может быть важным фактором для продукта, мгновенно обрабатывающего запросы. 📉 Loss Function: измеряет ошибку модели на тренировочных данных. Ее минимизируют для точности предсказаний модели. 📏 Model Size: Меньший объем памяти для модели значит эффективное использование ресурсов и быстрое развертывание. 🌐 Data Interaction: оценка эффективности работы модели с данными, н-р, скорость загрузки, предобработку и манипуляцию данными. Например, если AI-модель обрабатывает текст, работа с данными может измеряться по длительности предобработки и подготовки текста. 📈 Scalability: способность модели масштабироваться с ростом данных и нагрузки. Рост объема операций может потребовать увеличения мощности для обработки больших объемов данных. 💰 Траты: затраты на обучение и эксплуатацию модели, включая ПО, хранение данных и вычисления. Их оптимизация — важный фактор для стартапа с ограниченным бюджетом. 🆕 Novelty: оценка инновационности модели, наличие новых алгоритмов, подходов или данных. Узнавайте больше про AI в канале @aira_mo

Первая ML-модель, которую я создавала, была премодерация креативов в рекламе, антифрод-система из алгоритма детекции и CV-модели, описывающей предметы на изображении. Был 2015 год, мы в Aitarget (технологический партнер Meta*) первые в мире и в РФ запустили рекламу в Instagram* в своем интерфейсе через маркетинговый API Facebook, и для нашей небольшой продуктовой команды стало подъемно отслеживать объем рекламы. При этом существовал такой критерий, как “карма” аккаунта с рекламой, в которой алгоритм самого Facebook* банил ее, если она была “плохой” (например, была реклама алкоголя и др.сомнительных вещей, кликбейт, фейковые бренды и тд), и карма портилась. Чтобы она не портилась, наша задача была обнаруживать плохую рекламу сходу и не разрешать ее создавать. Модерация — идеальный юзкейс для автоматизации его решения с помощью ML. Существует большой класс подобных задач, которые сложно решить людям, но относительно легко решить ИИ. Таких кейсов, если копнуть, достаточно много: распознавание текста на фотографиях, Face ID, кредитный скоринг, поиск спама, ввод/кодировка данных, расшифровка и др. Общее у них то, что модель создается для решения узкой задачи — и поэтому ее проще дорабатывать и масштабировать на большее число клиентов. Сосредоточение внимания на этих областях может свести к минимуму проблему пограничных случаев юзкейсов. Какие юзкейсы автоматизируете вы и как сужаете проблему? *Instagram, Facebook принадлежат признанной экстремистской компании Meta в РФ Больше о применении AI в блоге @aira_mo

Как экономить на обучении модели? Благодаря таким проектам, как Captcha, современные алгоритмы способны отличить самые разные повседневные вещи — кошек и собак, пожарные гидранты и светофоры — потому что люди кропотливо вручную каталогизировали 14 миллионов таких изображений , чтобы компьютеры могли учиться на них. Не секрет, что качественные данные — это основа для хорошо работающей модели. Но чтобы данные собрать в срок, надо выбирать для работы такой юзкейс, в котором было бы конечное количество граничных случаев. В следующем посте расскажу про то, как резать сужать задачу модели. Золотой стандарт — это максимально причесанная и приближенная к реальному сценарию использования модели выборка данных. То есть к моменту подбора данных необходимо знать хорошо поведение реальных данных. Это те самые данные, которые желательно подобрать скрупулезно, не жалея времени на исследование всевозможных сценариев для тестов. Без качественного золотого стандарта нельзя получить качественную модель. Как лучше всего приступить к этой задаче? ○ Если есть возможность, организовав сбор данных от реальных пользователей: ● Выделить в тестовой выборке группы: ○ по основным самым распространенным вариантам использования; ○ по “сложности” с точки зрения эксперта. То есть относительно небольшой набор репрезентативных примеров — например, тонкие/объемные объекты, фотографии днем или ночью и тд. ● Выборка должна быть достаточно большой, чтобы показатели и продуктовые метрики на ней были репрезентативны; показатели и метрики надо замерять и на подвыборках и на самой выборке. На картинке также упоминается серебряный стандарт, который создается путем аугментации данных (или искусственной генерации данных из золотого стандарта). Больше об ИИ в канале @aira_mo

По оптимстичным оценкам более 85% AI-проектов никогда не окупаются. Виной тому — пограничные случаи. Есть множество примеров широко косяков AI-моделей, вызванных крайними случаями, на которых модель не обучали: 💸 Zillow (real estate маркетплейс) резко переплатил за дома, что привело к закрытию их подразделения Zillow Offers. 🌕 Автопилот Tesla принял луну за желтый сигнал светофора и притормаживал, что, конечно, создавало угрозу на дороге и безопасности водителя. 💊 IBM Watson for Oncology рекомендовала пациенту с сильным кровотечением принимать лекарство, которое действительно ускоряло бы кровотечение. Но даже если серьезных рисков не существует, ненадежная система, которая ломается при возникновении крайнего случая, поставит под угрозу коммерческую жизнеспособность продукта. Структура юзкейса модели с меньшим количеством граничных случаев обходится значительно дешевле. По данным Andressen-Horrowitz, есть огромная разница в COGSмежду стартапами💰: 📌 которые обучают уникальную модель для каждого клиента 📌 которые могут использовать единую модель (или набор моделей) среди всех клиентов. Стратегия «единой модели» проще в обслуживании, быстрее развертывается для новых клиентов и поддерживает более простую и эффективную инженерную организацию. Завтра поговорим про сбор данных и уже скоро доберемся до фреймворка по AI-прототипированию. Больше об ИИ в канале @aira_mo

Кстати, собираем подборку каналов про данные и AI, присылайте, пожалуйста, свои каналы, добавим в список. Добавляйте себе папку с ИИ 🔼👇 https://t.me/addlist/2PE66_gY2lc0ZDU6