🚀 Андрей Артищев

Ключевые моменты в обзорной статье о галлюцинациях в мультимодальных больших языковых моделях (Multimodal Large Language Models, MLLM):

1. Галлюцинации в MLLM относятся к генерации моделью текстовых ответов, которые не соответствуют предоставленному визуальному контенту. Это серьёзная проблема, препятствующая практическому развёртыванию MLLM.
2. Галлюцинации можно эмпирически разделить на три типа: галлюцинации категорий, галлюцинации атрибутов и галлюцинации отношений.
3. Причины галлюцинаций многогранны и охватывают данные, архитектуру модели, процесс обучения и этап вывода. Ключевые причины включают недостаточные и низкокачественные данные, слабые модели компьютерного зрения, предшествующие знания языковой модели, плохое кросс-модальное согласование и проблемы вывода.
4. Были предложены различные эталонные тесты (benchmarks) и метрики для оценки галлюцинаций, такие как CHAIR, POPE, GAVIE, AMBER и др. Они охватывают как дискриминативные, так и генеративные задачи.
5. Методы уменьшения галлюцинаций направлены на решение проблем с данными, моделью, обучением и выводом. Ключевые подходы включают аугментацию и калибровку данных, увеличение масштаба визуальных энкодеров, разработку специализированных модулей, вспомогательный надзор (auxiliary supervision), обучение с подкреплением и методы вывода, такие как контрастное декодирование.
6. Проблемы и будущие направления включают качество и разнообразие данных, улучшение кросс-модального согласования, совершенствование архитектур моделей, создание стандартизированных тестовых заданий (benchmarks), переосмысление галлюцинаций как особенности, повышение интерпретируемости и учёт этических соображений.
7. Обзор предоставляет исчерпывающую таксономию и обзор причин галлюцинаций, эталонов оценки и методов уменьшения, чтобы углубить понимание и вдохновить дальнейшие исследования в этой области.

Доп саммари

История выходного дня: В современном обществе монеты, как и купюры, уже редко используются. Первым шагом к массовому использованию банковских стало изобретение банкомата. Он был изобретен в Великобритании в 1966 году, но само авторство изобретения до 2006 года оспаривали Джон Шепард-Баррон и Джеймс Гудфеллоу. Патент на изобретение персонального индивидуального идентификационного кода (ПИН-кода) принадлежит именно последнему. В 2006 году Великобритания окончательно идентифицировала именно Гудфеллоу как изобретателя банкомата. Первоначально он хотел сделать код десятизначным, но его жена смогла запомнить только 4 цифры, и этим количеством он в итоге и ограничился. Процесс идентификации в устройстве Гудфеллоу был двухфакторным — клиент должен был вставить в слот специальную пластиковую карту с перфорированными отверстиями (их размещение было уникальным для каждого клиента), плюс ввести свой ПИН-код. В устройстве Шепарда-Баррона использовался слаборадиоактивный след от углерода-14. Поскольку Гудфеллоу работал в компании Kelvin Hughes, заработать на своём изобретении он не смог, все права на него принадлежат ей. Он зарегистрировал свой патент в 15 странах, и получил за это от компании $15 - по $1 за каждую страну регистрации.

Джеймс Гудфеллоу со своим изобретением

Вчера мой маленький сын заявил: "Я хочу завоевать весь этот мир!" 🌍 Я, конечно, сразу заинтересовался и спросил: "А зачем тебе это?" Он уверенно ответил: "Чтобы он был мой." А я, задумавшись на секунду, сказал ему: "Этот мир уже и так твой, его не нужно завоевывать." Он тут же нахмурил лоб и с непониманием в голосе спросил: "Как это?" "Вот так," ответил я. Объяснил ему, что владеть миром не значит контролировать его или подчинять себе. Вместо того чтобы стремиться завоевать его физически, нужно понять, что мир уже принадлежит ему в метафорическом или духовном смысле и всё что в этом мире есть оно твоё - просто возьми что хочешь, всё в открытом доступе. Это мировоззрение отражает философию принятия и внутреннего спокойствия, где человеку не нужно обладать материальным контролем над миром, чтобы он был "его".

Агентству Reuters стало известно, что следователи в США подозревают компанию Tesla в манипуляциях с ценными бумагами или подлоге данных с использованием электронных средств с целью ввести в заблуждение инвесторов и потребителей относительно реальных возможностей системы активной помощи водителю FSD.

Основатели Anthopic о будущем AGI https://www.youtube.com/watch?v=SAu2jgAF1i8

Свежее интервью Сэма Альтмана, главе акселлератора Alchemist https://youtu.be/GLKoDkbS1Cg?si=UPM_OV5tUQxSohk9

Новый подход к улучшению языковых моделей: Representation Finetuning (ReFT) Здравствуйте! Сегодня хочу поделиться интересной новостью из мира искусственного интеллекта. Исследователи из Стэнфордского университета разработали новый метод под названием Representation Finetuning (ReFT), который может кардинально изменить способы работы с языковыми моделями. Что такое Representation Finetuning? В отличие от традиционных методов, которые требуют значительных ресурсов и времени для "дообучения" моделей под конкретные задачи, ReFT работает намного эффективнее. Этот метод не требует глубокого переобучения модели. Вместо этого, он адаптирует скрытые (внутренние) представления данных в модели, чтобы точнее отвечать на задачи, с которыми она сталкивается. Основные преимущества: Одна из вариаций ReFT — метод Low-rank Linear Subspace ReFT (LoReFT), показал, что он может быть в десятки раз более эффективен по сравнению с предыдущими методами. Это означает, что мы можем достигать лучших результатов, используя значительно меньше ресурсов — таким образом, делая искусственный интеллект доступнее и экономичнее. Как это работает на практике? LoReFT уже успешно применялся в различных задачах, включая решение логических задач и анализ текстов. Благодаря этому подходу, модели лучше справляются с пониманием запросов и предоставлением более точных ответов. Что это значит для нас? С появлением таких технологий, как ReFT, мы можем ожидать, что искусственный интеллект станет не только умнее, но и более доступным для широкого круга задач, от автоматизации процессов до создания новых образовательных инструментов. https://youtu.be/Bjf3xMXnjNE?si=fZBL-ginyLZK7QO3

Последний проект Александрова https://www.youtube.com/watch?v=TGMerRvzfyo