Microsoft AI предлагает MM-REACT: систему для расширенного мультимодального мышления и действий

Большие языковые модели (LLM) являются движущей силой заметных экономических и социальных преобразований, поскольку они продолжают быстро развиваться. Среди многих инструменты искусственного интеллекта (ИИ) опубликовано в интернете, ChatGPT становится все более популярным в последние месяцы. ChatGPT — это модель обработки естественного языка, которая генерирует осмысленный текст, похожий на человеческий. Основанный на архитектуре GPT transformer, он работает на новейшей языковой модели GPT-4, разработанной OpenAI.

Компьютерное зрение также значительно продвинулось вперед благодаря новейшим технологиям искусственного интеллекта и Машинное обучение разработки, благодаря улучшенной сетевой архитектуре и масштабному обучению модели. Недавно исследователи представил MM-REACT, системная парадигма, которая объединяет нескольких экспертов по зрению с ChatGPT для продвинутого мультимодального рассуждения и действия. Интегрируя индивидуальные модели зрения с языковой моделью более гибким способом, MM-REACT может преодолеть сложные проблемы визуального понимания.

MM-REACT предназначен для решения широкого спектра сложных визуальных задач, с которыми сталкиваются существующие системы зрения и модели языка видения борьба с. Чтобы достичь этого, MM-REACT использует конструкцию подсказки для представления различных типов информации, таких как текстовые описания, текстуализированные пространственные координаты и плотные визуальные сигналы, такие как изображения и видео, представленные в виде выровненных имен файлов. Такая конструкция позволяет ChatGPT принимать и обрабатывать разные типы информации в сочетании с визуальным восприятием, что приводит к более точному и всестороннему пониманию.

MM-REACT объединяет возможности ChatGPT с пулом экспертов по зрению для добавления мультимодальных функций. Путь к файлу используется как заполнитель и вводится в ChatGPT, чтобы позволить системе принимать изображения в качестве входных данных.

Всякий раз, когда системе требуется конкретная информация из изображения, например, идентификация имени знаменитости или координаты ящика, ChatGPT обращается за помощью к определенному эксперту по зрению. Затем вывод эксперта сериализуется в текст и объединяется с вводом для дальнейшей активации ChatGPT. Если внешние эксперты не требуются, ответ напрямую возвращается пользователю.

Чтобы ChatGPT мог понять использование экспертов по зрению, в подсказки ChatGPT были добавлены инструкции, связанные с возможностями каждого эксперта, типом входного аргумента и типом выходных данных, а также несколько примеров в контексте для каждого эксперта. Кроме того, для использования сопоставления выражений regex с соответственно вызвать эксперта.

Эксперименты с нулевым выстрелом продемонстрировали, как MM-REACT эффективно реализует свои особые возможности, представляющие интерес. Он доказал свою эффективность в решении широкого спектра сложных визуальных задач, требующих сложного визуального понимания. Например, MM-REACT может предоставлять решения линейных уравнений, отображаемых на изображении, и выполнять концептуальное понимание, называя продукты на изображении и их ингредиенты, среди прочего. В заключение, эта системная парадигма в значительной степени объединяет языковую и зрительную экспертизу и способна достичь продвинутого визуального интеллекта.