Microsoft AI schlägt MM-REACT vor: Ein System für fortgeschrittenes multimodales Denken und Handeln

Large Language Models (LLMs) treiben bemerkenswerte wirtschaftliche und soziale Veränderungen voran, da sie sich weiterhin schnell weiterentwickeln. Unter vielen Werkzeuge der künstlichen Intelligenz (KI). im Internet veröffentlicht, ChatGPT ist in den letzten Monaten immer beliebter geworden. ChatGPT ist ein Modell zur Verarbeitung natürlicher Sprache, das bedeutungsvollen Text ähnlich dem von Menschen generiert. Es basiert auf der GPT-Transformer-Architektur und wird vom neuesten Sprachmodell GPT-4 angetrieben, das von entwickelt wurde OpenAI.

Auch die Computervision hat sich mit der neuesten künstlichen Intelligenz exponentiell weiterentwickelt und Maschinelles lernen Entwicklungen dank verbesserter Netzwerkarchitektur und groß angelegtem Modelltraining. Vor kurzem haben Forscher MM-REACT eingeführt, ein Systemparadigma, das mehrere Bildexperten mit ChatGPT für fortgeschrittenes multimodales Denken und Handeln kombiniert. Durch die flexiblere Integration einzelner Bildmodelle in das Sprachmodell kann MM-REACT komplizierte Herausforderungen beim visuellen Verständnis bewältigen.

MM-REACT wurde entwickelt, um eine breite Palette komplexer visueller Aufgaben zu bewältigen, die bestehende Seh- und Vision-Sprachmodelle kämpfen. Um dies zu erreichen, verwendet MM-REACT ein Prompt-Design, um verschiedene Arten von Informationen darzustellen, wie Textbeschreibungen, textualisierte räumliche Koordinaten und dichte visuelle Signale wie Bilder und Videos, die als ausgerichtete Dateinamen dargestellt werden. Dieses Design ermöglicht es ChatGPT, verschiedene Arten von Informationen in Kombination mit visuellen Eingaben, was zu einem genaueren und umfassenderen Verständnis führt.

MM-REACT kombiniert die Fähigkeiten von ChatGPT mit einem Pool von Vision-Experten, um multimodale Funktionalitäten hinzuzufügen. Der Dateipfad wird als Platzhalter verwendet und in ChatGPT eingegeben, damit das System Bilder als Eingabe akzeptieren.

Wenn das System bestimmte Informationen aus dem Bild benötigt, wie etwa die Identifizierung eines Prominentennamens oder von Boxkoordinaten, wendet sich ChatGPT an einen bestimmten Bildverarbeitungsexperten. Die Ausgabe des Experten wird dann als Text serialisiert und mit der Eingabe kombiniert, um ChatGPT weiter zu aktivieren. Wenn keine externen Experten erforderlich sind, wird die Antwort direkt an den Benutzer zurückgegeben.

Damit ChatGPT die Verwendung der Vision-Experten verstehen kann, wurden den ChatGPT-Eingabeaufforderungen Anweisungen zu den Fähigkeiten, dem Eingabeargumenttyp und dem Ausgabetyp jedes Experten sowie einige kontextbezogene Beispiele für jeden Experten hinzugefügt. Darüber hinaus wird ein spezielles Schlagwort für die Verwendung von Regex-Ausdrücken zum Abgleichen von den Sachverständigen entsprechend hinzuziehen.

Zero-Shot-Experimente haben gezeigt, wie MM-REACT seine speziellen Fähigkeiten effektiv anspricht. Es hat sich als effizient bei der Lösung einer Vielzahl anspruchsvoller visueller Aufgaben erwiesen, die ein komplexes visuelles Verständnis erfordern. So kann MM-REACT beispielsweise Lösungen für lineare Gleichungen liefern, die auf einem Bild angezeigt werden, und Konzepte verstehen, indem es unter anderem Produkte im Bild und ihre Inhaltsstoffe benennt. Zusammenfassend lässt sich sagen, dass dieses Systemparadigma in hohem Maße Sprach- und Sehkompetenz kombiniert und in der Lage ist, eine fortgeschrittene visuelle Intelligenz zu erreichen.