Microsoft AI เสนอ MM-REACT: ระบบสำหรับการใช้เหตุผลและการดำเนินการแบบหลายโหมดขั้นสูง
Large Language Models (LLM) กำลังขับเคลื่อนการเปลี่ยนแปลงทางเศรษฐกิจและสังคมที่สำคัญในขณะที่ยังคงก้าวหน้าอย่างรวดเร็ว ในบรรดา เครื่องมือปัญญาประดิษฐ์ (AI) เผยแพร่บนอินเทอร์เน็ต ChatGPT ได้รับความนิยมเพิ่มขึ้นในช่วงไม่กี่เดือนที่ผ่านมา ChatGPT เป็นโมเดลการประมวลผลภาษาธรรมชาติที่สร้างข้อความที่มีความหมายคล้ายกับมนุษย์ โดยอิงตามสถาปัตยกรรมตัวแปลง GPT และขับเคลื่อนด้วยโมเดลภาษาล่าสุด GPT-4 ที่พัฒนาโดย OpenAI.
การมองเห็นด้วยคอมพิวเตอร์มีความก้าวหน้าอย่างก้าวกระโดดด้วยปัญญาประดิษฐ์ล่าสุดและ เครื่องเรียนรู้ การพัฒนาดังกล่าวได้รับการปรับปรุงสถาปัตยกรรมเครือข่ายและการฝึกอบรมโมเดลขนาดใหญ่ เมื่อไม่นานนี้ นักวิจัยได้ แนะนำ MM-REACTแบบจำลองระบบที่รวมผู้เชี่ยวชาญด้านการมองเห็นหลายคนเข้ากับ ChatGPT สำหรับการใช้เหตุผลและการดำเนินการแบบมัลติโมดัลขั้นสูง ด้วยการบูรณาการแบบจำลองการมองเห็นแต่ละรายการกับแบบจำลองภาษาในลักษณะที่ยืดหยุ่นยิ่งขึ้น MM-REACT จึงสามารถเอาชนะความท้าทายในการทำความเข้าใจภาพที่ซับซ้อนได้
MM-REACT ได้รับการออกแบบมาเพื่อรับมือกับงานภาพที่ซับซ้อนหลากหลายประเภทที่วิสัยทัศน์ที่มีอยู่และ โมเดลภาษาวิสัยทัศน์ ดิ้นรนกับสิ่งนี้ เพื่อให้บรรลุสิ่งนี้ MM-REACT ใช้การออกแบบที่รวดเร็วเพื่อแสดงข้อมูลประเภทต่างๆ เช่น คำอธิบายข้อความ พิกัดเชิงพื้นที่ที่เป็นข้อความ และสัญญาณภาพหนาแน่น เช่น รูปภาพและวิดีโอ ซึ่งแสดงเป็นชื่อไฟล์ที่จัดตำแหน่ง การออกแบบนี้ทำให้ ChatGPT สามารถยอมรับและประมวลผล ข้อมูลประเภทต่างๆ เมื่อรวมกับอินพุตภาพ จะทำให้เข้าใจได้ถูกต้องและครอบคลุมมากขึ้น
MM-REACT ผสมผสานความสามารถของ ChatGPT กับกลุ่มผู้เชี่ยวชาญด้านการมองเห็นเพื่อเพิ่มฟังก์ชันการทำงานแบบมัลติโหมด เส้นทางไฟล์จะใช้เป็นตัวแทนและป้อนลงใน ChatGPT เพื่อให้ระบบสามารถ ยอมรับภาพเป็นอินพุต.
เมื่อใดก็ตามที่ระบบต้องการข้อมูลเฉพาะจากภาพ เช่น การระบุชื่อคนดังหรือพิกัดกล่อง ChatGPT จะขอความช่วยเหลือจากผู้เชี่ยวชาญด้านการมองเห็นโดยเฉพาะ จากนั้นผลลัพธ์ของผู้เชี่ยวชาญจะถูกจัดลำดับเป็นข้อความและรวมกับอินพุตเพื่อเปิดใช้งาน ChatGPT เพิ่มเติม หากไม่ต้องการผู้เชี่ยวชาญภายนอก คำตอบจะถูกส่งกลับไปยังผู้ใช้โดยตรง
เพื่อให้ ChatGPT สามารถเข้าใจการใช้งานของผู้เชี่ยวชาญด้านการมองเห็นได้ จึงมีการเพิ่มคำแนะนำที่เกี่ยวข้องกับความสามารถของผู้เชี่ยวชาญแต่ละคน ประเภทอาร์กิวเมนต์อินพุต และประเภทเอาต์พุต พร้อมด้วยตัวอย่างในบริบทบางส่วนสำหรับผู้เชี่ยวชาญแต่ละคนลงในพรอมต์ของ ChatGPT นอกจากนี้ ยังมีการสั่งการให้มีคำสำคัญพิเศษสำหรับการใช้การจับคู่นิพจน์ regex ให้เรียกผู้เชี่ยวชาญตามนั้น
การทดลองแบบ Zero-shot แสดงให้เห็นว่า MM-REACT สามารถจัดการกับความสามารถเฉพาะตัวที่น่าสนใจได้อย่างมีประสิทธิภาพ โดยพิสูจน์แล้วว่ามีประสิทธิภาพในการแก้ปัญหาภาพขั้นสูงที่หลากหลายซึ่งต้องการความเข้าใจภาพที่ซับซ้อน ตัวอย่างเช่น MM-REACT สามารถให้คำตอบสำหรับสมการเชิงเส้นที่แสดงบนภาพและทำความเข้าใจแนวคิดได้โดยการตั้งชื่อผลิตภัณฑ์ในภาพและส่วนผสมของผลิตภัณฑ์ เป็นต้น สรุปได้ว่าแบบจำลองระบบนี้ผสมผสานความเชี่ยวชาญด้านภาษาและการมองเห็นเข้าด้วยกันได้เป็นอย่างดี และสามารถบรรลุปัญญาภาพขั้นสูงได้
ปฏิกิริยาของคุณคืออะไร?
