Nvidia เพิ่มบริการใหม่ เปิดให้นักพัฒนาสามารถควบคุมและตรวจสอบการทำงานของหุ่นยนต์ฮิวแมนนอยด์ผ่านแว่นตา Vision Pro ของ Apple ได้
การพัฒนาหุ่นยนต์ฮิวแมนนอยด์นั้นมีความท้าทายหลายอย่าง หนึ่งในนั้นคือ การควบคุมอย่างไรให้เป็นธรรมชาติ ทาง Nvidia เองก็ได้พัฒนาเครื่องมือหลายๆชิ้นเพื่อจำลองการทำงานและควบคุมของหุ่นยนต์ จัดให้แก่ผู้ผลิตหุ่นยนต์ชั้นนำและนักพัฒนาซอฟต์แวร์นั้น สำหรับช่วยฝึกหุ่นยนต์รุ่นใหม่ที่มีรูปร่างเหมือนมนุษย์
ชุดเครื่องมือประกอบด้วยไมโครเซอร์วิสและเฟรมเวิร์ก NIM สำหรับการจำลองและการเรียนรู้ นอกจากนี้ยังมีบริการออร์เคสเทรชัน Nvidia OSMO สำหรับการจัดการกับภาระงานหุ่นยนต์หลายขั้นตอน รวมถึงเวิร์กโฟลว์การทำงานจากระยะไกลที่เปิดใช้งานด้วย AI และการจำลอง นอกจากนั้นยังมี ชุดหูฟังและอุปกรณ์คำนวณเชิงพื้นที่ เช่น Apple Vision Pro ที่ไม่เพียงแค่ดูข้อมูล แต่ยังควบคุมฮาร์ดแวร์ได้อีกด้วย
จากวิดีโอและรูปภาพที่เผยแพร่ออกมา แสดงให้เห็นว่าทำได้มากกว่าการขยับกล้องตามการเคลื่อนไหวของชุดหูฟังแต่เคลื่อนไหวของมือและท่าทางต่างๆ ตามผู้ใส่โดยอิงจากเซ็นเซอร์ของ Apple Vision Pro นั่นทำให้หุ่นยนต์สามารถเลียนแบบท่าทางต่างๆได้เป๊ะ
ตัวอย่างของการทำงานระยะไกล Siggraph ได้ใช้ช่วยให้นักพัฒนาสามารถสร้างข้อมูลการเคลื่อนไหวและการรับรู้จำนวนมากได้ โดยจับข้อมูลจากระยะไกล
สำหรับการสาธิตเหล่านี้ จะใช้ Apple Vision Pro เพื่อจับภาพการเคลื่อนไหวของมือของบุคคล จากนั้นจึงใช้อุปกรณ์เหล่านี้เพื่อจำลองการบันทึกโดยใช้ไมโครเซอร์วิส MimicGen NIM และ Nvidia Isaac Sim ซึ่งจะสร้างชุดข้อมูลสังเคราะห์
จากนั้นนักพัฒนาก็สามารถฝึกโมเดลมนุษย์ของ Project Groot ได้ด้วยการผสมผสานข้อมูลจริงและข้อมูลสังเคราะห์ กระบวนการนี้เชื่อว่าจะช่วยลดต้นทุนและเวลาที่ใช้ในการสร้างข้อมูลตั้งแต่แรก
ไมโครเซอร์วิส รวมถึงการเข้าถึงโมเดล บริการหุ่นยนต์ที่ OSMO จัดการ และกรอบงานอื่น ๆ ทั้งหมดได้รับการเสนอภายใต้โครงการ Nvidia Humanoid Robot Developer Program บริษัทให้สิทธิ์การเข้าถึงเฉพาะกับผู้ผลิตซอฟต์แวร์ ฮาร์ดแวร์ หรือหุ่นยนต์ที่มีรูปร่างคล้ายมนุษย์เท่านั้น
ที่มา https://www.youtube.com/watch?v=Bhg3uOx9ZPw
