หลังจากที่ Luma AI เปิดตัว Luma Dream เครื่องมือ AI เปลี่ยนข้อความเป็นวิดีโอสั้น หลายคนก็รอว่าเมื่อไหร่จะได้ใช้งาน มาวันนี้ไปเปิดให้คนทั่วโลกได้ทดสอบอย่างเป็นทางการแล้ว
Luma Dream นั้นสามารถสร้างวิดีโอความยาว 5 วินาทีจากข้อความด้วยการใช้ prompts สร้างได้หลายแนว ไม่ว่าจะเป็นภาพยนตร์, แอนิเมชันหรือภาพแบบสมจริง ซึ่งเขาบอกว่า AI นี้ถูกฝึกสอนด้วยวิดีโอ ทำให้สร้างภาพเคลื่อนไหวออกมาได้อย่างแม่นยำ สม่ำเสมอ แถมยังใช้งานได้ฟรีด้วย (แต่จะมีการจำกัดโควต้าการใช้งานในแต่ละวัน)
ในหน้าเว็บบอกว่า Dream Machine AI model สร้างขึ้นจากโมเดล Transformer และได้รับการฝึกโดยตรงในวิดีโอ โดยปกติแล้ว โมเดลภาษาขนาดใหญ่ (LLM) จะได้รับการฝึกเกี่ยวกับข้อความและรูปภาพ จากนั้นจึงย้ายไปฝึกต่อด้วยวิดีโอ เนื่องจากพวกเขาต้องการความเข้าใจเชิงพื้นที่และการเคลื่อนไหวที่ลึกซึ้งยิ่งขึ้น
Dream Machine ทำงานร่วมกับแพลตฟอร์มสร้างวิดีโออย่าง Runway AI และ Pika 1.0 ซึ่งเปิดให้ใช้งานแล้ว สามารถสร้างวิดีโอความยาว 3-5 วินาที ซึ่งมันจะใช้เวลา 120 วินาทีในการสร้างคลิปวิดีโอขึ้นมา ซึ่งคลิปนั้นจะมี 120 เฟรมที่ต่างกัน ซึ่งผู้พัฒนาเคลมว่า Dream Machine นั้นเข้าใจความแตกต่างของคน สัตว์ สิ่งของ และการปฏิสัมพันธ์ต่างๆ เพื่อสร้างตัวละครที่แม่นยำและสม่ำเสมอ
แต่ Luma AI ก็ยังมีข้อจำกัดหลายเรื่อง เช่น การเคลื่อนไหว ข้อความ ปรับเปลี่ยนรูปร่าง ที่แทนที่จะแสดงเอาต์พุต 3 มิติที่สอดคล้องกัน โมเดล AI จะแสดงมุมมอง Canonical หลายมุมของวัตถุในทิศทางที่ต่างกัน
Luma AI ไม่ได้เปิดเผยรายละเอียดทางเทคนิคใดๆ เกี่ยวกับโมเดล AI ดังนั้นจึงไม่ทราบข้อมูลเกี่ยวกับขนาดพารามิเตอร์ เกณฑ์มาตรฐาน สถาปัตยกรรม และวิธีการฝึกอบรม นอกจากนี้ บริษัทยังไม่ได้เปิดเผยรายละเอียดใดๆ เกี่ยวกับการจัดหาข้อมูลการฝึกอบรม
ใครอยากลองใช้งานก็สามารถเข้าไปที่เว็บได้เลย แต่เราต้องสมัครบัญชีก่อนถึงจะสร้างวิดีโอได้
ที่มา https://www.gadgets360.com/ai/news/luma-ai-dream-machine-text-to-video-generation-platform-launched-free-access-5888149
