หลังจากที่ก่อนหน้านี้ BBC พบว่าฟีเจอร์สรุปข่าวใน Notification ของ Apple Intelligence นั้นยังสรุปเนื้อหาไม่ถูกต้อง จน Apple ต้องปิดการใช้งานฟีเจอรืนี้ไปก่อน หละงจากนั้นทาง BBC ก็เลยนำ Chatbot ของ 4 รายใหญ่มาทดสอบว่าจะสรุปข่าวได้แม่นแค่ไหน
ทาง BBC ได้นำ ChatGPT, Copilot, Gemini และ Perplexity AI มาทดสอบโดยใช้เนื้อหาข่าวจาก BBC เพื่อดูความแม่นยำในการสรุปเนื้อหา รวมถึงการตอบคำถามของ AI ที่เกี่ยวข้องกับข่าว ผลที่ได้ก็คือ คำตอบของ AI นั้นมี “ความไม่ถูกต้องอย่างมีนัยสำคัญ” และการบิดเบือน
ในการศึกษาของ BBC ได้ใช้ ChatGPT, Copilot, Gemini และ Perplexity สรุปข่าว 100 เรื่องและให้คะแนนคำตอบแต่ละข้อ โดยนักข่าวซึ่งเป็นผู้เชี่ยวชาญให้คะแนนคุณภาพของคำตอบจาก AI
ผลทดสอบพบว่า 51% ของคำตอบ AI ทั้งหมดมีปัญหาสำคัญบางรูปแบบ นอกจากนี้ 19% ของคำตอบที่อ้างถึงเนื้อหาของ BBC ได้นำเสนอข้อผิดพลาดเชิงข้อเท็จจริง เช่น คำกล่าวข้อเท็จจริง ตัวเลข และวันที่ไม่ถูกต้อง ตัวอย่างที่ค้นพบก็มี
- Gemini สรุปไม่ถูกต้องว่า NHS ไม่แนะนำให้ใช้บุหรี่ไฟฟ้าเป็นตัวช่วยในการเลิกบุหรี่
- ChatGPT และ Copilot กล่าวว่า Rishi Sunak และ Nicola Sturgeon ยังคงดำรงตำแหน่งอยู่แม้ว่าพวกเขาจะลาออกไปแล้ว
- Perquency อ้างคำพูดของ BBC News ผิดๆ ในบทความเกี่ยวกับตะวันออกกลาง
นอกจากจะมีข้อมูลที่ไม่ถูกต้องตามข้อเท็จจริงแล้ว แชทบอต “ยังพยายามแยกแยะระหว่างความคิดเห็นและข้อเท็จจริงของบรรณาธิการ และมักประสบความล้มเหลวในการรวมบริบทที่สำคัญ”
ทาง Deborah Turness ผู้บริหารของ BBC ฝ่าย News and Current Affairs บอกว่า AI นั้นสร้างโอกาสแบบไม่มีที่สิ้นสุดแต่บริษัทต่างๆ ที่พัฒนาเครื่องมือ AI เหมือนกำลัง “เล่นกับไฟ” อยู่ เนื่องจากพาดหัวข่าวที่โดน AI บิดเบือน จะสร้างอันตรายร้ายแรงต่อโลกแห่งความเป็นจริงได้
ทาง Turness กล่าวว่า BBC พยายามที่จะเปิดการพูดคุยกับผู้ให้บริการเทคโนโลยี AI เพื่อที่จะทำงานร่วมกันเป็นหุ้นส่วนเพื่อค้นหาวิธีแก้ปัญหา พร้อมเรียกร้องให้บริษัทเทคโนโลยี “ดึง” สรุปข่าว AI ออกไปก่อน แบบเดียวกับที่ Apple ทำหลังจากได้รับการร้องเรียนจาก BBC
ฝั่งของ Pete Archer ผู้อำนวยการโครงการ Generative AI ของ BBC กล่าวว่าสำนักข่าว “ควรมีอำนาจควบคุมว่าเนื้อหาของตนจะถูกใช้หรือไม่และอย่างไร และบริษัท AI ควรแสดงวิธีที่ผู้ช่วยประมวลผลข่าวพร้อมกับขนาดและขอบเขตของข้อผิดพลาดและความไม่ถูกต้องที่เกิดขึ้น”.
