🫠 ทำไมผู้ช่วยยังมั่ว และมั่นใจเกินจริง

"ห้องประชุมชั้น 7" ของน้องบีมมาจากไหน? อีเมลเชิญประชุมมักมีบรรทัดห้องประชุม โมเดลจึงเติมให้

อาการมั่วอาการมั่ว (hallucination)เมื่อ AI ตอบข้อมูลที่ไม่จริงอย่างมั่นใจ เพราะมันถูกฝึกให้เขียนสิ่งที่ฟังดูน่าจะใช่ ไม่ใช่สิ่งที่จริงดูคำศัพท์ทั้งหมด✕ ไม่หายหลัง post-training ด้วย 3 เหตุผล

1. ความรู้มาจาก pre-training เป็นหลัก — post-training สอน วิธีตอบ บางงานวิจัยพบว่าสอนความรู้ใหม่ช่วงนี้อาจยิ่งมั่ว

2. เกมการให้คะแนน — ถ้าตอบผิดกับตอบ "ไม่ทราบ" ได้ 0 เท่ากัน การเดาไม่เคยเสียเปรียบ ให้ w คือคะแนนที่หักเมื่อตอบผิด:

• w = 0: ชื่ออันดับหนึ่งของ "รางวัลสมมติปี 2031" (บทที่ 1) มี p = 31.0% คะแนนคาดหวัง 0.31 > 0 เดาจึงคุ้ม ทั้งที่รางวัลนี้ไม่มีจริง
• w = 1: $0.31-0.69=-0.38$ ติดลบ ควรตอบว่าไม่ทราบ

กฎคือตอบเมื่อ $p>\frac{w}{1+w}$ ถ้า w = 1 ต้องมั่นใจเกิน 50.0%

3. ความมั่นใจคลาดได้ — กฎนี้ใช้ได้เมื่อ p ตรงกับโอกาสถูกจริง เรียกว่ามี ความมั่นใจที่ตรงกับความจริง (calibration)ความมั่นใจที่ตรงกับความจริง (calibration)ความมั่นใจที่ตรงกับอัตราการตอบถูกจริง เช่น ในคำถามที่โมเดลให้ความน่าจะเป็น 90% มันควรตอบถูกราว 90% ถ้าถูกน้อยกว่านั้นแปลว่ามั่นใจเกินจริงดูคำศัพท์ทั้งหมด✕ ดี ถ้าตอบ 20 ข้อด้วยความน่าจะเป็น 90.0% แต่ถูกแค่ 14 ข้อ (70.0%) แปลว่ามั่นใจเกินจริง

รายงาน GPT-4 (OpenAI, 2023) พบว่า post-training ทำให้ calibration แย่ลงบนข้อสอบชุดหนึ่ง

post-training สอน "วิธีตอบ" ไม่ใช่ความรู้ใหม่ ถ้าตอบผิดไม่โดนหักคะแนน การเดาไม่เคยแย่กว่าการบอกว่าไม่ทราบ

มังคุด

งั้นถ้าหนูเขียนใน prompt ว่า "ตอบว่าไม่รู้ได้นะ" จะช่วยมั้ย?