Chain-of-thought: กระดาษทดของ AI
ร้านกาแฟสั่งแก้ว 17 กล่อง กล่องละ 24 ใบ รวมกี่ใบ? คิดในหัวยาก บนกระดาษง่าย: 17 × 20 = 340, 17 × 4 = 68, 340 + 68 = 408
นี่เป็นแค่ภาพเปรียบเทียบ โมเดลจริงตอบโจทย์สั้นแบบนี้ตรงๆ ได้ ผลจะชัดในโจทย์หลายเงื่อนไข เช่น จัดเวร 12 คน
แรงคิดต่อ token คงที่
ทุก โทเคน (token)ชิ้นข้อความที่ AI มองเห็นจริงๆ อาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แต่ละชิ้นมีเลขประจำตัวดูคำศัพท์ทั้งหมด ผ่านชั้น (layer, Transformer block)หนึ่งรอบการประมวลผลที่มีทั้ง attention และ MLP โมเดลจริงซ้อนกันหลายสิบชั้น โดยแต่ละชั้นแก้เวกเตอร์ของทุก token ทีละนิดดูคำศัพท์ทั้งหมด ชุดเดิมรอบเดียว (บทที่ 3) งานต่อ token ราว 2 × จำนวนพารามิเตอร์ (parameter, weight)ตัวเลขในตารางต่างๆ ของโมเดลที่ถูกปรับระหว่างการฝึก ขนาดอย่าง "8B" หมายถึงมีพารามิเตอร์ราว 8 พันล้านตัวดูคำศัพท์ทั้งหมด (บทที่ 6)
- โมเดลสมมติ 1 พันล้านพารามิเตอร์ คำนวณราว 2 พันล้านครั้ง (2B) ต่อ token
- ตอบตรงๆ 2 token = 4B
- คิดแล้วตอบ 60 token (นับคำตอบด้วย) = 120B มากกว่า 30 เท่า
Context คือกระดาษทด
ทุกขั้นที่เขียนออกมาถูกต่อท้าย context (บทที่ 1) แล้ว กลไกความสนใจ (attention)วิธีที่แต่ละคำเลือกว่าจะ "ฟัง" คำอื่นในประโยคมากน้อยแค่ไหน โดยใช้ softmax แบ่งน้ำหนักให้รวมได้ 100%ดูคำศัพท์ทั้งหมด (บทที่ 2) ทำให้ token ที่เขียน "408" มองย้อนไปที่ "340" กับ "68" ได้ ไม่ต้องคิดรวดเดียว
คำสั่ง "ลองคิดทีละขั้น" (การคิดทีละขั้น (chain-of-thought, CoT)การให้โมเดลเขียนขั้นตอนกลางออกมาก่อนคำตอบสุดท้าย ผลแต่ละขั้นอยู่ใน context ให้ token ถัดไปใช้ต่อได้ เหมือนกระดาษทดดูคำศัพท์ทั้งหมด) เคยช่วยโมเดลรุ่นก่อนได้ชัด (Wei et al. 2022; Kojima et al. 2022) แต่ผลขึ้นกับโมเดลและงาน
แต่ขั้นที่มันเขียนไม่ได้บอกตรงๆ เสมอว่าข้างในคิดยังไง
AI ใช้แรงคิดเท่ากันทุก token การเขียนขั้นกลางออกมาคือให้กระดาษทดและรอบคำนวณเพิ่ม ช่วยมากในโจทย์หลายขั้น
มังคุด
ถ้าเขียนขั้นตอนช่วยได้ ทำไมไม่ให้มันคิดเงียบๆ ในหัวไปเลยล่ะ?