⏱️ ทำไมคำตอบยาวถึงช้า และบิล AI คิดยังไง

ค่าฝึกโมเดล (บทที่ 4) จ่ายก้อนเดียวก่อนปล่อยโมเดล แต่ การใช้งานโมเดลตอบจริง (inference)การใช้งานโมเดลตอบจริง (inference)ช่วงที่นำโมเดลที่ฝึกเสร็จแล้วมาตอบคำขอ ทุก token ที่เขียนออกมาคือการรันโมเดลอีกหนึ่งรอบดูคำศัพท์ทั้งหมด✕ จ่ายทุกคำขอ นี่คือเหตุผลที่บทที่ 4 เล่าว่าหลายบริษัทฝึกโมเดลเล็กนานเกินกฎ 20 token ต่อพารามิเตอร์ เพื่อให้ค่ารันทุกวันถูกลง

ต่อภาพจากบทก่อนๆ:

• บทที่ 1: เขียนรอบละ tokenโทเคน (token)ชิ้นข้อความที่ AI มองเห็นจริงๆ อาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แต่ละชิ้นมีเลขประจำตัวดูคำศัพท์ทั้งหมด✕ คำตอบจึงไหลขึ้นจอ
• บทที่ 2: attention มองย้อนทั้งข้อความ ยิ่งยาวยิ่งงานเยอะ
• บทที่ 3: แต่ละรอบผ่านทุกชั้น ใช้ พารามิเตอร์ (parameter)พารามิเตอร์ (parameter, weight)ตัวเลขในตารางต่างๆ ของโมเดลที่ถูกปรับระหว่างการฝึก ขนาดอย่าง "8B" หมายถึงมีพารามิเตอร์ราว 8 พันล้านตัวดูคำศัพท์ทั้งหมด✕ หรือที่บทนี้เรียกว่า "น้ำหนัก" เกือบทั้งหมด (ยกเว้น MoE หน้า 8)

ทุกคำขอ ทุก token ทั้งที่อ่านและเขียน ต้องผ่านโมเดลครบทุกชั้น ความเร็วและค่าใช้จ่ายจึงขึ้นกับจำนวน token เป็นหลัก

บทนี้ตอบหัวหน้าน้องเฟิร์นใน 5 ช่วง:

1. prefill กับ decode — อ่านรวดเดียว แต่เขียนทีละคำ
2. KV cache — จดไว้ ไม่ต้องคิดใหม่
3. quantization และ batching — ย่อโมเดล และเสิร์ฟหลายคนพร้อมกัน
4. หน่วยความจำการ์ดประมวลผล (GPU) และ MoE — ทุกอย่างต้องลงการ์ดให้ได้ และใช้โมเดลแค่บางส่วน
5. ค่าใช้จ่ายและ prompt caching — ตอบคำถามเรื่องบิล