📌 สรุปสูตรบทที่ 4

ถ้าจำได้แค่ประโยคเดียวจากบทนี้ ขอให้เป็นประโยคนี้:

โมเดลเรียนด้วยการเดาคำถัดไปในข้อความจริง → วัดความผิดด้วย loss = −ln p → หาความชันแล้วส่งย้อนทุกชั้นด้วย backprop → ขยับพารามิเตอร์ทีละก้าวเล็กๆ วนซ้ำนับหมื่นถึงนับล้านก้าว

สิ่งที่ทำ	สูตร	จำง่ายๆ
วัดความผิด	$\text{loss}=-\ln p(\text{เฉลย})$	มั่นใจผิด = โดนหนัก
ลังเลกี่ทาง	$\text{perplexity}=e^{\text{loss เฉลี่ย}}$	ยิ่งต่ำยิ่งดี
ทิศของคะแนน	ความชันของ loss ต่อคะแนน = $p-y$	ที่ทาย ลบ ที่ถูก
ก้าวฝึก	พารามิเตอร์ ← พารามิเตอร์ − η × ความชันของ loss ต่อพารามิเตอร์นั้น (ได้จาก backprop)	η พอดีๆ
ค่าคำนวณ	$C\approx 6ND$	20 token/พารามิเตอร์ (คร่าวๆ, เมื่ออยากให้งบฝึกคุ้ม)

ตัวเลขที่คุณคำนวณมาตลอดบท

• loss ปลา/ข้าว/หนู/รถ = 0.4197 / 1.4197 / 2.4197 / 4.4197
• perplexity ของ ปลา = 1.5215
• η = 0.5 ถึงก้นชามใน 1 ก้าว, η = 1.1 ระเบิด
• ฝึก 1 ก้าว (เฉลย ปลา): 65.7% → 76.6%
• แบบฝึกหัด (เฉลย ข้าว): 24.2% → 54.3%

3 เรื่องที่ใช้ได้ทันที

• AI ไม่รู้เรื่องหลังวันตัดข้อมูลหรือเรื่องที่ไม่เคยเผยแพร่ → ใส่ข้อมูลเข้าไปใน context
• พิมพ์แก้ในแชตไม่ได้สอนโมเดลถาวร
• โมเดลใหญ่กว่าไม่ได้คุ้มกว่าเสมอ

หน้าถัดไปเป็นแบบทดสอบสั้นๆ 5 ข้อ ทำซ้ำได้ไม่จำกัด