คะแนน 3, 2, 1, −1 มาจากไหน
ในบทที่ 1 โมเดลให้คะแนน (คะแนนดิบ (logit)คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็นดูคำศัพท์ทั้งหมด) กับทุก token ส่วนในบทที่ 2 คำในประโยค "ฟังกัน" ผ่าน กลไกความสนใจ (attention)วิธีที่แต่ละคำเลือกว่าจะ "ฟัง" คำอื่นในประโยคมากน้อยแค่ไหน โดยใช้ softmax แบ่งน้ำหนักให้รวมได้ 100%ดูคำศัพท์ทั้งหมด ทั้งสองอย่างเกิดในเครื่องจักรเดียวกัน ชื่อ ทรานส์ฟอร์มเมอร์ (Transformer)สถาปัตยกรรมหลักของ LLM ส่วนใหญ่ในปัจจุบัน เปลี่ยน token เป็นเวกเตอร์ แล้วส่งผ่านชั้นของ attention และ MLP ซ้อนกันหลายชั้นจนได้ logit ของทุกคำดูคำศัพท์ทั้งหมด
มันทำงานเหมือนสายพาน ทุก token ผ่านสถานีชุดเดียวกันทีละชั้น
บทนี้เราจะเดินตามสายพานทีละสถานี:
- token → เวกเตอร์ — เปิดตาราง embedding
- ตำแหน่ง — บอกว่าคำไหนมาก่อนมาหลัง
- attention — ให้คำคุยกัน (ห้ามแอบดูคำถัดไป และถามได้หลายคำถามพร้อมกัน)
- ทางหลัก (residual stream) — บวกเพิ่ม ไม่เขียนทับ
- เครือข่ายป้อนไปข้างหน้า (MLP) — ให้แต่ละคำคิดต่อเอง
- ซ้อนหลาย ชั้น (layer, Transformer block)หนึ่งรอบการประมวลผลที่มีทั้ง attention และ MLP โมเดลจริงซ้อนกันหลายสิบชั้น โดยแต่ละชั้นแก้เวกเตอร์ของทุก token ทีละนิดดูคำศัพท์ทั้งหมด — คำเดาค่อยๆ ชัดขึ้น
- ตารางแปลงกลับเป็นคำ (unembedding) — ได้ logit ของทุกคำ
ตัวเลขทุกตัวในตารางเหล่านี้ โมเดลเรียนรู้มาเอง เรียกว่า พารามิเตอร์ (parameter, weight)ตัวเลขในตารางต่างๆ ของโมเดลที่ถูกปรับระหว่างการฝึก ขนาดอย่าง "8B" หมายถึงมีพารามิเตอร์ราว 8 พันล้านตัวดูคำศัพท์ทั้งหมด "8B" คือมีราว 8 พันล้านตัว หน้า 10 คุณจะได้นับเองว่ามาจากไหน
Transformer คือสายพาน: token → เวกเตอร์ → ผ่าน attention + MLP ซ้ำหลายชั้น → ได้ logit ของทุกคำในคลังคำ
มังคุด
32 ชั้นนี่เหมือนตึก 32 ชั้นเลยมั้ย ข้อมูลต้องขึ้นลิฟต์ทีละชั้นเหรอ?