0 XP Curious

บทที่ 3 · ข้างใน Transformer หน้า 13/13 ~3 นาที

แบบทดสอบบทที่ 3

ผ่าน 4 ใน 5 ข้อรับ 20 XP ทำซ้ำได้ไม่จำกัด ใช้เครื่องคิดเลขได้

แบบทดสอบ 5 ข้อ

ผ่านเมื่อได้ 80% ขึ้นไป · ทำซ้ำได้

ข้อ 1ตอบเป็นตัวเลขใช้สูตร 12·d²·L ประมาณพารามิเตอร์ในชั้นทั้งหมด ถ้า d = 1,024 และมี 24 ชั้น ได้ราวกี่ล้านตัว? (ตอบเป็นหน่วยล้าน เช่น 150)
ดูเฉลยข้อนี้

คำตอบ: 302 ล้าน

1,024² = 1,048,576 → ×12 = 12,582,912 ต่อชั้น → ×24 = 301,989,888 ≈ 302 ล้าน (ถ้าเป็นคลังคำ 50,257 token และตารางตำแหน่ง 1,024 แถวแบบ GPT-2 บวกแล้วราว 354.5 ล้าน)
ข้อ 2ตอบเป็นตัวเลขแถวของ กิน ใน 'แมว กิน ปลา' ได้คะแนน (1, 2, 3) หลังใส่ causal mask แล้ว กิน ให้น้ำหนักกับตัวเองกี่ %?
ดูเฉลยข้อนี้

คำตอบ: 73.1%

ปลาอยู่ในอนาคต จึงเป็น −∞ เหลือ e¹ = 2.7183 กับ e² = 7.3891 → กิน = 7.3891 / (2.7183 + 7.3891) = 73.1%
ข้อ 3เลือกตอบทำไม Transformer ต้องมีข้อมูลตำแหน่ง (เช่น RoPE)?
ดูเฉลยข้อนี้

คำตอบ: เพราะ attention ล้วนๆ ไม่สนลำดับคำ จึงแยก 'แมวกินปลา' กับ 'ปลากินแมว' ไม่ได้

q·k ล้วนๆ ไม่สนลำดับ RoPE หมุน q และ k ตามตำแหน่ง คะแนนจึงขึ้นกับระยะห่างด้วย
ข้อ 4เลือกตอบlogit ของคำว่า ปลา ในขั้นสุดท้ายคำนวณจากอะไร?
ดูเฉลยข้อนี้

คำตอบ: dot product ระหว่าง h กับเวกเตอร์ของคำว่า ปลา

h = (2, 1) กับ ปลา (1, 1) ได้ 2×1 + 1×1 = 3 ตรงกับบทที่ 1
ข้อ 5ถูกหรือผิดMLP คือส่วนที่ทำให้ token ต่างตำแหน่งส่งข้อมูลหากันได้
ดูเฉลยข้อนี้

คำตอบ: ผิด

ผิด การส่งข้อมูลข้ามตำแหน่งเป็นงานของ attention ส่วน MLP ทำงานกับแต่ละ token แยกกัน
มังคุด มาสคอตมังคุด

มังคุด

ถ้ากดเครื่องคิดเลขได้ 301.989888 ต้องพิมพ์ทั้งหมดเลยมั้ย?

ทำแบบทดสอบด้านบนให้ผ่าน แล้วบทนี้จะนับว่าจบ

ดาวน์โหลดสรุปสูตร PDF 2 หน้า

สูตรสำคัญจากทุกบทของคอร์สในหน้าเดียว ไว้เปิดดูตอนใช้ AI ทำงานจริง ฟรี ไม่ต้องสมัคร

ดาวน์โหลด PDF

ไปบทที่ 4 ต่อเลย