บทที่ 2 · ทำไมภาษาไทยกินโทเคน หน้า 4/4 ~2 นาที

สรุปบทที่ 2 + แบบทดสอบ

AI อ่านเป็นชิ้นเล็กๆ ที่เรียกว่าโทเคน ภาษาไทยถูกหั่นละเอียดกว่า เลยกินที่และค่าใช้จ่ายมากกว่า

สิ่งที่คุณได้เห็นในบทนี้

  • AI หั่นข้อความเป็น โทเคน (token)ชิ้นข้อความเล็กๆ ที่ AI อ่านและเขียนทีละชิ้น อาจเป็นทั้งคำ ครึ่งคำ หรือตัวอักษรเดียวดูคำศัพท์ทั้งหมด ก่อนอ่านเสมอ
  • ข้อความไทยยาวๆ มักได้จำนวนชิ้นมากกว่าภาษาอังกฤษที่ความหมายเท่ากัน
  • ความจำระยะสั้น (context window)จำนวนโทเคนที่ AI อ่านได้ในการคุยหนึ่งครั้ง ถ้าเกิน ข้อความเก่าจะถูกตัดหรือลืมดูคำศัพท์ทั้งหมด ของ AI รับได้จำกัด ไทยจึงเต็มเร็วกว่า
  • เขียนสั้น ชัด และแปะเฉพาะส่วนที่เกี่ยว ช่วยได้ทั้งเรื่องที่และเรื่องเงิน

ทายก่อน แล้วแตะดู

จะย่อสรุปประชุมไทยสองหน้า ทำแบบไหนดีกว่า?

ตอบถูก 2 ใน 3 ข้อก็ผ่าน

แบบทดสอบ 3 ข้อ

ผ่านเมื่อได้ 66% ขึ้นไป · ทำซ้ำได้

ข้อ 1เลือกตอบ"โทเคน" คืออะไร?
ดูเฉลยข้อนี้

คำตอบ: ชิ้นข้อความเล็กๆ ที่ AI อ่าน

AI หั่นข้อความเป็นชิ้นเล็กๆ ก่อนอ่าน แต่ละชิ้นเรียกว่าโทเคน
ข้อ 2เลือกตอบข้อความยาวเท่ากัน ภาษาไทยมักใช้โทเคนแบบไหนเมื่อเทียบกับอังกฤษ?
ดูเฉลยข้อนี้

คำตอบ: มากกว่า

ภาษาไทยถูกหั่นละเอียดกว่า ข้อความไทยยาวๆ จึงมักใช้โทเคนมากกว่า
ข้อ 3เลือกตอบวิธีไหนช่วยประหยัดโทเคน?
ดูเฉลยข้อนี้

คำตอบ: แปะเฉพาะส่วนที่เกี่ยวข้อง และสั่งให้ชัด

ยิ่งข้อความสั้นและตรงประเด็น ยิ่งเหลือที่ในความจำของ AI และจ่ายน้อยลง
มังคุด มาสคอตมังคุด

มังคุด

แล้วถ้าอยากรู้ว่าตัวหั่นทำงานละเอียดกว่านี้ ไปดูต่อที่ไหนได้ครับ?