ทำไมภาษาไทยกินที่มากกว่า
มีเหตุผลหลัก 3 ข้อ
- AI เห็นภาษาอังกฤษมากกว่ามาก ข้อความที่ใช้ฝึกส่วนใหญ่เป็นภาษาอังกฤษ คำอังกฤษจึงถูก "จำเป็นก้อน" ส่วนคำไทยเจอน้อยกว่า เลยถูกแบ่งย่อย
- ภาษาไทยไม่เว้นวรรคระหว่างคำ ตัวหั่นเดาขอบคำได้ยากกว่า จึงมักตัดเป็นชิ้นสั้นๆ
- สระและวรรณยุกต์ซ้อนกัน ตัวอักษรหนึ่งพยางค์อาจมีหลายตัวซ้อนบนล่าง แต่ละตัวอาจกินที่แยกกัน
ลองทายดูว่าข้อไหนไม่ใช่เหตุผล
ทีนี้นึกภาพ ความจำระยะสั้น (context window)จำนวนโทเคนที่ AI อ่านได้ในการคุยหนึ่งครั้ง ถ้าเกิน ข้อความเก่าจะถูกตัดหรือลืมดูคำศัพท์ทั้งหมด เป็นกระเป๋าเดินทางใบหนึ่ง ใส่ของได้จำนวนชิ้นจำกัด
เรื่องเดียวกัน อังกฤษพับเป็นก้อนใหญ่ไม่กี่ก้อน ไทยเป็นชิ้นเล็กจำนวนมาก กระเป๋าจึงเต็มเร็วกว่า
ภาษาไทยถูกหั่นละเอียดกว่า เพราะ AI เห็นไทยน้อยกว่า ไทยไม่เว้นวรรค และมีสระวรรณยุกต์ซ้อน กระเป๋าความจำจึงเต็มเร็วกว่า
มังคุด
ถ้ากระเป๋าเต็มแล้ว ของเก่าหายไปไหนครับ?