⚖️ ให้คนเลือก A หรือ B แล้วสร้างกรรมการให้คะแนน

ข้อมูลความชอบ (preference data) คือบันทึกจำนวนมากแบบนี้: คำถาม คำตอบ A กับ B และอันที่ชนะ ผู้ตัดสินมักเป็นคน หรือ AI ที่ตัดสินตามเกณฑ์

จากนั้นสร้าง reward modelโมเดลให้คะแนน (reward model, preference data)โมเดลที่อ่านคำถามกับคำตอบแล้วให้คะแนนเป็นตัวเลขเดียว ฝึกจากข้อมูลความชอบ (คู่คำตอบ A/B ที่คนเลือกว่าอันไหนดีกว่า) ให้คำตอบที่ชนะได้คะแนนสูงกว่าดูคำศัพท์ทั้งหมด✕ ซึ่งมักเป็น LLM ที่เปลี่ยนชั้น unembedding (บทที่ 3) ให้ออก ตัวเลขเดียว คือคะแนนรางวัล r

แปลงคะแนนเป็นโอกาสด้วยสูตร Bradley–Terry:

$$P(A\succ B)=\sigma (r_A-r_B)=\frac{1}{1+e^{-(r_A-r_B)}}$$

σ คือ sigmoid ซึ่งก็คือ softmaxซอฟต์แมกซ์ (softmax)สูตรที่เปลี่ยนคะแนนดิบเป็นความน่าจะเป็นที่รวมกันได้ 100% โดยยก e กำลังคะแนนแล้วหารด้วยผลรวมดูคำศัพท์ทั้งหมด✕ (บทที่ 1) ที่มีสองตัวเลือก

ถ้า $r_A=1.5$ และ $r_B=0.2$ (ผลต่าง 1.3):

$$\frac{e^{1.5}}{e^{1.5}+e^{0.2}}=\frac{4.4817}{5.7031}\approx 0.7858$$

reward model ทำนายว่าคนจะชอบ A 78.6% และ B 21.4%

ตอนฝึก reward model ถูกปรับให้คำตอบที่ชนะจริงได้โอกาสนี้สูง (สูตรในหน้าเสริม)

ลองแก้คะแนน r ดู แล้วลอง 2.5 กับ 1.2 (บวก 1 ทั้งคู่) ผลเปลี่ยนไหม?

reward model ให้คะแนนคำตอบเป็นตัวเลขเดียว และโอกาสที่คนจะชอบ A มากกว่า B ก็คือ softmax ของคะแนนสองตัวนั้น