🔬 สูตรเต็ม: reward model, KL และ DPO

หน้าเสริม ข้ามได้

ขั้น 1 — reward model ฝึกด้วย −ln ของโอกาสที่คนชอบ:

$$\text{loss}=-\ln \sigma (r_{\text{ชอบ}}-r_{\text{ไม่ชอบ}})$$

หน้า 5: $-\ln 0.785835\approx 0.2410$

ขั้น 2 — KL $\text{KL}(p\Vert q)={\sum }_i{p}_i\ln \frac{p_i}{q_i}$ เช่น "เรียน"/"สวัสดี" จาก 50/50 (q) เป็น 80/20 (p):

$$0.8\ln \frac{0.8}{0.5}+0.2\ln \frac{0.2}{0.5}=0.3760-0.1833=0.1927$$

ขั้น 3 ตามทฤษฎี โมเดลที่ทำให้ $r-\beta \cdot \text{KL}$ สูงสุดคือ

$${\pi }^{\ast }(y)\propto {\pi }_{\text{ref}}(y)e^{r(y)/\beta }$$

β เล็ก ไล่คะแนนแรง β ใหญ่ อยู่ใกล้เดิม (คล้าย temperature บทที่ 1)

ขั้น 4 — DPO (Rafailov และคณะ, 2023) กลับสูตรได้ $r=\beta \ln \frac{{\pi }^{\ast }}{{\pi }_{\text{ref}}}+c$ โดย c ขึ้นกับคำถามเท่านั้น จึงหักล้างกันใน $r_A-r_B$

ได้ การปรับตามความชอบโดยตรง (DPO)การปรับตามความชอบโดยตรง (Direct Preference Optimization, DPO)วิธีฝึกจากคู่คำตอบ ชอบ/ไม่ชอบ ตรงๆ โดยไม่ต้องสร้าง reward model แยกและไม่ต้องวน RLดูคำศัพท์ทั้งหมด✕ ที่ไม่ต้องมี reward model หรือ RL แค่ดันผลต่างของลอการิทึมอัตราส่วน (log-ratio) ระหว่างคำตอบที่ชอบ (A) กับไม่ชอบ (B):

$$\text{loss}=-\ln \sigma \left(\beta \left[\ln \frac{{\pi }_{\theta }(A)}{{\pi }_{\text{ref}}(A)}-\ln \frac{{\pi }_{\theta }(B)}{{\pi }_{\text{ref}}(B)}\right]\right)$$

ลองคิด (β = 1) โมเดลเดิมให้ A และ B เท่ากันที่ 0.30

• เริ่ม ผลต่าง 0 → σ = 50.0% → loss 0.6931
• ฝึกสักพัก A = 0.45, B = 0.20 → ผลต่าง $\ln \frac{0.45}{0.20}=\ln 2.25=0.8109$ → σ = 69.2% → loss 0.3677

เบรกอยู่ตรงไหน? พอผลต่างกว้างพอ σ เข้าใกล้ 1 แรงดันก็แทบหมด β คุมจุดเบรกนี้ β ยิ่งเล็ก โมเดลยิ่งต้องขยับห่างจากของเดิมมากกว่า σ จะอิ่ม (ของจริงมักตั้ง β ต่ำกว่า 1) ในทางปฏิบัติ โอกาสของ A และ B อาจลดทั้งคู่ แค่ B ลดเร็วกว่า

DPO ข้ามขั้น reward model และ RL โดยฝึกจากคู่ "ชอบ/ไม่ชอบ" ตรงๆ ด้วย loss หน้าตาเดียวกับ Bradley–Terry