大模型训练|模型精调|什么是强化学习RLHF

知止自律打卡-微信小程序APP

一款微信自律打卡小程序，支持自定义打卡项目、习惯记录、项目日记、专注计时与数据统计。自律打卡、学习打卡、读书打卡、健身打卡、运动打卡、减肥打卡、戒色打卡、养生打卡、戒烟、戒酒、戒熬夜等多种场景。万能打卡模板自由创建。可自定义每日打卡目标，记录习惯连续天数，可视化追踪成长进度。

了解产品详情 →

微信搜索「知止自律打卡」

1 前言

RLHF 是Reinforcement Learning from Human Feedback（来自人类反馈的强化学习）的缩写，是近年来在人工智能，特别是大预言模型（LLM）如ChatGPT、Gpt-4中非常关键的一项技术。它结合了强化学习和人类监督的有点，用来训练更加符合人类期望的智能体。

PPO（Proximal Policy Opttimization）：用于强化学习优化，能保持策略更新不偏移太大。

DPO（Direct Preference Optimization）：一种新方法，直接从偏好数据中训练策略网络，可能代替RLHF。

1.1 RLHF的核心思想

RLHF的目标是：

让AI模型的行为更加符合人类的偏好和价值观。

这不是传统意义上只用奖励函数（reward function）来训练智能体，而是通过人类反馈（人来评价）来间接构造奖励信号，从而指导模型行为。

2 RLHF 的只要流程(3步)

2.1 预训练（Supervised Fine-Tuning, SFT）

• 使用大规模文本数据（比如网页、书籍、对话）对模型进行预训练，或者使用人工标注的问答进行监督微调。
• 是一个监督学习过程，模型学会了基本的语言能力和上下文理解能力。

例如：

Q: 请介绍一下量子力学。
A: 量子力学是一门研究微观粒子行为的物理学分支，它...

2.2 奖励模型训练(Reward Model Traing)

1. 收集人类的反馈（比如对模型的输出进行打分），训练一个奖励模型（Reward Model, RM）。
2. 奖励模型的目标：给定一个问题和多个候选答案，预测哪个更好。

例如：

输入（prompt）："如何向小学生解释相对论？"

这样，B的分数高，因为更易懂，所以作为奖励模型的训练数据。

2.3 基于奖励的强化学习(PPO)

使用强化学习算法（最常用的是 Proximal Policy Optimization, PPO）对模型进行训练，使得它生成的内容获得更高的奖励分数。

强化学习部分中：

• 当前模型作为策略函数(policy)
• 奖励模型作为价值函数(reward function)
• 通过多轮交互与模拟训练，逐步优化模型，使得它更偏向于人类喜欢的回答。

3 RLHF 的优势

4 RLHF 流程图(简化)

预训练数据集(书籍、网页、问答)
        ↓
初始语言模型（GPT）
        ↓
监督微调（SFT）
        ↓
构造多个回答&人类评分（Reward Model）
        ↓
使用 PPO 进行强化学习训练（RLHF）
        ↓
最终模型（如ChatGPT）

5 RLHF 存在的挑战

标签：