ChatGPT4技术报告.docx

《ChatGPT4技术报告.docx》由会员分享，可在线阅读，更多相关《ChatGPT4技术报告.docx（11页珍藏版）》请在第一文库网上搜索。

1、ChatGPT4技术报告摘要我们报告了GPT-4的发展，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实场景中，GPT-4的能力不如人类，但它在各种专业和学术基准上表现出了人类的水平，包括以大约前10%的成绩通过模拟律师资格考试。GPT-4是一个基于transformer的预训练模型，用于预测文档中的下一个标记。训练后的调整过程会提高对事实的衡量和对期望行为的坚持。这个项目的一个核心组成部分是开发基础设施和优化方法，这些方法可以在大范围内预测行为。这使得我们能够准确地预测GPT-4性能的某些方面，基于不超过GPT-4计算量的千分之一的训练模型。介绍本技术报告介绍

2、了GPT-4,一种能够处理图像和文本输入并产生文本输出的大型多模态模型。这些模型是一个重要的研究领域，因为它们具有广泛应用的潜力，如对话系统、文本摘要和机器翻译。因此，近年来，它们一直是人们感兴趣和取得进展的主题1-28O开发此类模型的主要目标之一是提高它们理解和生成自然语言文本的能力，特别是在更复杂和微妙的场景中。为了测试它在这种情况下的能力，GPT-4在最初为人类设计的各种考试中进行了评估。在这些评估中，它表现得相当好，经常超过绝大多数人类考生。例如，在模拟律师资格考试中，GPT-4的成绩在考生中排名前10%o这与GPT-3.5形成了鲜明对比，后者的得分位于后10机在一套传统的N1P基准测

3、试上，GPT-4优于以前的大型语言模型和大多数最先进的系统（通常具有特定于基准测试的训练或手工工程）。在MM1U基准测试29,30中，GPT-4不仅在英语测试中大大超过现有模型，而且在其他语言测试中也表现出色。在MM1U的翻译版本中，GPT-4在考虑的26种语言中有24种超过了最先进的英语。我们将在后面的章节中更详细地讨论这些模型性能的结果，以及模型安全性的改进和结果。本报告还讨论了该项目的一个关键挑战，即开发在大范围内可预测行为的深度学习基础设施和优化方法。这使得我们能够预测GPT-4的预期性能（基于以类似方式训练的小型运行），并与最终运行进行测试，以增加我们训练的信心。尽管GPT-4具有强

4、大的能力，但它与早期的GPT模型1,31,32有相似的局限性：它不是完全可靠的（例如，可能会出现“幻觉（ha11ucinations）”），具有有限的上下文窗口,并且不能从经验中学习，特别是在可靠性很重要的情况下，在使用GPT-4的输出时应该格外小心。GPT-4的能力和局限性带来了重大而新颖的安全挑战,我们认为,考虑到潜在的社会影响，仔细研究这些挑战是一个重要的研究领域。本报告包括一个广泛的系统卡（在附录之后），描述了我们预计的关于偏见、虚假信息、过度依赖、隐私、网络安全、扩散等方面的一些风险。它还描述了我们为减轻GPT-4部署带来的潜在危害而采取的干预措施，包括与领域专家进行对抗性测试，以及

5、一个模型辅助的安全管道。本技术报告的范围和限制本报告主要介绍GPT-4的功能、限制和安全特性。GPT-4是一个Transformer风格的模型33预训练,用于预测文档中的下一个令牌,使用公开可用数据（如互联网数据）和第三方提供商授权的数据。然后使用来自人类反馈的强化学习（R1HF）34对模型进行微调。考虑到竞争格局和大型模型（如GPT-4）的安全影响，本报告没有包含有关架构（包括模型大小）、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。我们致力于对我们的技术进行独立审计，并在该版本附带的系统卡中分享了这一领域的一些初步步骤和想法。我们计划向更多的第三方提供进一步的技术细节，他们可

6、以就如何权衡上述竞争和安全考虑与进一步透明的科学价值提供建议。3.可预测的规模GPT-4项目的一大重点是构建一个可预测扩展的深度学习堆栈。主要原因是，对于GPT-4这样的大型训练运行，进行广泛的特定于模型的调优是不可行的。为了解决这个问题，我们开发了跨多个尺度具有非常可预测行为的基础设施和优化方法。这些改进使我们能够从较小的模型中可靠地预测GPT-4性能的某些方面。3.1 损失预测经过适当训练的大型语言模型的最终损失被认为很好地近似于用于训练模型的计算量的累律35,36,2,14,15。为了验证我们优化基础设施的可伸缩性，我们通过拟合一个具有不可约损失项（如Henighan等15）的缩放定律来

7、预测GPT-4在内部代码库（不属于训练集）上的最终损失：，来自使用相同方法训练的模型，但使用的计算量最多比GPT-4少10,OOO倍。这个预测是在运行开始后不久做出的，没有使用任何部分结果。拟合的标度律对GPT-4的最终损耗进行了高精度预测。3.2在HumanEva1上的缩放能力在训练之前了解模型的功能可以改善关于对齐、安全性和部署的决策。除了预测最终损失，我们还开发了一种方法来预测更多可解释的能力指标。其中一个指标是HUn1anEVa1数据集37的通过率，它衡量的是合成不同复杂度的Python函数的能力。我们成功地预测了HumanEva1数据集子集的通过率，通过从最多1000倍的计算量训练的

8、模型中推断。对于HUnIanEVaI中的单个问题，性能有时会随着规模的扩大而恶化。尽管存在这些挑战，我们还是找到了近似的嘉律关系，某些能力仍然难以预测。例如，逆缩放奖38提出了几个模型性能随缩放函数而下降的任务。与Wei等人最近的结果相似，我们发现GPT-4扭转了这一趋势。其中k和是正常数，P是数据集中问题的子集。我们假设这种关系适用于这个数据集中的所有问题。在实践中，非常低的通过率是很难或不可能估计的，因此我们限制问题P和模型M,这样给定一些大的样本预算，每个问题至少被每个模型解决一次。在训练完成之前，我们在HumanEva1上对GPT-4的性能进行了预测，仅使用训练前可用的信息。除了15个

9、最难的HUmanEVa1问题外，其余问题都根据较小模型的表现分为6个难度级别。图2中显示了第三个最简单桶的结果，显示出对HUrnarIEVa1问题的这个子集的结果预测非常准确，其中我们可以准确地估计几个较小模型的日志(PaSS_rate)。对其他五个类别的预测表现几乎一样好，主要的例外是GPT-4在最容易的类别上的预测表现不佳。某些能力仍然难以预测。例如，逆缩放奖38提出了几个模型性能随缩放函数而下降的任务。与Wei等人最近的结果相似，我们发现GPT-4扭转了这一趋势。我们相信，准确预测未来的能力对安全非常重要。展望未来，我们计划在大型模型训练开始之前改进这些方法，并在各种能力之间登记性能预测

10、，我们希望这成为该领域的共同目标。性能我们在一系列不同的基准上测试了GPT-4,包括最初为人类设计的模拟考试。我们没有为这些考试做专门的培训。考试中的少数问题是模型在训练中发现的;对于每次考试，我们都运行一个去掉这些问题的变体，并报告两个问题中较低的分数。我们认为这个结果是有代表性的。有关污染的更多细节(方法和每次检查的统计数据)。考试材料都是公开的。考试题目包括多项选择题和自由回答题;我们为每种格式设计了单独的提示，并且在需要的问题的输入中包含了图像。评估设置是基于一组验证考试的表现而设计的，并且我们报告了测试考试的最终结果。综合分数由多项选择题和自由回答题的分数结合决定，并采用了公开的方法

11、。GPT-4在大多数专业和学术考试中表现出人类水平。值得注意的是，它以前10%的分数通过了统一律师考试的模拟版本(表1图4)。该模型在考试中的能力似乎主要来自于训练前的过程，并没有受到R1HF的显著影响。在多项选择题上，基础GPT-4模型和R1HF模型在我们测试的考试中平均表现一样好。我们还在为评估语言模型而设计的传统基准上评估了预训练的基础GPT-4模型。对于我们报告的每个基准，我们对训练集中出现的测试数据进行了污染检查(关于每个基准污染的完整细节，请参阅附录D)。4在评估GPT-4.5时，我们对所有基准测试都使用了少枪提示1,GPT-4大大优于现有的语言模型，以及以前最先进的(SOTA)系

12、统，后者通常具有特定于基准的制作或额外的训练协议。GPT-4大大优于现有的语言模型，以及以前最先进的(SOTA)系统,后者通常具有特定于基准的制作或额外的训练协议。许多现有的M1基准测试都是用英语编写的。为了初步了解GPT-4在其他语言中的功能，我们使用AZUreTranS1ate将MM1U基准测试29,30套涵盖57个主题的多项选择问题一一翻译成各种语言(参见附录F的示例翻译和提示)O我们发现GPT-4优于GPT3.5和现有语言模型(Chinehi1Ia2和Pa1M3)的大多数语言性能，包括低资源语言，如拉脱维亚语、威尔士语和斯瓦希里语。GPT-4在跟踪用户意图57的能力方面大大改进了以前的

13、模型。在提交给ChatGPT58和OpenAIAPI41的5,214个提示数据集中,GPT-4生成的响应在70.2%的提示上优于GPT-3.5生成的响应。我们正在开源OPenA1Eva1s7,这是我们的框架，用于创建和运行评估GPT-4等模型的基准，同时逐个样本检查性能。评估与现有的基准测试兼容，并可用于跟踪部署中模型的性能。我们计划随着时间的推移增加这些基准的多样性，以代表更广泛的故障模式和更难的任务集。4.1 视觉输入GPT-4接受由图像和文本组成的提示，这与纯文本设置并行，允许用户指定任何视觉或语言任务。具体来说，该模型在给定由任意交错的文本和图像组成的输入时生成文本输出。gpt-4在一

14、系列域中（包括带有文本和照片、图表或屏幕截图的文档）显示出与纯文本输入类似的功能。在表3中可以找到GPT-4可视化输入的示例。为语言模型开发的标准测试时间技术（例如，小样本提示，思维链等）在使用图像和文本时同样有效。关于狭隘的学术视觉基准的初步结果可以在GPT-4的博客文章59中找到。我们计划在后续工作中发布更多关于GPT-4视觉能力的信息。5 .限制尽管GPT-4功能强大，但它与早期GPT模型有相似的局限性。最重要的是，它仍然不完全可靠（它会“产生幻觉”事实并犯推理错误）。在使用语言模型输出时，特别是在高风险上下文中，应该非常小心,使用与特定应用程序的需求相匹配的确切协议（例如人工检查、附加

15、上下文接地或完全避免高风险使用）。详情请参阅我们的系统卡。与之前的GPT-3.5模型相比，GPT-4显著减少了幻觉（GPT-3.5模型本身也在不断迭代中得到改进）。在我们内部的、对抗性设计的事实性评估中,GPT-4的得分比我们最新的GPT-3.5高出19个百分点。GPT-4在TrUthfUIQA60等公共基准测试上取得了进展，该基准测试模型从对抗选择的一组不正确的语句中分离事实的能力（图7）O这些问题与统计上具有吸引力的事实错误答案配对。GPT-4基本模型在这项任务上只比GPT-3.5稍微好一点;然而，经过R1HF训练后，我们观察到比GPT-3.5.8有很大的改进，表4显示了正确和错误的答案。

16、GPT-4拒绝选择俗语（你不能教老狗新把戏），但它仍然会遗漏一些微妙的细节（猫王不是演员的儿子，所以帕金斯是正确答案）。GPT-4通常缺乏对其绝大多数训练前数据在20239年9月中断后发生的事件的知识，并且不从经验中学习。它有时会犯一些简单的推理错误，这些错误似乎与许多领域的能力不相符，或者过于容易受骗,接受用户的明显错误陈述。它可以像人类一样在棘手的问题上失败,比如在它生成的代码中引入安全漏洞。GPT-4的预测也有可能是错误的，当它可能出错时，它没有仔细检查工作。有趣的是，预训练的模型是高度校准的（它是预测答案的概率通常与正确的概率相匹配）。然而，经过后训练过程后，校准降低了。GPT-4在输出中有各种偏差，我们已经努力纠正，但需要一些时间来完全描述和管理。我们的目标是使GPT-4和我们构建的其他系统具有合