我们多少次听到过提示工程是未来的工作？自从ChatGPT推出以来，每个人都开始尝试用不同的方式向聊天机器人发出提示，并称之为一项工作。还有一些人担心由于这一新角色的出现，会失去自己的工作。然而，现在事实证明，AI可以完成这项工作，而且比人类做得更好。

“有谁会真的相信‘在ChatGPT中输入提示’会是一个高薪的全职工作吗？”一位用户在HackerNews上提问。

在最近的一项研究中，VMware的研究人员发现，当人类开始尝试使用奇怪的提示时，大型语言模型会变得更加不可预测。更有趣的是，另一个研究团队发现“人类不应该再手动优化提示了”。最好的提示工程是由AI模型自己完成的。

手动提示问题多多

VMware的Rick Battle和Teja Gollapudi尝试使用大型和小型语言模型，并尝试不同的提示技术，以找出最优、最有效的方法。“令人惊讶又恼火的是，对提示的微小修改会导致性能出现如此大的波动”，论文的结论中写道。

他们还强调，没有明显的方法可以提高性能，而且效果会非常微不足道。例如，研究得出结论，从业者甚至不需要使用GPT-4或PaLM-2规模的模型来使用有效的提示。在他们的实验中，Llama 13B和Mistral-7B能够产生“更高级的提示”，这让他们感到震惊。

“不可否认的是，自动生成的提示比手动调整的‘积极思考’提示表现得更好，也更具普遍性，”论文总结道，并表示即使向聊天机器人输入了积极的肯定语，自动提示（也称为自动提示）的表现也更好。

“我真的不敢相信它生成的一些东西，”Battle在接受采访时说，谈到没有任何人类能够生成系统自己生成的提示，因为这太奇怪了。

机器学习系统中的偏见可能来自于训练数据的偏见。但这只是众多偏见来源之一。可以说，提示工程可能是更糟糕的偏见来源。

提示工程的另一个方面是，它会在模型的输出中引入偏见，观察者可能会将这种偏见归咎于AI模型本身。“可以说，提示工程可能是更糟糕的偏见来源，”弗朗索瓦·肖莱特说。

人们将提示工程与仅仅向聊天机器人输入英文提示混为一谈，而模型实际上做了大量的数学运算，英语只是模型的前端。因此，AI模型能够做得更好。

这完全合乎情理。“在大型语言模型中，对提示工程的需求是缺乏稳健语言理解的标志，”梅拉妮·米切尔去年在X上的一篇帖子中写道。即使在经过一年的语言模型开发和扩展之后，情况似乎仍然如此。

提示工程只是短暂的流行吗？

就像C++被认为是“消亡的语言”一样，提示工程也被视为短暂的流行。登录ChatGPT或Codex，然后直接输入你想要的内容，并不那么容易实现。这是一种需要学习的技能。现在，既然AI在这方面做得比人类更好，那么提示工程消失只是时间问题。但它真的会消失吗？

大多数提示工程只是试错的过程，而现在有了AI，就不再需要这样做了。现在，随着公司开始招聘诸如LLMOps等职位，他们可能会被贴上新提示工程师的标签，但作为一个职业，它不会消失。

道格拉斯·克罗克福德（Douglas Crockford）是JavaScript的开发者之一，也是JSON格式的创始人，表示担心英语作为编程语言“因为太过模糊”。

他解释说，编程的基本法则是程序必须完美。“在各个方面、每个细节、所有状态以及所有时间中，它都必须完美”。他进一步阐述说，如果不完美，计算机就有可能在最糟糕的时候做出最糟糕的事情。“这不是计算机的错，是程序员的错，”他指出。

提示工程的另一个重要方面在于，随着人们尝试不同的数据源和不同的AI模型，它也在不断变化。由于公司正在采用不同的开源和闭源模型，因此为每个模型找到最佳提示组合可能仍需要有人来完成。

我们现在称他们为提示工程师，但随着AI的进步，我们可能会用其他名称来称呼他们。这并不是说提示工程没有价值。它已经找到了自己的位置，并可能会存在一段时间，但不会太久。