事实证明，我们很难预测AI的新进展何时会发生。在1956年的the Dartmouth Summer Research Project研究项目中，科学家们认为也许两个月的时间就足以在一系列复杂的问题上取得“重大进展”，包括能够理解语言、提高自我、甚至理解抽象概念的计算机。

六十年过去了，这些问题还没有解决。来自斯坦福大学的AI指数(AI Index)是一个试图用来衡量AI方面取得了多大进展的尝试。

该指数采用了一种独特的方法，并尝试在多个系统中聚合数据。它包含了大量的活动指标，包括衡量风险投资、出席学术会议、发表论文等等。结果是你可能期望的:自1996年以来，学术活动增加了10倍，专注于AI的初创公司爆炸式增长，以及相应的风险资本投资。这个度量标准的问题在于它和AI的进度一样，这两者可能是相关的。

该指数还从流行的编码网站Github上获取数据，Github拥有比世界上任何人都多的源代码。他们可以跟踪与AI相关的软件开发人员的数量，以及像Tensorflow和Keras这样的流行机器学习包的兴趣水平。该指数还追踪了有关AI的新闻报道的情绪:令人惊讶的是，考虑到世界末日和就业危机，那些被认为“积极”的人比“消极”的人多3倍。

但同样，这也可能只是对AI热情的一种衡量标准。

没有人会否认，我们正处在一个AI炒作的时代，但AI的发展却充斥着各种炒作，以及与AI交替出现的迅猛增长。因此，AI指数试图跟踪算法在一系列任务上的进展。计算机视觉在大规模视觉识别挑战中表现如何?(有人从2015年以来开始对图像进行注释，但他们仍然不能很好地回答关于图像的问题，将自然语言处理和图像识别结合起来)。在电话上的语音识别几乎是对等的。

在其他狭窄的领域，AI仍在追赶人类。翻译可能已经足够好了，你通常可以理解所讲内容的要点，但在BLEU指标上，翻译的准确性仍然很差。AI指数甚至记录了程序在SAT测试中的表现，所以如果你拿了它，你可以把你的分数和AI的分数进行比较。

衡量最先进的AI系统在狭窄任务上的表现是有用的，而且相当容易做到。你可以定义一个简单的度量，或者设计一个与评分系统的竞争，并以标准化的方式与旧的软件进行比较。学者们总是可以讨论评估翻译或自然语言理解的最佳方法。Loebner奖，一个简化的问答图灵测试，最近采用了Winograd模式类型的问题，它依赖于上下文的理解。AI在这些方面有更多的困难。

然而，评估真正变得困难的地方，是试图将这些狭隘任务的表现映射到一般智力上。这很难，因为我们对自己的智力缺乏了解。电脑在国际象棋上是“超人”，现在甚至有更复杂的游戏。提出时间线的braver预测者认为AlphaGo的成功比预期的要快，但这是否意味着我们更接近于一般的智力呢?

这是追踪进展很难的地方。

我们可以注意到算法在先前为人类保留的任务上的特殊性能，例如，该指数引用了一篇自然论文，表明AI可以比皮肤科医生更准确地预测皮肤癌。我们甚至可以试着追踪一种特定的方法来对付AI;例如，计算机成功模拟了多少大脑区域?或者，我们可以简单地记录下职业和专业任务的数量，这些任务现在可以通过AI来达到一个可接受的标准。

“我们正在赛跑，但我们不知道如何到达终点，或者我们必须走多远。”

未来几年，AI的进展更有可能类似于逐渐上升的潮汐，因为越来越多的任务可以转化为算法，由软件完成，而不是突然的智能爆炸或一般智力突破的海啸。也许可以通过测量AI系统的能力来学习和适应基于办公室任务的人类的工作程序。

AI指数并没有试图给出一般智力的时间表，因为这仍然是一个模糊的概念。

牛津大学计算机科学系主任Michael Woodridge指出：“报告中没有提到的主要原因是，我和其他人都不知道如何衡量进展。”他担心的是另一个AI的冬天，并夸大了已经取得的进展。

所有专家提出的一个关键问题是AI的伦理学。

当然，你不需要一般的智力来影响社会;算法已经在改变我们的生活和我们周围的世界。为什么亚马逊、谷歌和Facebook都值这么多钱呢?专家们一致认为需要建立一个指数来衡量AI的益处，人类和AI之间的相互作用，以及我们对这些系统的价值、伦理和监督的能力。

哈佛大学的Barbra Grosz认为：“通过他们对人们生活的影响来确定AI系统的成功措施是很重要的。”

对于那些关心AI就业启示的人来说，追踪在被认为最脆弱的领域(比如自动驾驶汽车取代出租车司机)使用AI将是一个好主意。社会适应AI趋势的灵活性也应加以衡量。我们是否为人们提供了足够的接受教育的机会?教他们和算法一起工作，把他们当作工具而不是替代品?专家们还指出，这些数据是以美国为中心。

我们正在进行一场比赛，但我们不知道如何到达终点，也不知道我们要走多远。从周围的风景看，我们已经跑了很远。因此，衡量进展是一项艰巨的任务，从定义进展开始。但AI指数作为每年收集的相关信息，是一个良好的开端。