Galileo Technologies近日发布了一款全新软件工具Protect，这款工具承诺能够抵御有害的人工智能输入和输出。

公司将该产品定义为实时幻觉防火墙，是该公司最新推出的一系列软件工具中的佼佼者，旨在帮助企业避免AI模型产生不准确的响应。这些工具中，有些由Galileo这样的AI初创公司研发，有些则来自企业技术市场其他领域的大型企业。

Galileo的联合创始人兼首席技术官阿廷·萨尼亚尔（Atin Sanyal）表示：“人工智能的迅速普及带来了一系列新的安全和合规挑战，企业需要积极应对。”“在保护AI的同时，企业也要确保不影响用户体验。”

总部位于旧金山的Galileo得到了Battery Ventures等投资者的超过2000万美元的资金支持。Protect作为他们最新的AI防火墙，承诺以毫秒级的延迟过滤恶意的大型语言输入。这意味着，企业可以在不显著降低大型语言模型回答用户问题的速度的同时，成功阻止网络攻击。

许多恶意提示旨在诱导大型语言模型执行其本不应执行的操作，这些操作通常涉及敏感信息的泄露。例如，黑客可能会尝试构建一个提示，诱导大型语言模型泄露其训练数据集中的记录。

过滤恶意提示只是防止此类网络攻击的一种方法。另一种方法是检测大型语言模型是否产生了可能由恶意输入生成的响应，并将其替换。据Galileo称，其Protect工具也支持后一种应用场景。

客户可以设定规则，明确工具应覆盖大型语言模型输出的条件。除了过滤包含敏感数据的提示回答外，开发人员还可以创建规则来检测和替换幻觉或不准确的AI响应。Galileo表示，该工具还能解决更微妙的问题，比如大型语言模型的响应风格与公司内部营销准则不符的情况。

这款工具与软件制造商的两款现有AI产品进行了集成。第一款是Observe，当大型语言模型违反在Protect中设定的输出过滤规则时，它会向管理员发出警报。另一款产品称为Evaluate，有助于AI团队排查错误提示响应的根本原因。

Galileo是众多帮助企业避免大型语言模型输出不准确的初创公司中的一员。

上个月，Stardog Union推出了Voicebox，这是一个AI平台，承诺让员工使用自然语言提示查询业务数据，同时避免幻觉的风险。该公司还推出了一款本地设备，允许组织在其自己的数据中心中托管Voicebox。与此同时，位于加利福尼亚州普莱森顿的Gleen已经构建了一个专门的人工智能数据管理工具来过滤不准确的LLM输出。

更大的市场参与者也加入了这一竞争。几周前，Cloudflare Inc.推出了AI防火墙（Firewall for AI），这是一款网络安全工具，可以防止大型语言模型因响应恶意提示而泄露敏感数据。Google LLC最近也详细介绍了其内部开发的一个框架，旨在缓解AI幻觉问题。