人工智能安全实验室初创公司Irregular今天宣布已筹集8000万美元的新资金,用于开发其防御系统、测试基础设施和安全工具,以帮助审核和强化下一代AI模型的安全部署。
Irregular成立于2023年,前身为Pattern Labs Inc.,自称是全球首个前沿AI安全实验室,致力于在高级AI系统被滥用之前确保其安全。公司的使命是通过与全球领先的AI开发者合作,在对抗性和红队环境中测试、强化和防御下一代AI模型。
Irregular运行尖端AI模型的控制模拟,以探测这些模型可能被利用的方式。模拟探索了威胁场景,如防病毒规避、自主攻击行为、系统渗透或其他滥用途径,测量AI如何进行攻击以及在反击时的韧性。
除了测试,Irregular还提供防御工具、框架和评分系统,指导AI系统在实践中应如何被保护。
Irregular与领先的AI实验室和政府机构合作,将其测试工作嵌入主要前沿模型的生命周期中。此合作使其能够“预见未来”——在威胁在已部署系统中显现之前进行预测,并就安全路线图、合规性和部署政策提供建议。
公司已经在塑造行业标准。其评估被引用在OpenAI的GPT-4、o3、o4 mini和GPT-5的系统卡中,英国政府和Anthropic PBC使用Irregular的SOLVE框架——后者用于审核Claude 4中的网络风险。此外,Google DeepMind的研究人员最近引用了该公司在一篇论文中关于AI新兴网络攻击能力的评估。
公司共同撰写了一份白皮书与Anthropic一起提出了一种使用机密计算技术增强AI模型权重和用户数据隐私安全的新方法。它还与RAND公司共同撰写了一篇联合开创性论文关于AI模型盗窃和滥用,帮助塑造欧洲关于AI安全的政策讨论,并为该领域设定了基准。
“Irregular承担了一项雄心勃勃的任务,确保AI的未来既安全又强大,”Irregular的联合创始人兼首席执行官Dan Lahav说。“AI能力正在以惊人的速度发展;我们正在构建工具,以在公开发布之前测试最先进的系统,并创建将塑造AI负责任大规模部署的缓解措施。”
这轮融资由红杉资本运营和红点创投LP领投,Swish Ventures和著名天使投资者,包括Wiz Inc.首席执行官Assaf Rappaport和E.ON SE首席执行官Ofir Ehrlich也参与其中。
“真正的AI安全威胁尚未出现,”红杉资本合伙人Shaun Maguire说。“Irregular团队的突出之处在于他们的前瞻性思维。他们正在与今天构建的最先进模型合作,为未来如何使AI可靠奠定基础。”