麻省理工学院的研究人员正在采用新的机器学习技术，通过减少对神经胶质母细胞瘤的毒性化疗和放射治疗，提高患者的生活质量。胶质母细胞瘤是一种脑癌最具侵袭性的形式。

胶质母细胞瘤是一种出现在大脑或脊髓中的恶性肿瘤，而成人的预后则不超过5年。患者必须忍受放射治疗和每月服用多种药物的联合治疗。医学专业人员通常会尽可能多地使用安全剂量的药物来缩小肿瘤。但是这些强大的药物仍然会对病人产生不利的副作用。

在下周于斯坦福大学举行的2018年机器学习医疗保健会议将要发表的一篇论文中，麻省理工学院媒体实验室的研究人员详细介绍了一种可以使药毒性降低但仍然有效的模型。该模型由自我学习的机器学习技术提供支持，着眼于目前使用的治疗方案，并反复调整剂量。最终，它找到了一个最佳的治疗计划，其最低可能的剂量和剂量频率仍应将肿瘤大小降低到与传统治疗方案相当的程度。

在50名患者的模拟试验中，机器学习模型设计了治疗周期，将效力降低到几乎所有剂量的四分之一或一半，同时保持相同的肿瘤缩小潜力。很多时候，它完全忽略了剂量，每年只安排两次管理而不是每月。

“我们保持目标，必须通过减少肿瘤大小来帮助患者，但同时，我们希望确保剂量毒性不会导致过重的疾病和有害副作用，”媒体实验室的首席研究员Pratik Shah说，他负责监督这项研究。

该论文的第一作者是媒体实验室研究员Gregory Yauney。

奖励好的选择

研究人员的模型使用了一种称为强化学习的技术，这是一种受行为心理学启发的方法，其中模型学会偏向某些导致期望结果的行为。

该技术包括AI智能体，其在不可预测的复杂环境中完成动作以达到期望的结果。每当完成动作时，智能体接收“奖励”或“惩罚”，取决于动作是否努力实现结果。然后，智能体相应地调整其动作以实现该结果。

奖励和处罚基本上是正数和负数，比如+1或-1。它们的值因所采取的行动而异，通过成功的概率或结果的失败来计算，以及其他因素。代理基本上试图基于奖励和惩罚值在数值上优化所有动作，以获得给定任务的最大结果分数。

研究人员采用RL模型进行胶质母细胞瘤治疗，使用替莫唑胺（TMZ）和丙卡巴肼，洛莫司汀和长春新碱（PVC）联合使用，治疗数周或数月。

该模型智能体梳理了传统的治疗方案。这些方案基于临床使用数十年的方案，并基于动物试验和各种临床试验。肿瘤学家使用这些已建立的方案来预测基于体重给患者的剂量。

当模型探索治疗方案时，在每一个计划的剂量间隔中说，每个月一次，它决定了几个动作中的一个。首先，它可以启动或停止剂量。如果它确实进行了管理，那么它就决定了整个剂量，或者仅仅是一部分，是必要的。在每一个动作中，它都是另一种临床模型，通常用来预测肿瘤的大小变化，以应对治疗的效果，以确定肿瘤是否缩小了平均肿瘤的直径。如果是这样，模型就会收到奖励。

然而，研究人员还必须确保该模型不仅仅能提供剂量的最大数量和效力。因此，每当模型选择施用所有全剂量时，它都会受到惩罚，因此选择更少，更小的剂量。“如果我们想做的就是减少平均肿瘤直径，让它采取任何行动，它会不负责任地管理药物，”Shah说。“相反，我们说，'我们需要减少达到这一结果所需的有害行为。'”

这代表了一种“非正统的RL模型，首次在论文中描述，”Shah说，它衡量了行为（剂量）对结果（肿瘤减少）的潜在负面影响。传统的RL模型致力于单一结果，例如赢得游戏，并采取任何和所有最大化该结果的行动。另一方面，研究人员的模型，在每个动作，具有灵活性，以找到不一定单独最大化肿瘤减少的剂量，但在最大肿瘤减少和低毒性之间达到完美平衡。他补充说，这项技术有各种医学和临床试验应用，必须调节治疗患者的行动，以防止有害的副作用。

最佳方案

研究人员对50名模拟患者进行了模型训练，这些患者是从以前接受过传统治疗的胶质母细胞瘤患者的大型数据库中随机选择的。对于每位患者，该模型进行了大约20000次试错测试。训练完成后，模型学习最佳方案的参数。当给予新患者时，该模型使用这些参数来基于研究人员提供的各种约束来制定新的方案。

然后，研究人员对50名新模拟患者进行了模型测试，并将结果与使用TMZ和PVC的传统方案进行了比较。当没有给予剂量惩罚时，该模型设计了几乎与人类专家相同的方案。然而，考虑到小剂量和大剂量给药，它大大减少了剂量的频率和效力，同时减少了肿瘤大小。

研究人员还设计了模型，以单独治疗每个患者，并在一组患者中进行治疗取得了类似的结果（研究人员可获得每位患者的医疗数据）。传统上，相同的给药方案适用于患者组，但肿瘤大小，病史，遗传谱和生物标志物的差异都可以改变患者的治疗方式。Shah说，在传统的临床试验设计和其他治疗过程中，这些变量不予考虑，往往导致对大量人群的治疗反应不佳。

Shah表示，“我们对模型说，你必须给所有的病人服用同样的剂量吗？它说没有。我可以给这个人四分之一的剂量，一半给这个人，也许我们不给这个人一个剂量。这是这项工作中最令人兴奋的部分，我们可以通过使用非正统的机器学习架构来进行个人的试验，从而产生精确的药物治疗。”

J. Craig Venter研究所人类生物学教授兼主任Nicholas J. Schork说，该模型比传统用人眼观察给药剂量方法有了重大改进，可以观察患者的反应和相应的调整。“机器运转着大量的数据，而人工过程是缓慢，乏味和不精确的，在这里，你只是让计算机寻找数据中的模式，这将需要一个人永远进行筛选，并使用这些模式来找到最佳的剂量。”

Schork补充说，这项工作可能引起美国食品和药物管理局的兴趣，美国食品和药物管理局正在寻求利用数据和AI开发卫生技术的方法。他说，这仍然需要建立法规，“但我认为FDA会在短时间内弄清楚如何适当地审查这些技术，让它们可以用于日常临床计划。”