MIT RF-Pose项目:利用AI使设备可以透过墙壁感知人体动作

X光透视长期以来似乎只是一种天马行空的幻想,但在过去的十年中,麻省理工学院计算机科学与人工智能实验室(CSAIL)的Dina Katabi教授领导的研究小组不断研究,让透视墙壁的想法不再那么遥远。

最新项目“RF-Pose”使用人工智能教导无线设备从墙壁的另一端感知人们的姿势和动作。研究人员使用神经网络来分析无线电信号,从人身上反弹,然后创建一个动态的人体线图,比如走路,停顿,坐下并移动其四肢。

该团队表示,RF-Pose可用于监测帕金森病,多发性硬化症(MS)和肌营养不良症等疾病,从而更好地了解疾病进展并允许医生相应调整药物。它还可以帮助老年人更独立地生活,同时监控跌倒,受伤等活动模式变化。该团队目前正在与医生合作探索RF-Pose在医疗保健方面的应用。

团队收集的所有数据都经过了对象的同意,并且经过匿名和加密以保护用户隐私。对于未来的现实世界的应用,他们计划实施一种“同意机制”,在该机制下,安装设备的人员被要求进行一组特定的动作,以便设备开始监视环境。

合写了一篇关于该项目的新文章的Katabi表示,“我们已经看到,监测病人的步行速度和自己做基本活动的能力为医疗保健提供者开放了一个新的窗口,这对于所有疾病都是有意义的,我们方法的一个关键优势是患者不必佩戴传感器或时刻记得要给他们的设备充电。”

除了医疗保健之外,该团队还表示RF-Pose还可用于玩家需要在房屋周围移动的视频游戏,甚至可用于搜救任务寻找幸存者。

Katabi与博士研究生,主要作者Mingmin Zhao,麻省理工学院Torralba教授,博士后Mohammad Abu Alsheikh,研究生Tianhong Li以及博士生Yonglong Tian和Hang Zhao共同撰写了这篇新论文。他们将在月底的犹他州盐湖城的计算机视觉和模式识别(CVPR)会议上发布论文。

研究人员必须解决的一个挑战是大多数神经网络都是使用手工标记的数据进行训练的。例如,训练识别猫的神经网络需要人们看图像的大数据集,并将每个图像标记为“是猫”或“不是猫”。而无线电信号不容易被人类标记。

为了解决这个问题,研究人员用他们的无线设备和照相机收集了一些例子。他们收集了成千上万的人的照片,他们在做一些活动,比如走路、说话、坐着、打开门、等电梯。

然后,他们使用这些来自相机的图像来提取他们向神经网络显示的人体线图以及相应的无线电信号。这些例子的组合使得系统能够学习无线电信号和场景中人物之间的关联。

训练结束后,RF-Pose能够在没有摄像头的情况下评估一个人的姿势和动作,只使用从人体反射回来的无线反射。

由于摄像机无法穿透墙壁,网络从来没有接受过来自墙壁另一侧的数据的训练,让麻省理工学院团队特别惊讶的是,网络可以将其知识泛化,从而能够处理墙壁另一边的运动。

Torralba说,“如果你把计算机视觉系统当做老师,那么这个例子真的很让人惊讶,学生的表现超过了老师。”

除了感知移动之外,作者还表示他们可以使用无线信号,从100个人的阵容中用83%的时间内准确地识别出某人。这种能力对于搜索和救援行动的应用可能特别有用,因为它可能有助于了解特定人员的身份。

在论文中,该模型输出一个二维的人体线图,但该团队也在努力创建3d图,这样就能反映出更小的微操作。例如,它可能会看到一个老人的手是否经常摇晃,以便提醒他们去做检查。

Zhao表示,“通过使用这种可视化数据和人工智能的组合来透视墙壁,我们可以让更好理解场景,使环境更智能,使人更安全,更高效地生活。”

发表评论