您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
AI能够重现你的视觉：Mind’s Eye模型如何将脑部扫描变成图像
2023年06月15日 由 Neo 发表
266515
0
我们一直想要弄清楚我们的大脑是如何工作的。神经科学领域已经取得了很多进展，但是我们对大脑的细节运作仍然知之甚少。我们正在努力寻找答案，但是还有很多难题等待我们去解决。
神经科学一直致力于破译大脑活动和认知状态之间的复杂关系。如果我们能够深入了解环境输入是如何在神经过程中被编码的，就能够大大提高我们对大脑及其机制的认识。最近，计算方法的发展为揭开这些奥秘提供了新的机会，其中功能性磁共振成像（fMRI）是一种非常强大的工具。fMRI可以通过检测血氧水平的变化来测量神经活动，并已经在实时临床环境中得到了应用。
fMRI的一个特别有前途的应用是它在脑机接口中可以实现心灵读取。通过解码神经活动模式，我们可以推断出一个人的心理状态，甚至从他们的大脑活动中重建图像。以前在这一领域的研究主要采用了简单的映射方法，例如岭回归，来将fMRI活动与图像生成模型联系起来。
MindEye的目标是从大脑活动中解码环境输入和认知状态。它利用大规模MLP、对比学习和扩散模型的组合，将fMRI体素映射到预训练CLIP模型的图像嵌入潜在空间。该模型由两个管道组成：高层（语义）管道和低层（感知）管道。
在高层管道中，fMRI体素被映射到CLIP图像空间，这个空间更具有语义性。然后使用对比学习来训练模型，并将fMRI作为一个额外的模态引入到预训练CLIP模型的嵌入空间中。为了提高模型性能，使用了mixup对比数据增强的双向版本。
低层管道则将fMRI体素映射到稳定扩散变分自编码器（VAE）的嵌入空间。该管道的输出可以用于重建模糊图像，这些图像在低层图像指标方面达到了最先进的水平。由于输出质量不高，因此最后使用img2img方法来进一步改善图像重建效果，同时保持高层指标。
MindEye在图像重建和检索任务方面都取得了最先进的结果。它产生了高质量的重建，与原始图像的低层特征相匹配，并在低层和高层图像指标方面表现良好。MindEye得到的不连续的CLIP fMRI嵌入在图像和大脑检索任务方面也表现出优异的性能。
来源：https://www.marktechpost.com/2023/06/14/ai-see-what-you-see-minds-eye-is-an-ai-model-that-can-reconstruct-brain-scans-into-images/
神经科学一直致力于破译大脑活动和认知状态之间的复杂关系。如果我们能够深入了解环境输入是如何在神经过程中被编码的，就能够大大提高我们对大脑及其机制的认识。最近，计算方法的发展为揭开这些奥秘提供了新的机会，其中功能性磁共振成像（fMRI）是一种非常强大的工具。fMRI可以通过检测血氧水平的变化来测量神经活动，并已经在实时临床环境中得到了应用。
fMRI的一个特别有前途的应用是它在脑机接口中可以实现心灵读取。通过解码神经活动模式，我们可以推断出一个人的心理状态，甚至从他们的大脑活动中重建图像。以前在这一领域的研究主要采用了简单的映射方法，例如岭回归，来将fMRI活动与图像生成模型联系起来。
MindEye的目标是从大脑活动中解码环境输入和认知状态。它利用大规模MLP、对比学习和扩散模型的组合，将fMRI体素映射到预训练CLIP模型的图像嵌入潜在空间。该模型由两个管道组成：高层（语义）管道和低层（感知）管道。
在高层管道中，fMRI体素被映射到CLIP图像空间，这个空间更具有语义性。然后使用对比学习来训练模型，并将fMRI作为一个额外的模态引入到预训练CLIP模型的嵌入空间中。为了提高模型性能，使用了mixup对比数据增强的双向版本。
低层管道则将fMRI体素映射到稳定扩散变分自编码器（VAE）的嵌入空间。该管道的输出可以用于重建模糊图像，这些图像在低层图像指标方面达到了最先进的水平。由于输出质量不高，因此最后使用img2img方法来进一步改善图像重建效果，同时保持高层指标。
MindEye在图像重建和检索任务方面都取得了最先进的结果。它产生了高质量的重建，与原始图像的低层特征相匹配，并在低层和高层图像指标方面表现良好。MindEye得到的不连续的CLIP fMRI嵌入在图像和大脑检索任务方面也表现出优异的性能。
来源：https://www.marktechpost.com/2023/06/14/ai-see-what-you-see-minds-eye-is-an-ai-model-that-can-reconstruct-brain-scans-into-images/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
下一篇
微软和OpenAI的开局艰难
广告
广告
写评论取消
回复取消