利用所有感官的信息对于构建强大而丰富的环境表示至关重要。但是，鉴于大量的多感官信息不断轰炸着我们，我们的大脑如何知道哪些信号会在一起，因此需要进行组合?以及如何整合这些相关信号?来自比勒费尔德大学的卓越认知交互技术集群(CITEC)和马克斯·普朗克生物控制论研究所的科学家提出了一种计算模型，该模型利用令人惊讶的简单处理单元解释了人类的多感官整合。这项研究由伯恩斯坦计算神经科学中心资助，发表在《自然通讯》上。

突然爆炸，破裂的声音和闪烁的灯光。眨眼间，您就会发现声音和灯光属于同一部分，您俯视并在人行道上看到鞭炮。人脑在处理多感官信息方面出奇地有效。但是，我们仍然不知道它如何解决看似简单的任务，即确定声光是否属于同一类。CITEC研究小组“认知神经科学”的负责人塞萨里·巴黎(Cesare Parise)博士说：“弄清感官之间的对应关系绝非易事。”巴黎人同时也是马克斯-普朗克生物控制论研究所的活跃分子，是这项新研究的主要作者，他与比勒费尔德大学进行研究直至2016年3月的马克·恩斯特教授共同撰写了该论文。尽管起源于相同的物理事件，但是视觉和听觉信息是在很大程度上独立的神经通路中进行处理的，但是，尽管没有明显的努力，我们仍可以立即分辨出哪些信号属于同一信号。即使对于最先进的机器人，这样的任务也将具有挑战性。”

为了了解人类如何结合视觉和听觉信息，志愿者同意参加一项感知实验，在该实验中，他们观察到了随机的点击和闪烁序列。在每个序列之后，他们必须报告声音和光是否在感觉上被拉长，并且哪个信号首先出现。统计分析表明，人类的反应是由点击和闪烁的时间序列的相似性(即相关性)确定的。March Ernst教授说：“这是一个非常重要的发现，不仅因为它表明大脑利用声光的时间相关性来检测它们是否与身体相关，而且还因为它打开了一个更大的界限。有趣的问题：大脑如何检测各种感官之间的相关性?”

为了回答这个问题，Parise和Ernst使用了计算模型和计算机模拟，并确定了可以紧密复制人类感知力的基本神经机制。这种机制称为“多感官相关检测器”，可以监控感觉并在视觉和听觉信号之间寻找相似性(相关性)：如果刺激具有类似的时间结构，则大脑会得出结论，它们属于一起，并整合了这些刺激。足够明显的是，这种机制出奇地类似于在昆虫大脑中发现的运动检测器。

“这令人兴奋，因为它表明大脑系统地利用了通用处理策略，该策略可以在非常不同的感知领域中实现，其中信号之间的相关性是关键特征，例如视觉运动的感知，双眼的3D感知差异，双耳听力以及现在的多感觉处理。此外，这种相关机制可以在非常不同的动物物种中找到，从昆虫到脊椎动物，包括人类，”刚刚在乌尔姆大学接受新职位的马克·恩斯特教授说。为了进一步测试该模型的可推广性，Parise和Ernst运行了其他计算机模拟，他们使用“多感官相关检测器”模型复制了多感官知觉在时间和空间方面的一些先前发现。无需进一步更改，同一模型就能够在所有模拟研究中复制人类感知，并显示出人类发现的多感官感知的相同时空约束。