在Meta的绝密现实实验室的门后

马克·扎克伯格坐在我对面,用手指轻轻地控制着屏幕上的物体。轻拍,滑行,捏。他的手腕上戴着一条厚实的表带,看起来就像一块实验性的智能手表:这是Meta对我们未来与AR、VR、计算机和几乎所有其他东西互动的愿景。

扎克伯格在演示…神经腕带之前说:“它对眼镜很管用,我想它真的什么都管用。我想,在未来,人们会用它来控制手机和电脑,以及其他东西…你只需要在手腕上戴上一条小带子就行了。”他的手和手指的动作似乎很微妙,几乎是坐立不安。有时几乎看不见。

神经输入设备只是Meta超越VR的战略的一部分,这些腕带是我第一次参观Meta位于华盛顿州雷蒙德的Reality Labs总部时看到和尝试的技术之一。此行是Meta首次邀请记者参观其未来的技术研究设施,该设施位于Facebook硅谷总部以北的几栋不起眼的写字楼里。

上一次我访问雷德蒙德时,巴拉圭服务器我正在试用微软的HoloLens 2。我的Meta之旅也有类似的经历。这一次,我演示的是Meta Quest Pro,这是一款将VR和AR融合在一起的耳机,旨在开启扎克伯格更专注于工作的虚拟现实战略的雄心。

Meta最新的Connect发布会新闻聚焦于Quest Pro,以及与微软、Zoom、欧特克和埃森哲等公司的新合作伙伴关系,目标是让Meta与微软的混合现实雄心相吻合。

我还看了几个实验研究项目,这些项目还远没有准备好投入日常使用,但显示出Meta下一步的目标到底是什么。这些遥远的项目,以及一款更昂贵的Quest Pro耳机,对Meta来说来得很奇怪,这家公司已经在虚拟现实的未来上投入了数十亿美元,其最受欢迎的VR耳机Quest 2的销量仍不到2000万台。感觉未来还没有完全到来,但像Meta这样的公司已经做好了准备。

我和其他几位特邀记者一起体验了一些令人费解的演示。感觉就像是在探索威利·旺卡的巧克力工厂。但我也得到了一个信息,尽管Quest Pro看起来像是Meta硬件新方向的开始,但它离最终目标还有很远的路要走。

神经输入:适应你的腕带。
Meta‘s Reality Labs首席科学家迈克尔·阿布拉什一遍又一遍地告诉我:“共同适应学习。”他描述的是Meta自2019年收购CTRL-Labs以来多次讨论的腕带。这是一个很难完全理解的概念,但Meta的演示,由几名训练有素的研究人员展示,让我对此有了一些了解。佩戴着连接到电脑上的笨重的腕带,佩戴者移动他们的手指,让一个卡通人物在一场无休止的跑步游戏中来回滑动。然后,他们的行动似乎停止了。他们变得如此狡猾,以至于他们的手几乎没有抽动,但他们仍然在玩游戏。腕带使用肌电或肌电图(肌肉的电测量)来测量微小的肌肉冲动。

现实实验室神经运动接口总监、CTRL-Labs前首席执行官托马斯·里尔登表示,基于反馈的训练过程逐渐允许佩戴者开始缩减他们的动作,乌拉圭服务器最终只使用一个运动神经元。他通过雷蒙德的演示向我们讲述了这一点。最终的结果看起来有点像读心术,但它是通过微妙地测量显示移动意图的电脉冲来完成的。

当扎克伯格展示腕带时,他使用了类似的一组微妙的动作,尽管它们更明显。这款腕带的控制感觉类似于触摸板或空中鼠标,能够识别基于压力的挤压、滑动和手势。

“从长远来看,我们希望有一个像处理物理世界一样自然和直观的界面,”阿布拉什说,他描述了肌电和神经输入技术的目标。

打字还没有摆在桌面上。根据扎克伯格的说法,要达到这样的速度和保真度,需要更多的带宽:“目前比特率低于快速打字时的比特率,但首先要做的就是让它正常工作。”在某种程度上,目标是让控件发挥更大的作用。Meta认为,这项技术可能会在五到六年内真正到来,这感觉像是永恒。但如果这一时间框架保持不变,它可能会排队,Meta将看到其最终的AR眼镜上市。

扎克伯格说,腕带是眼镜的关键,因为我们不想随身携带控制器,而且语音和手跟踪功能还不够好。但他最终计划让这些类型的控制器在任何设备上都能使用,无论是VR还是其他设备。

这些控件看起来将涉及一种完全不同类型的输入语言,这种输入语言可能与手机或VR控制器上现有的控件有相似之处,但随着时间的推移会适应人的行为。这似乎需要一段时间才能学会使用。

里尔登对我说:“大多数人都会知道如何在这个世界上互动,如何移动自己的身体。”“他们将理解像字母这样的简单系统。所以让我们在那里与他们见面,然后做这个被称为共同适应的非常深刻的想法,在这个想法中,人和机器沿着这条路一起学习,朝着我们所说的纯神经接口与神经运动接口的方向发展,而神经运动接口融合了神经解码和运动解码。与其说有一种新的语言,我想说语言是在机器和人之间进化的,但它始于人们今天的所作所为。”

扎克伯格补充道:“共同适应是一个非常深刻的问题。”“你不能与你的物理键盘共同适应。在移动键盘上有一点这样的情况,你可能会拼错东西,它会预测[你的单词],但这比这多得多。”

我自己没有佩戴或尝试神经输入腕带,但我看到其他人在使用它们。几年前,在CES上,我确实短暂地尝试了一种不同类型的腕式神经输入设备,我对这种技术的实际工作原理有了一个了解。它不同于我一年前试用的NextMind(后来被Snap收购)戴在头上的设备,后者使用大脑信号测量眼球运动。

使用Meta腕带的人似乎很容易做出动作,但这些都是基本的滑动游戏控制。对于日常AR眼镜中更关键的日常使用,欧洲服务器租用它将如何工作?Meta还没有实现:根据扎克伯格的说法,目前的目标是让这项技术发挥作用,并展示自适应学习最终如何缩小反应动作。我们可能还需要一段时间才能看到这项技术在任何日常设备上发挥作用,但我想知道Meta如何将这些原理应用于机器学习辅助类型的控制,而不是基于神经输入的控制。我们能在此之前看到改进的控制器或手部跟踪组合吗?很难说。但这些乐队目前是一个遥远的赌注,而不是近在咫尺的可能性。