今天的电子设备为用户提供了许多与周围世界互动的方式。例如，用户可以使用键盘、鼠标、触摸屏、触摸笔和操纵杆与电子设备交互。

随着混合现实技术的兴起，用户经常以额外的方式提供输入。例如，用户可以触摸真实的物体，并以混合现实的方式与它们进行交互。然而，真实对象交互通常不包括用于检测用户触摸的触摸传感器。

举例来说，用户经常与数字信息交互的一种方式是通过触摸屏界面。触摸屏界面允许用户使用手指、触笔或其他手段与显示表面交互。触摸传感器可以识别触摸区域并向用户提供响应。

针对这种情况，苹果针对混合现实提出了名为“Imu For Touch Detection”的专利申请，并描述了手表或戒指等可穿戴设备。

值得一提的是，苹果针对AR/VR提出了很多环设备的发明，比如“带传感器和触觉的手指安装设备”。

专利主要描述了接触物理表面的系统。总的来说，苹果推出了一项技术，使用惯性测量单元来识别用户在物理环境中触摸表面的时间，以及一项提供相关响应的技术。

根据一个或多个实施例，诸如手表或戒指的可佩戴设备可以由与物理环境交互的用户佩戴。可穿戴设备可以包括惯性测量单元。IMU可用于跟踪力、加速度或声音信号。

在一个或多个实施例中，可穿戴设备可以由用户在物理环境中穿戴。特别是，可穿戴设备可以佩戴在手臂、手腕或手指上。在一个或多个实施例中，触摸事件可以根据来自惯性测量单元的传感器数据来确定。例如，检测到的力可以指示触摸事件。触摸事件可以指示触摸对象和表面之间的接触。表面可以是真实环境中对象的一部分，或者可以是用户的另一部分，例如手或手指。

响应于检测到触摸事件，可以获得触摸事件的触摸图像。触摸图像包括触摸对象和触摸表面。第二设备可以捕获触摸图像。触摸图像可以是RGB图像或深度图像。根据触摸的图像，可以确定触摸的表面，并且可以根据触摸的表面向用户提供响应。

在一个或多个实施例中，可以使用触摸图像来生成或细化触摸对象的模型。具体而言，由第二设备捕获的图像可能不捕获触摸对象与表面接触的部分。然而，在一个或多个实施例中，触摸对象在触摸点的几何数据可以根据触摸图像的深度信息来确定。例如，可以从触摸点被触摸对象遮挡的角度获取深度图像。例如，从用户的角度来看，指尖接触表面可能被手阻挡。

根据触摸图像和触摸检测的综合数据，可以生成或完善手指、手或手臂等触摸对象的模型。例如，即使手指的触摸部分被阻挡，系统也可以根据手指触摸的表面的相对位置和手指的可见部分在触摸图像中的深度信息来确定手指的具体长度。触摸图像可以用作参考图像来确定手指和表面之间的接触状态。例如，释放运动，即手指远离表面，可以通过将参考图像与当前捕获的图像进行比较来确定。

在一个或多个实施例中，触摸图像可以用于确定触摸的假阳性。例如，惯性测量单元可以根据特定的力来检测触摸，但是该力可以独立于触摸。例如，该力可能与手臂或手腕的抽搐有关。因此，在一个或多个实施例中，第二设备可以在检测到触摸事件时捕捉触摸图像，并根据触摸图像确定触摸事件是否是真实的触摸事件。例如，当检测到触摸事件时，如果捕获的图像显示触摸对象不在表面附近，则可以确定检测到的触摸事件是假阳性触摸事件。基于深度学习的方法可用于将真实触摸事件与其他非触摸事件进行分类。分类可以基于惯性测量单元数据。深度学习网络可以是LSTM、RNNN或任何与时间相关的网络。

专利相关:用于触摸检测的Imu

名为“Imu For Touch Detection”的苹果专利申请于2019年9月提交，几天前由美国专利商标局公布。