苹果公司专利申请：运动数据和骨骼数据一起使用来估计用户的身体姿势

近日，美国专利商标局公布了苹果公司的一项专利申请，该专利涉及在用户从事身体活动（如锻炼或高尔夫等运动）时监测用户的姿势和运动的系统。

苹果公司指出，许多消费者拥有智能手机、智能手表和耳机（如耳塞）。这些设备都包括运动传感器，如加速计、陀螺仪和高度计。这些设备通常包括一个或多个视频摄像头。一些更高级的设备还包括深度传感器，如TOF传感器。相机数据和/或深度数据可用于生成人体的骨骼模型。

从摄像机数据生成2D骨骼模型的技术如今已很常见，将2D骨骼模型提升到3D骨骼模型的技术也是众所周知的。3D骨骼模型为确定用户的全身姿态提供了一个很好的资源。

骨骼模型通常包括人体所有关节的位置，如脚踝、膝盖、臀部、腰部、肩部、肘部、手腕和颈部。

在一些实施例中，骨骼模型可用于生成骨骼网。这些位置是典型的相机和/或深度传感器参考框架，这往往与惯性传感器的参考框架不同。此外，运动数据和骨骼数据的数据速率可能不同，这取决于设备和/或应用程序。

苹果公司进一步指出，最好是将运动数据和骨骼数据一起使用来估计用户的身体姿势。这一信息可用于各种应用，如监测高尔夫挥杆、监测瑜伽姿势、游戏应用（例如，带有“身体运动传感器上的摄像头”的电视）、基于各运动传感器捕获的每个用户行为的独特性在多人场景中进行人物识别，以及健身教练或教练的远程监测。

图源：patentlyapple

苹果公司的专利图1A-1D说明了姿势和运动监测的应用，用于监测用户的高尔夫挥杆。

更具体地说，根据图1A和1B，估计的身体姿势可用于确定用户的高尔夫形式或姿态是否正确。这可以通过对佩戴在用户手腕上的智能手表的位置和方向进行运动学建模来完成。例如，智能手表提供的运动数据可用于测量挥杆过程中撞击时的物理力。此外，骨骼数据可用于通过监测用户的肘关节和肩关节的位置来检测用户的形态和姿态。

苹果专利图1A-1D说明了一个示例应用，该应用可以使用由位于用户身体不同部位的不同移动设备提供的运动数据产生的预估身体姿势，与2D或3D骨骼数据和/或骨骼网格相结合。运动数据和骨骼数据的融合将在下面的专利图2中描述。

图源：patentlyapple

苹果公司的专利图2是系统#200的框图，用于用移动设备监测姿势和运动。该系统包括Apple Watch #201、骨骼数据生成器#202、校准器#203、通信管理器#204、同步器#205和身体姿势估计器#206，该系统进一步包括插值器#210和估计滤波器#211（例如卡尔曼滤波器）。在一个实施方案中，该系统也可以在iPhone、iPad、网络计算机和其他设备上实现。

苹果公司的专利图3和图4说明了图2中所示的校准器的操作。

图源：patentlyapple

苹果公司的专利图5说明了使用运动数据和骨骼数据预测关节位置的情况。

想了解更多专利细节，请查阅苹果的专利申请US 20230096949 A1。

除了这份专利外，苹果公司还申请了第二项专利，标题为“通过从多个可穿戴设备提取特征进行全身姿势估计”。

苹果公司在其专利背景中指出，可穿戴设备现在很普遍。许多消费者每天都会佩戴智能手表和耳机设备。这些可穿戴设备中的许多设备都包括惯性传感器，可以感知用户的运动。例如，嵌入智能手表的惯性传感器可以捕捉用户的手臂运动，然后由健身应用来计算各种健身指标，如用户在运动中消耗的卡路里量。一些耳部设备（如耳机）包括控制音频播放的惯性传感器，提供用于波束成形以减少背景噪音的麦克风方向数据，以及用于固定通过耳部设备播放的空间音频声场的头部追踪。

苹果公司的发明涵盖了通过从多个可穿戴设备中提取特征来进行全身姿势估计。

在一个实施方案中，一种方法包括用至少一个处理器从用户同时佩戴的多个可穿戴设备获得视点（POV）视频数据和惯性传感器数据；用至少一个处理器获得捕捉用户全身的深度数据；用至少一个处理器从POV视频数据中提取2D关键点；用至少一个处理器从2D关键点重建全身2D骨骼模型；用至少一个处理器，基于深度数据生成用户全身的3D网状模型；用至少一个处理器，将3D网状模型的节点与惯性传感器数据合并；用至少一个处理器，将2D骨骼模型和3D网状模型在共同参考框架中的各自方向对齐；以及用机器学习模型，基于对齐的2D骨骼模型和3D网状模型，预测分类类型。

在一个实施方案中，至少一个可穿戴设备是戴在用户身上或佩戴在耳朵里的耳机，至少一个可穿戴设备是戴在用户手腕上的智能手表。

在一个实施方案中，该方法由一个与可穿戴设备无线连接的中央计算设备执行。

在一个实施方案中，从多个可穿戴设备获得的高度计数据被用来在共同参考框架中调整2D骨骼模型和3D网格模型的各自方向。

其他实施方案可以包括装置、计算设备和非临时性、计算机可读存储介质。

所公开的特定实施例提供了以下一个或多个优点。所披露的实施例提供了一个更准确的全身骨骼模型，可以提供对用户运动的详细见解，允许改进各种健身活动或健康监测的进度跟踪。

例如，可以在智能手机或智能手表上为用户提供锻炼总结，其中包括各种锻炼的重复数据（例如，负重深蹲或俯卧撑的数量），以及趋势数据，如运动范围的改善。

图源：patentlyapple

苹果公司的专利图1是一个通过从多个可穿戴设备中提取的特征进行全身姿势估计的系统框图；图2显示了各种类型的锻炼的可穿戴设备的不同位置。

苹果公司的专利图3A是利用从多个可穿戴设备提取的特征进行全身姿势估计的系统框图；图3B是利用从多个可穿戴设备提取的特征进行全身姿势估计的机器学习（ML）模型的训练过程的流程图。

图源：patentlyapple

苹果公司的专利图4是使用从多个可穿戴设备中提取的特征进行全身姿势估计的流程图。

想了解更多专利细节，请查阅苹果的专利申请US 20230101617 A1。