苹果眼动追踪新专利曝光：可通过生物反馈确定用户注意力，以增强娱乐、学习体验

不久前，有消息称苹果正在开发一个AI驱动的情绪跟踪和健康教练应用程序和/或服务。彭博社的Mark Gurman表示：“苹果公司正在开发一项由AI驱动的健康教练服务和跟踪情绪的新技术，这是其用健康和保健功能吸引用户的新尝试。”更具体地说，“新的辅导服务（代号为Quartz）旨在让用户保持锻炼的动力，改善饮食习惯，并帮助他们改善睡眠。” 沿着同样的思路，苹果在欧洲的一项新专利从另一个方向扩展了他们对健康的关注。

苹果公司在欧洲申请的这一专利名为“基于眼球的生物反馈”，于2023年4月12日在欧洲公布。该专利涉及到用XR头显显示内容，以确定用户在显示内容时的专注状态。

苹果公司在其专利背景中指出，用户在电子设备上观看内容时的认知或专注状态，会对用户的体验产生重大影响。

例如，在扩展现实（XR）环境中使用头戴式设备（HMD）时保持专注和参与，可能是有意义的体验所需要的，如冥想、学习新技能、观看教育或娱乐内容、阅读文件等。用于评估用户观看和与内容互动的专注状态的改进技术可以提高用户对内容的享受度、理解和学习。此外，内容可能不会以一种对特定用户有意义的方式呈现。内容创作者和显示系统可能能够提供更好、更有针对性的用户体验，使用户更有可能在能够确定认知状态的基础上享受、理解和学习。

苹果公司的专利涵盖了设备、系统和方法，这些设备、系统和方法根据用户的注视特征确定用户在展示内容（例如，视觉和/或听觉内容，可能包括现实世界的物理环境、虚拟内容或每种内容的组合）期间或之后的注意状态，以增强体验。

虽然该专利可能侧重于XR头显的使用，但苹果公司指出，他们的系统也可以适用于iDevice、MacBook和iMac/桌面电脑，向用户提供内容（例如，视觉和/或听觉体验），并通过传感器获得与用户对内容的反应有关的生理数据（例如，注视特征）。

基于获得的生理数据，所述技术可以通过对用户的凝视特征进行分类，确定用户在呈现（例如，冥想体验）期间或之后的专注状态（例如，冥想与思维游离）。

基于分类的注视特征，技术可以向用户提供反馈，即当前的注意状态与内容的预期注意状态不同，推荐类似的内容或内容的类似部分，和/或基于当前的注意状态与内容的预期注意状态不同，调整内容或对应于内容的反馈机制。

在一个示例性的实施中，将冥想和正念练习与本专利中描述的技术相结合，可以通过向个人提供冥想表现的实时反馈来增强冥想体验。

在XR环境中使用HMD时，在冥想期间保持专注和参与，可以改善用户的冥想练习，并帮助用户获得与冥想相关的益处。

例如，对冥想感兴趣的新手可能难以在冥想过程中专注于任务，他们可能会从对其表现的准确反馈中受益。本专利中描述的技术可以根据用户的注视特征的变化来检测用户在冥想时何时分心。

在冥想过程中找到注意力缺失的定义标记并提供表现反馈，可以增强用户体验，从冥想课程中获得额外的好处，并为用户提供指导性和支持性的教学方法，以推进他们的冥想练习。

眼球注视模式可以根据个人的注意力状态和面前场景的特征而变化。这些模式可以在用户执行需要不同程度注意力的正念任务时，在使用带有眼动追踪技术的HMD时获得，例如集中注意力进行呼吸冥想。

在冥想过程中，注意力会向呼吸方向波动。当一个人在睁眼冥想任务中专注于他们的呼吸时，眼睛注视的时间可能会慢，并被限制在场景的一个特定区域。当一个人失去注意力并开始游离时，眼睛注视的稳定性可能会下降和/或眼睛注视的速度可能会增加。

观察一段时间内（几秒钟到几分钟）眼球注视速度和位置的重复测量，可以了解用户在不同时间尺度上的基本注意状态。这些注意力的指标可以用来在冥想体验中提供反馈。

图源：patentlyapple

苹果公司的专利图1说明了一个显示视觉体验并从用户那里获得生理数据的设备；图2说明了图1中用户的瞳孔，其中注视特征随时间变化。图3是一个流程图，表示对注视特征的变化进行分类以确定用户的专注状态的方法。

苹果公司的专利中，图4A和4B是说明用户在两种不同的注意状态下的目光特征变化的图表；图5A和5B是说明用户在两种不同的注意状态下的目光特征变化的图表。

图源：patentlyapple

在苹果公司的专利图6中，我们能够看到一个框图，说明一个示例性设备的设备组件；图7是一个示例性头戴式设备（HMD）的框图。

苹果这项专利于2020年申请，并于2023年4月12日在欧洲公布，编号为EP4162345。

开发人员、内容创作者和教育工作者可能会对苹果公司的发明产生浓厚的兴趣，因为他们知道用于头戴式设备的眼动追踪生物反馈系统可以使他们未来的客户和/或学生在观看内容时保持更深的注意力状态，增强他们的学习和/或娱乐体验。