科学家研发智能戒指追踪三维手指运动及监测健康，成本低于175元

最近，美国宾夕法尼亚州立大学团队研发了一款无线智能蓝牙戒指 OmniRing。该设备是首款针对手指运动追踪和智能健康监测的智能戒指，这也是首个从视频中获取合成训练数据，以解决搜索空间为连续手指运动的问题的项目。

该设备基于集成电路设计、3D 打印材料和机器学习，目前已被开源。其特点为轻便（总重 2.5 克）、低功耗、低成本。其中，传感器及单片机处理器等材料成本不超过 175 元。

图丨无线智能蓝牙戒指 OmniRing（来源：陆泰廷）

这款智能戒指的功能包含了三维的自由手指动作追踪，该团队希望 OmniRing 可以融合元宇宙中的场景，例如用戴戒指的手在空中做手势，以此来完成对键盘、鼠标、显示器等虚拟外设的交互和使用。与此同时，该智能戒指还可实现对人体机能的监测，能够监测到心率、脉搏和血氧等相关的身体健康指标。

论文审稿人认为，该研究无论在现在还是未来都有广阔的前景，并且极具开源性。该研究得到了学术界的关注以及商业公司的合作邀请，包括可穿戴设备的研究人员、使用手语者、医生等。

“这些合作邀请激励着我们更加努力地将科研成果带出实验室，研究出改变人类生活和生产的产品。”该论文共同第一作者、宾夕法尼亚州立大学博士研究生陆泰廷表示。

近日，相关论文以《一个戒指来监测所有：用于手指运动分析和医疗保健应用的开源智能平台》（One Ring to Rule Them All: An Open Source Smartring Platform for Finger Motion Analytics and Healthcare Applications）为题发表于 ACM/IEEE Conference on Internet of Things Design and Implementation，并获得物联网边缘智能领域的最佳论文奖之一[1]。

该论文共同第一作者为宾夕法尼亚州立大学周浩、陆泰廷，通讯作者为该校马汉斯·戈尔达（Mahanth Gowda）教授。

图丨相关论文（来源：ACM/IEEE Conference on Internet of Things Design and Implementation）

一直以来，戈尔达实验室专注于研究应用机器学习到可穿戴设备。此前，他们曾研发手指运动追踪的设备 ssLOTR [2]，其外形类似于 Tapstrap 的穿戴式设备。研究人员把传感器放置在每个手指，以追踪手指的运动。

用户在佩戴传感器时，可能会进行日常生活的活动，例如在笔记本电脑上工作（打字、浏览等）、吃饭、喝酒、看电影等。曾有用户反馈设备较重，长时间佩戴不舒适，而且由于带子的原因，手指的活动或多或少会受到限制。

基于此，该课题组开始了 OmniRing 的研究工作。在开始项目前，他们遇到三个难题：第一，在以往研究中，没有将所有的电子部件嵌入到一个戒指中的案例；第二，市面上的智能戒指并不提供源数据和电路设计；第三，缺少可穿戴设备的大量公共训练数据。

为解决上述问题，该团队通过利用柔性印刷电路板、3D 打印和低成本制造方面的创新，设计了一个感应嵌入式卫星，以实现具有长电池寿命和小尺寸的连续感应，用于运动分析和医疗保健的各种应用。

“我们展示了利用 OmniRing 从公共视频中提取训练数据进行三维手指运动跟踪的可行性，并开发了一个基于变压器的架构。该架构可以识别手指间的关联机会，以跟踪所有手指，而无需在所有手指上放置传感器环。”陆泰廷说。

与此同时，研究人员还进行系统性用户研究，以验证 OmniRing 在日常生活中的舒适度和接受度，以及验证三维手指运动跟踪的性能，包括对用户多样性的鲁棒性、传感器位置的变化以及在自由生活条件下的能力等。

并且，研究团队还为社区开放 OmniRing 的源代码，以扩展其在硬件和应用方面的新功能。

（来源：陆泰廷）

在该论文中，作者们展示了在当前 OmniRing 设计中纳入惯性传感器和光电容积描记（Photoplethysmography，PPG）传感器的可行性。惯性传感器可用于活动识别的若干应用，而红外无损检测传感器则可用于健康分析应用，包括心率、睡眠和情绪监测。

陆泰廷表示：“我们只触及了表面，额外的传感器，如心电图和 EDA，可以被纳入心脏疾病检测和压力水平的应用中。”

此外，整合触摸和触觉传感器可以在游戏等应用中向用户提供反馈。虽然在一个戒指中包含所有传感器的空间可能有限，但如果用户愿意在多个手指上佩戴戒指，不同的传感方式可以被整合到不同的戒指中。

目前，该团队正在探索这一系列的问题，他们希望社区能够扩展该平台，以实现新可能性。目前，通过 OmniRing 中的惯性传感器将传感器数据发送到一个智能手机应用程序进行分析。然而，鉴于 CPU（ARM 的Cortex-M4）可以支持信号处理和机器学习，研究人员将考虑设备上计算/预处理和卸载传感器数据之间的矛盾，作为团队未来工作的一部分。

“虽然在论文中我们专注于运动分析和医疗应用，但该平台可扩展到生物识别认证的应用。例如，心跳模式被认为是一个人的指纹，OmniRing 中的 PPG 传感器的心率可被用来作为个人生物特征的识别特征。”他说。

图丨陆泰廷（来源：陆泰廷）

该设备应用场景多样，未来可以将激励器进一步整合到 OmniRing 中，为用户提供触摸和触觉反馈。

而随着个性化日常生活监测的流行，智能设备正在帮助人们适应积极和健康的生活方式。陆泰廷表示：“我们相信 OmniRing 的外形设计可以让人们舒适地长期佩戴，它可以帮助监测日常的生活活动，包括跑步、吃饭、喝水、刷牙、睡眠周期等。”

通过用 OmniRing 感知手部运动模式，有望开发一款警报系统来识别危险或疏忽的驾驶，从而提高安全性。同样，它也可以警告司机不要在驾驶时与手机互动。

该设备可能为教员提供根据学生的情绪状态调整教学内容的能力，可以使学习更有吸引力和乐趣。OmniRing 有可能通过监测 PPG 传感器记录的心脏跳动间隔，来解释学生的情绪状态。此外，该设备还可不断评估自闭症患者和抑郁症患者的精神状态，这可以为医疗保健提供者提供重要的反馈。

另一方面，OmniRing 还可以通过帮助有特殊需要的人进行互动或控制设备来实现无障碍应用。在手语识别方面，该团队介绍，OmniRing 可以实现手指运动跟踪，以帮助识别手语并将其翻译成口语，从而缩小聋人和听人之间的沟通差距。

该智能戒指可用于日常生活中监测心脏病、高血压等疾病的患者的心率、血压和情绪状态。这不仅有助于通过向医生提供精细的反馈来更好地监测疾病，而且有可能通过减少去医院的次数，进而降低相关医疗费用。

（来源：陆泰廷）

陆泰廷在加州大学欧文分校完成了计算机科学和电子工程的双学士学位。他目前正在宾夕法尼亚州立大学电子工程和计算机科学系攻读博士学位，与导师戈尔达教授合作，正在开发融合多传感器和智能算法的新型传感系统。

周浩目前正在宾夕法尼亚州立大学攻读博士学位。作为研究助理，周浩与导师戈尔达教授和团队在手部追踪、手语翻译、家居健康监测等。他表示：“我专注于在计算机视觉大方光彩的诸多领域上研究成本低、鲁棒性强、稳定性高的物联网系统，让人人有权享受科技赋能的美好生活。”

“当然，我们的使用设备得出的数据和结论都是面向全社会，同样包括学术界、现实应用领域、盈利组织都可以使用我们得出的数据和结论，我们希望未来更多的合作参与到可穿戴设备的研究和使用。”陆泰廷最后说道。

参考资料：

1.Hao Zhou，Taiting Lu ACM/IEEE Conference on Internet of Things Design and Implementation，May 2023 Pages 27–38 https://doi.org/10.1145/3576842.3582382

2.Hao Zhou，Taiting Lu the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies，6， 2: 90，1–31. https://doi.org/10.1145/3534587https://doi.org/10.1145/3534587