从人工智能到应用智能，AIoT 在万物互联时代创造了“新可能”

随着 5G、人工智能、传感器等技术的演进，世界正在实现万物互融。AI 与 IoT 两种强大技术的结合增加了应用的敏捷性和灵活性。AIoT 的最大优势，就是让“人工智能”走向“应用智能”。

近日举办的 2022 OGeek 技术峰会设置了“AIoT，智联生活新未来”主题专场，OPPO 智能视觉云服务研发负责人宋佳洋、亚马逊云科技物联网产品专家蔡裕正、OPPO 智能物联架构师陈松三位技术大牛，基于端云协同的实践案例展开了 AIoT 在各场景下技术发展的讨论。

值得一提的是，“OGeek Day”是由 OPPO 数智工程事业部主办的行业技术沙龙品牌，旨在为技术爱好者搭建一个技术交流和分享的开放平台。沙龙主要围绕“科技为人、以善天下”的品牌使命，聚焦于为智能终端提供安全高效的数据、算力、算法、云服务方面的前沿技术，打造技术互动的行业生态，探索技术在行业应用的实践、突破及未来发展方向。2022 年 10 月 29 日、30 日，OGeek 技术峰会在 InfoQ 视频号进行直播，本届峰会以“云无界、端无边”为主题，与各位开发者一起探讨音视频、云渲染、AIoT、一站式应用开发等热门技术的演进方向，共建端云协同生态。

以下为“AIoT，智联生活新未来”专场的精彩内容回顾：

一、OPPO 智能视觉在智能家居中的应用

当前市面上的智能视觉家居产品已经有十余种品类，智能视觉技术在智能家居中的重要性与日俱增。于是在本专场中，OPPO 智能视觉云服务后端研发的高级工程师宋佳洋为我们深度解读了 OPPO 智能视觉技术在智能家居中的应用。

在具体技术实践中，企业构建智能家居视觉产品时主要会面临三大挑战。第一，场景化的 AI 需求，像场景化原子 AI 能力的需求点较多、根据不同场景有 AI 的定制化需求等。第二，准实时推理需求日益增长。例如智能车库识别车牌自动开门，陪护机器人监测到老人心肌梗塞后快速送药等，这些需求都需要接近实时的 AI 推理能力。第三，当前的智能视觉产品缺少人与人之间的关联互动及娱乐社交属性，应用场景比较单一狭窄。

针对上述挑战，宋佳洋介绍 OPPO 团队提出了对应的解决思路。首先是针对场景化的 AI 需求：

根据场景化 AI 需求针对性做模型训练，其次利用机器学习平台实现分布式训练和优化。

训练出的模型要有一个较好的评测机制。评测完成后要落地应用，对模型做统一封装，提供给各种应用层来接入。我们支持多种协议接入，并采用低代码的思路，根据业务的不同要求定制对应的工作流，最后根据这个工作流与 OPPO 云函数计算平台结合，实现任意 AI 原子能力的组合式调用和推理。

自动反哺。在整个 AI 应用过程中会有很多边缘场景，需要不断打磨模型，针对边缘场景优化。我们研发了异常数据统一导入和自动标注平台，异常数据导入和标注后模型会自动训练、发布版本，最终通过测试数据集生成评测结果。如果模型确实有优化就能投入实用。这样就实现了场景化 AI 从训练到应用再持续迭代的成果。

其次，针对准实时推理需求，OPPO 打通了 ORTC 服务，实现端侧从触发推流到云通信 200 毫秒的延迟。为提升推理性能，研发团队采用了数据预处理等方法，并对模型本身做更多优化，引入多卡联合优化。团队还利用英特尔 OMP 加速指令改进了暗光增强等场景的性能。

针对智能视觉产品娱乐功能不强的现状，OPPO 推出了智能内容索引及内容创作服务，例如可以使用录制视频中的宠物片段快速生成 Vlog 等。

智能终端设备的能力离不开强大的云服务提供的支持。OPPO 构建了统一的智能视觉云服务，为智能手机、智能电视、AR 眼镜等终端产品解决了算力、场景建设、安全隐私等方面的需求。

图：OPPO 智能视觉云

值得一提的是，针对智能视觉产品，OPPO 还构建了智能摄像头通用解决方案。这套方案可以应用于各种场景，不同场景依赖的原子 AI 能力、联动场景及触发行为各有不同。

图：解决方案场景应用

未来，这套智能视觉云服务将在不同的场景下发挥更多作用，例如在全屋智能方面带来更多创造力、在 AR/VR 的手势识别、体感、姿势识别等方面带来更多创新应用，或是通过智能视觉技术更好地呵护老人等。在智能视觉技术的帮助下，OPPO 的智能家居产品也将为用户带来更好的体验。

二、亚马逊智能硬件新品

“家庭机器人 Astro”背后的技术解密

2010 年以来，亚马逊云科技开发了很多仓储机器人、无人送货机器人、智能监控无人机等产品。去年亚马逊云科技推出了服务型机器人 Astro，可以用来监控家庭安全状况、联动控制其他智能家居产品等。亚马逊云科技物联网产品专家蔡裕正在本专场中解读了 Astro 背后的技术。

如今的亚马逊云科技提供了机器学习、物联网、数据湖、数据库、数仓等能力及多达 200 种服务，包括分析服务、管理服务甚至游戏数据库服务，为开发者提供了多样化的技术底座，从而大幅减少上述时间和人力成本。

以智能机器人为例，其背后涵盖了许多服务。例如开发者可以利用 AWS RoboMaker 进行云端模拟仿真，利用 Amazon SageMaker、Amazon Rekognition 实现机器学习需求等。开发者可以像积木一样堆叠或添加所需的功能。

AWS RoboMaker 是亚马逊云科技的云端机器人服务。开发者可以用 RoboMaker 来开发和模拟机器人程序、控制管理多台机器人、进行固件更新或远程分析等。开发者还可以调用语音、对讲、视频等服务来为机器人快速添加功能。RoboMaker 可以生成许多随机模拟世界，构建机器人的仿真运行环境，开发者可以调整地面材质、家具摆放等参数，或模拟空中、海面等环境，或控制多台机器人进行联动测试等，进而快速收集运行数据。

Alexa 也是 Astro 背后的一项关键技术。Alexa 在欧美是非常流行的语音服务，在音箱、电视、智能手机、穿戴设备、电脑、安防、电器、玩具等设备上都有应用。除硬件集成外，软件开发者也可以利用 Alexa 给客户带来新的体验，例如 TikTok 便是通过 Alexa 语音控制短视频播放等。亚马逊云科技还同 NXP、高通等硬件厂商合作，制造集成 Alexa 的 IoT 开发板，帮助智能设备厂商提升开发速度。这些开发板能够将边缘侧的算力需求交由云端完成，从而减少成本。

此外，亚马逊云科技的 Kinesis Video Streams 服务能够获取存储媒体流，在云端播放、分析，或调用 Rekognition 服务进行场景或图像检测、人员识别，进而应用在机器人设备上。Astro 机器人的场景和人员识别能力背后都有这一服务的身影。

亚马逊云科技物联网服务是 Astro 机器人背后的另一大基础设施。物联网服务可以通过连接控制服务接入云端数据分析、AI 等服务上，最后再将机器学习模型部署到设备上，形成了 AIoT 的闭环应用。在物联网服务的帮助下，Astro 机器人能够利用亚马逊云科技云端强大的机器学习能力，改善与用户的交互体验。

Astro 机器人是亚马逊云科技云端技术能力在终端的一次集中体现。如今，越来越多的厂商开始使用亚马逊云科技提供的众多云端能力，为自己的智能硬件带来竞争优势。由此可以看出，终端硬件与云端能力的结合是智能硬件产品的“取胜之道”，Astro 机器人的成功经验非常值得其他厂商学习总结。

三、极致体验：OPPO 智能家居生态实践

智能家居产业是近年的热点，因国家政策和用户需求拉动，发展速度较快。OPPO 几年前就提出了围绕智慧学习、智慧生产、智慧文娱和智慧健康这四个主题来寻求突破的技术战略。其中智能家居能够给用户带来实实在在地便利，例如语音控制能够解放双手，及时提醒功能可以避免浪费和遗忘，远程操控在外出时带来便利等。但在实践中，用户的多种智能设备可能来自不同品牌，各自需要自己的 APP 来控制，无法实现联动，体验非常割裂。这一问题的根本原因在于不同平台标准不同、底层协议不互通。OPPO 进入智能家居领域后就在设法解决这一问题。本专场中，OPPO 智能物联架构师陈松就围绕这一主题展开了分享。

如今，“标准混乱”是智能家居用户体验领域的常见问题。为此，OPPO 在“统一标准”这件事儿上做了许多努力，除了自研并对外推广 Heythings 家居互联协议外，OPPO 还对众多巨头发起的 Matter 协议做了深度支持。这意味着 OPPO 的智能家居产品能够与其他厂商兼容 Matter 协议的产品互联互通，最大程度得缓解了用户在使用过程中的“厂商绑定”尴尬。

标准统一后要解决的是设备配网的体验。传统的智能家居设备初次接入家庭局域网的操作复杂且缓慢，往往让用户头痛不已。对此，OPPO 实现了设备一键闪连，并通过系统内部架构和交互流程的优化提升了系统稳定性并降低了延迟。

一键闪连本质上是基于 Heythings 协议对 Wifi 网络所做的优化。值得一提的是，普通的配网流程分为 5 个步骤，Heythings 协议的配网流程也类似，有 7 步，1、5、6、7 是绑定过程，2、3、4 是配网流程。“一键闪连”就是针对 2、3、4 步做的优化。

需要注意的是，Wifi 协议是帧格式，分为管理帧、控制帧和数据帧。管理帧有 11 种类型，有关联的请求响应、重关联请求响应、探测请求响应、信标帧、ATIM 帧、接触认证等。Wifi 协议的 Probe 探测帧和信标帧中有一信息元素叫 Vendor Specific，允许厂商自定义数据，且这个元素在同一帧里可以重复，意味着它可以传输较多数据。一键闪连就是利用该特性来自定义交互数据，实现设备的自动发现和配网。

一键闪连的流程中，配置提供端是手机 APP，配置接收端是智能设备。设备主动发出热点给 APP 探测，后者选择热点后可以通过探测帧携带经过 ECDH 密钥协商加密的配网数据发送给设备。设备解密数据就可以连接 Wifi。作为对比，普通设备配网流程需要 20 步左右，而一键闪连是一步到位。前者需要 20-30 秒，后者只需 10 秒左右，大大提升了用户体验。

除了 C 端用户，B 端开发者也对智能家居产品生态有着巨大影响。OPPO 针对开发者体验做了很多优化工作，例如开发者可以一键式同步模型和流程配置，UI 工作台可以一键生成配网页、控制页设备卡片等。OPPO 还提供了成熟的设备 SDK 和 APP 插件，以及强大的 IoT 平台，可以极大减少开发工作量。

OPPO IoT 平台的目标是实现高可用、高性能、高安全、易扩展等特性。平台业务架构分为三大业务域，各自有一系列业务能力：

对应的技术架构采用分层设计，上层包括应用层、网关、接入层和微服务层，下层是缓存和持久化层。该架构依托于 OPPO 强大的云平台，包括自研 API 网关、自研消息队列 OMQ、自研对象存储 OCS、自研的服务治理、自动化运维和全链路监控等。

APP 后端的核心模块交互，则具体描述了云云接入和直连接入两种方式的交互流程。APP 经过网关接入到云端业务服务，这里的模型转换会将 Heythings 指令转换成厂商能识别的模型、指令再接入到设备。直连的业务则经过 MQ 到消息分发再到接入服务，下发指令到设备。可以看到设备也可以上报状态，云端随之更新设备影子，用户也可以做固件升级。

为实现高安全性，需要从全局考虑，包括架构设计、流程制度、生产营销等各个环节，上述架构的网关接入层有权限校验、接口鉴权，业务服务有敏感字段的加密存储和日志脱敏处理等常规设计。设备接入使用三级证书做双向认证，安全套件使用的则是 TLS_ECDH_ECDSA_WITH_AES_256_GCM_SHA256。

为实现高性能，上述架构做了全链路优化。接入层使用高性能网关，各个中间件做了调优，业务服务器使用的 CPU、网络、IO、存储、内存等都做了相应优化。业务逻辑根据具体情况做了延后处理、提前处理、并行处理、异步处理、缓存、批处理等针对性的优化。

为实现高可用，IoT 平台从架构设计、容量规划、安全性、项目管理与流程制度上等都有相应考虑。例如在架构设计上，OPPO 在网关接入层做了限流、RPC 超时设置，针对一些核心和非核心服务做了降级，对一些依赖服务做了熔断，以及进程隔离、线程隔离等。全链路涉及的组件还升级到同城双活和异地多活组件，同时做了异地多活的演练。

OPPO 的自研协议是平台很重要的一部分。OPPO 自研的 Heythings 协议主要关注从安全传输层到域网络层、模型层、再到应用层，构建了一整套安全交互，每一层为上层提供支撑，实现安全、兼容性好、可扩展的设备交互逻辑。

Heythings 的设备模型中，每个设备包含多个功能服务，每个服务下包含多个属性、方法和事件。Matter 协议的 Clusters 相当于我们的服务，其属性、方法、事件也同 Heyshings 类似。Heythings 和 Matter 设备可以建立映射来互相转换。

为了提升开发者接入 OPPO 智能家居产品生态的效率，OPPO 还打造了 UI 工作台。工作台覆盖了从产品配网到操控的全流程，通过一系列组件减轻开发者负担。

开发者接入时只需创建产品，在 UI 工作台可以一键生成配网页、详情页。页面中的背景、样式都可以调整，开关、按钮等都可自由拖拽。

设备卡片也是工作台一键生成，其快捷功能可以方便地配置。生成的卡片有小卡、中卡的选项，操控功能也能灵活切换。这样的设计不仅可以提升开发者的开发效率，也能提升用户体验。比方说，用户配网成功后，就可以进入详情页控制设备。用户可以直接在卡片上操控多种快捷功能，且卡片样式可以持续升级，并通过规则管控，做到针对不同系统自动适配。

图：卡片结构

卡片的结构分为五部分。基本信息包括状态、版本号；模型信息包括设备模型相关的单位、精度、最大最小值等；布局信息包括颜色、间距、大小、字体等；逻辑信息包含交互逻辑；UI 事件是指点击按钮的具体动作等。

这张卡片非常灵活，一次生成之后可以到处使用，很容易实现互联互通，在手机、平板、电视、VR、车机甚至手表上都可以运行，还可以做到一致的视觉体验，可以非常灵活地升级样式。由于逻辑部分也是单独抽象出来的，所以卡片功能要调整时也可以方便地配置、升级。

为了在不同系统间自动适配样式，工作台提供了规则引擎来管控。例如规则引擎可以针对老版本操作系统的旧样式生成一个版本布局，针对新版本操作系统的新样式生成另一个版本布局。通过规则引擎配置实现自动适配。

四、写在最后

在本专场中，三位技术大牛的分享让关注 AIoT 领域的开发者们更好地了解了智能硬件和家居产品背后涉及的技术与创新，也为硬件企业开发产品提供了参考意见。从 OPPO 和亚马逊云科技 的经验来看，今天的智能硬件与云服务已经深度绑定，开发者需要从一开始就重视端侧硬件与云端的协同关系，为智能硬件产品的长期迭代升级打下牢固基础。

本场直播评论区互动精华

Q：智能家居的用户信息安全隐私怎么保证？

OPPO 智能视觉云服务研发负责人宋佳洋：这是一个好问题，看来目前大家对信息隐私安全也越来越重视。总体上看，我们严格遵守国家信息安全与隐私相关法规与政策：个人信息保护法、信息安全技术智能家居通用安全规范等等。我司已通过信息安全管理体系 ISO/IEC 27001、ISO/IEC 27701 以及云安全管理体系 CSA STAR CERTIFICATION(CCM V4) 的认证。

具体来讲，比如智能摄像头业务，我们集成了内部统一的 IoT Core 与 ORTC，实现账号与设备、视频流的统一管理，端到端都有统一鉴权，不会出现跨账号访问资源的情况。云端录制有统一用户授权策略，由用户选择是否开启云端 AI 功能，开启后对用户数据统一加密，自动流转，相关内容会经过我们加密服务器进行安全对称加密，密钥是账户级别的，统一由 KMS 进行管理。事件相关的 AI 推理，内容从加密服务器进行解密，获得关键帧后进行全流程自动化 AI 推理。

Q：智能家居目前的行业痛点是让所有的智能家电都能联动起来，OPPO 从这方面是怎么考虑的？除了互联协议外，是否还存在其他解决方案？

OPPO 智能物联架构师陈松：OPPO 会加强对 matter 协议的支持，扩展更多的品类，让用户有更多的选择；暂时没有考虑其他方案，底层协议如果不互通，设备厂商依然需要对接多家平台，成本很高，用户购买的设备可能是各个生态的，依然需要下载多个 app、体验割裂。