在GenAI的浪潮下,各行各业正迎来全新的变革,作为AI载体的智能硬件行业也不例外,一方面,AIGC与机器人的结合,推动具身智能产业加快速度进行发展,科幻电影里善解人意的清扫机器人“瓦力”、医疗机器人“大白”正在走进现实。另一方面,以智能手表智能眼镜、智能耳机为首的穿戴式智能硬件与多模态大模型的结合也成为当下的新趋势。

　　在2017年以天猫精灵、小爱同学、小度等语音助手驱动的智能设备被视为*批AI硬件革命,这类智能设备虽然经过多年的市场教育已逐渐融入了我们的生活,成为不少家庭的语音助手,但其中AI的智能化还较为初级。近两年伴随GenAI的兴起,更智能化的多模态大模型赋予了智能硬件新的生命,带来全新的人机交互体验,催生智能硬件行业新的变革。

　　智能硬件+多模态大模型穿戴式设备交互体验迎来变革

　　声网经过市场调查与研究发现,目前多模态大模型在智能硬件场景的落地主要以智能眼镜、智能手表、智能耳机等穿戴式设备为主,同时在智能门铃、智能陪伴玩具等IoT场景也有一些应用。不同场景展现出的客户的真实需求与场景特点存在一定的差异化,例如:

　　·智能手表:智能儿童手表是多模态大模型*早落地IoT行业的硬件场景之一,目前360儿童手表、小天才等儿童手表中已率先集成应用。流畅的AI互动问答可以填充儿童空闲时间,智能化的回答也为儿童带来了知识科普的价值,起到教育学习的辅助作用。同时,智能手表的屏幕较小,对语音交互的诉求更强,加入对话式AI显得更顺其自然。

　　·智能眼镜:不同于将重点放在虚拟与现实结合的AR眼镜,智能眼镜更看重通过AI提升语音交互能力,今年Meta联合雷朋推出的「Ray-BanMeta」智能眼镜就是代表产品。通过在智能眼镜中加入摄像头、AI等功能,用户可通过语音交互让眼镜来帮助工作&日程安排,或者开启百科问答、学习辅助、英文翻译、语音导航、超拟人情感陪伴及音乐娱乐等功能。

　　在AI与RTC能力的加持下,智能眼镜能支持*视角音视频回传(包含音视频通话、视频录制、直播等),还支持实时翻译、同声传译等场景,搭配手势识别,实现跨语言环境的语义理解。

　　·智能耳机:智能耳机与大模型的结合大多分布在在实时翻译、情感交流、录音转写等核心功能,在实时翻译方面,智能耳机目前主要使用在在1对1翻译,支持双方对话过程随时发言,无需等待翻译完成或对方发言结束,适合双人会议、差旅、教学、社交等高频深度对话场景,代表产品有三星GalaxyBuds系列无线耳机、时空壶W4Pro等。同时,借助RTC的能力,在智能耳机中还能实现多人同频道、AI降噪等功能。

　　在情感交流方面,代表产品有当下热门的OlaFriend智能耳机,该产品可实现英语陪练、旅行导游、情感交流等功能。开发者如想快速上线此类型的智能耳机,声网能够给大家提供快速、已用、完整的解决方案,并采用了灵活可扩展的AIAgent架构,具备工作流编排能力,开发者与企业可自主选择LLM等组件,根据特定需求定制和扩展AI驱动的实时互动体验。

　　·智能门铃:在智能门铃等IPC场景,加入AI大模型的能力,可通过摄像头实时识别并理解视频内容,实现设备无人值守场景下的自定义交互,如:外卖、快递上门,在家中无人时,门铃可自动识别并应答,指导快递员将货物放到指定位置。

　　此外,在GenAI的趋势下,IoT行业还出现了智能陪伴机器人、智能儿童毛绒玩具、智能戒指等一系列智能硬件场景,带来不同硬件终端下的AI语音交互体验。

　　声网作为全球实时互动云行业的开创者,一直在探索GenAI与RTE结合带来的体验提升和场景创新,此前发布了实时多模态对话式AI解决方案,在此基础上,针对IoT行业的特殊性,声网探索出了AIxIoT智能硬件解决方案,该方案能够在低功耗、低算力芯片上快速实现大模型的接入,具备低延时实时互动、低成本灵活适配的特性,通过丰富的功能在智能硬件场景中构建真实、自然的AI语音交互体验。

　　例如对交互延迟来优化,语音交互延时低至1s内;支持多模态AI语义识别和理解;支持AI降噪,保证清晰的语音交互、支持小包体、低内存、低功耗;适配支持70+主流、超高的性价比的芯片等,帮助开发者与企业快速构建适配自己硬件的AI实时语音对话服务。

　　1、毫秒级人机交互体验:声网AIxIoT智能硬件解决方案逐步优化了端到端互动体验,实现人与设备之间基于LLM的毫秒级互动体验。通过在客户端进行低延迟的音频采集和播放、借助声网自研的SD-RTN实时传输网络实现全世界的低延时RTC传输,并进一步通过更快速的LLM推理首字耗时、低延迟流式TTS、同机部署等一系列技术方法,保证对话的实时性与流畅性。

　　2、文本/图像/音频/视频的多模态交互:在智能硬件场景,声网的解决方案同样支持文本/图像/音频/视频的组合输入&输出,同时开发者与企业也无需额外集成STT、TTS等模块化组件,一套方案就能快速构建AI实时语音对话服务。

　　3、聚焦关键信息,提升语义理解度:在GenAI场景,能否支持随时打断也成为衡量大模型智能化的重要指标,声网的解决方案也支持先进的AI-VAD技术,可实现灵敏的自然语音打断,模拟人类对话的自然流动,让对话更真实、自然。

　　4、AI降噪保障语音对话清晰、顺畅:针对语音对话中经常会出现的噪音、回声等问题,声网拥有行业*的音频3A能力,通过AI噪声抑制、背景人声过滤、音乐检测/过滤等算法,确保人与AI的对话不受环境干扰,从始至终保持顺畅。