HMS Core 6.0新增的多媒体管线服务(AV Pipeline Kit),是华为在媒体领域又一技术开放。该服务通过打造灵活定制的音视频场景框架,赋予APP丰富的音视频的处理能力,同时简化音视频采集、编辑和播放等业务开发工作量,助力影音、社交和电商等领域应用的快速开发。
多媒体管线服务具备三大能力:自定义流水线编排、视频超分和声音事件检测。自定义流水线编排能力通过自动解析插件和插件优选等技术,开发者可以在媒体应用中集成插件,实现采编播的媒体应用创新并提升用户体验。第三方插件在满足多媒体管线约束基础上,可方便被多媒体管线集成,帮助开发者高效聚焦媒体创新业务。
多媒体管线服务为开发者提供视频超分能力,让用户观看低分辨率视频时能享受高分辨率的体验。该能力支持在视频播放过程中逐帧超分,提供实时降噪、色彩增强等能力,对高分辨率视频可以增强其画质,对低分辨率视频能够进行超分以提升观看体验,支持270P-720P等多种分辨率,最高可实现3倍超分。视频超分还具备自适应分辨率和码率调整的特性,进一步提升使用体验。
声音事件检测也是多媒体管线服务的一大能力,支持对音频播放中的声音进行声音事件检测。多媒体管线服务提供的声音事件检测能力识别速度更快,准确率更高,目前支持敲门、车鸣声等13个类别的声音事件检测。开发者可以运用此能力识别如宝宝哭声,小猫叫声等,提升家庭辅助提醒体验。
多媒体管线服务具有易用性、高性能以及低功耗三个特点。在易用性上,多媒体管线服务预定义Pipeline支持基础采编播功能,还支持Pipeline快捷拓展,为开发者提供丰富的开发辅助工具。在高性能方面,多媒体管线服务运用统一的数据格式封装,支持自动引用技术,真正实现模块间的数据“零拷贝”;而通过硬件能力检测技术,优先调用具备硬件加速能力节点,相比传统Pipeline性能提升超10%。从低功耗角度来讲,多媒体管线服务提供的多模态媒体框架通过减少数据拷贝以及数据格式转换,优先加载硬件能力来降低功耗开销,功耗收益超20%,帮助应用达到更好的性能与功耗平衡。
多媒体管线服务能够有效解决目前音视频应用开发难,功耗压力大,影响用户使用体验的痛点,让开发者聚焦创新。随着多媒体管线服务能力的开放,会有更多优质应用为用户带来更好的体验。