华为iMaster NAIE携手中国电信海牛平台亮相2019 TMF亚太峰会
[马来西亚,吉隆坡,2019年11月13日] 今日举行的TM Forum 2019数字化转型亚太峰会上,华为网络人工智能产品部CTO程磊先生和中国电信集团北京研究院网络AI中心技术总监钱兵先生,共同发表了《基于中国电信天翼云NAIE的AI容量预测创新成果》主题演讲。华为和中国电信合作,将iMaster NAIE(Network AI Engine)作为电信能力的一部分,在中国电信天翼云完成部署,构建了中国电信AI应用开发能力。基于电信天翼云NAIE平台与中国电信集团的无线智能运维海牛推理平台展开合作,在无线网络小区异常检测,无线小区容量预测场景进行了成功的探索实践。
华为iMasterNAIE使能网络智能化,让网络AI开发更简单
随着5G网络加速建设,多样化5G应用场景使网络数据呈指数级增长,网络告警故障处理、扩容优化等需求与日俱增。电信行业的运维水平却没有跟上业务发展节奏,运营商面临 OPEX增长大大超过收入增长,成本和效率无法应对跨行业竞争等结构性问题。急需通过网络自动化和智能化的系统架构性创新解决结构性问题。
华为网络人工智能产品部CTO程磊介绍华为网络人工智能引擎(iMaster NAIE)
华为网络人工智能引擎iMaster NAIE,在云端引入AI并提供数据湖服务,模型训练服务、模型生成服务和通信模型服务,大幅降低电信网络AI引入门槛,提升网络AI开发效率。iMaster NAIE依托华为公有云,涵盖网络AI应用开发业务中最复杂部分的工作,如数据准备,数据特征探索,模型调优等,便于开发者快速获取iMaster NAIE能力,程磊介绍到。
数据湖服务,把数据采集、集成、建模、分析、标注等数据处理工具以及数据治理模板, 以云服务的方式向开发者提供,提升数据治理效率。支持30+类网元,100+种设备自动对接,内置超过10种电信业务场景模板,提供高效的电信数据标注工具和4.8亿在线训练数据样本,数据准备时间从原来的3个月缩短到1周,节省90%的时间。
模型训练服务,提供IDE开发环境,包括数据处理、特征提取、模型训练和验证等功能,支持业界主流算法框架,如TensorFlow、Caffe2、SParkML等,预置30+电信网络特征探索工具, 50+电信领域资产,集成多个场景的算法调测、特征服务和处理SDK,让模型的设计和探索周期从3周减少到1周,缩短70%时间。
模型生成服务,相对模型训练服务,进一步简化模型开发过程,只需要输入符合要求的训练数据,就可以快速完成模型训练和验证,大幅降低电信AI模型开发的技能门槛和周期。以数据中心PUE优化为例,传统模型开发投入涉及多个角色,包括暖通专家,数据工程师,算法专家,应用开发工程师等,需要至少半年的时间才能完成;而基于模型生成服务,只需要1名暖通专家,2周时间即可训练出所需模型,整体开发投入降低95%以上。
通信模型服务,基于云端推理框架,支持云化部署,便于业务快速集成。用户只需调用API,输入推理数据就可快速完成推理,运行效率高,推理结果可用于业务应用开发。这类服务主要适用于一些模型泛化通用性强的场景,如KPI异常检测、硬盘故障检测等。
基于天翼云NAIE和中国电信海牛平台实现无线网络容量预测创新实践
中国电信无线网络面临的主要挑战:网络故障和体验类问题事先被发现难,75%的体验类问题都来自用户投诉;网络问题根因定位及追踪不易,随着网络复杂度增加,单纯依靠专家经验解决问题方式效率低下,运维人员大多时间都在定位问题;网络故障和流量等很难预测精准,暂实现不了精确网络规划和控制。
项目引入大数据处理和AI技术,在数据质量控制,无线小区异常检测,无线小区容量预测三方面展开实践。依托NAIE的网络AI数据处理和模型训练能力,海牛平台的实时推理和模型评估优化能力,在异常检测的多路径选择算法,短周期容量预测的LSTM算法,长周期容量预测的Fusion融合算法进行创新实践,大幅提升异常小区检测准确率和小区流量预测精度。初步评估,试点小区由于容量拥塞导致体验问题的投诉率下降12%,运维效率提升20%。
中国电信集团网络AI中心技术总监钱兵介绍无线网络容量预测TMF催化剂项目实践
数据质量控制,利用NAIE数据湖提供的能力,结合小区异常检测和容量预测场景定义数据采集标准和数据元数据规范,将多数据源,多周期,杂乱难理解的低质量数据转换成统一数据源,易理解高质量数据。针对异常检测数据,结合专家经验预置异常门限,自动批量标注。对5000+性能指标进行数据聚类,找出数据周期性,趋势性,突发性等7类数据特征。为高质量高精度模型训练提供保证。
异常小区检测,针对不同指标的不同数据特征多路径选择相应算法,结合单指标检测->专家规则->多指标联合检测的三步检测算法,将异常小区检测准确率提升到89%。
短周期容量预测,利用KD-tree构建小区空间关系,快速找出小区周边邻区关系,利用LSTM Seq2seq算法对小区统一建模,找出用户行为引起的流量强规律。同时算法还会考虑重大事件,天气等因素,对突发性事件进行有效预测。对7天的容量预测统计分析,项目预测有效性达到97%。
长周期容量预测无强规律性,受大量外部因素影响,如网络变更、资费调整等,容量预测的准确率一直是业界的挑战。项目通过清除非个人因素导致的流量波动异常,按小区特征聚类分组分别建模,按数据特征聚类进行多算法Fusion融合等关键手段提升容量预测准确率。对20000个基站小区6个月历史数据统计分析建模预测未来3个月容量,Fusion融合算法预测有效性可达到80%,相比传统的Holt-winters算法预测有效性只有39%。
项目取得初步性创新成果,并将继续孵化,在2020年初应用到中国电信5G网络规划,优化和维护领域。并管理监控全国100万设备的数据质量,服务300万通信组织和全国3亿多无线网络用户。“我们的目标是通过AI智能异常检测和容量预测,让网络质量劣化前优化质量,网络拥塞前调整流量!”钱兵最后说到。