交通AI算法平台框架设计
作者:梁丽娟,李锋(浙江高速信息工程技术有限公司)
摘要:算法平台在证券、金融、新零售行业得到了广泛应用,实现了建模过程自动化,可快速进行模型参数标定、调优、模型迭代。随着智慧交通不断发展,交通行业大数据处理分析成为当前研究热点。本文通过总结归纳算法平台的通用功能,结合交通行业算法场景分析梳理,研究和构建面向交通行业场景的数据挖掘分析平台,提供了可分步落地的实施框架,为交通行业算法平台建设提供借鉴与参考。
基金项目:智慧高速关键技术研究及应用示范——智慧高速人车路协同信息交互关键技术研究及应用示范(浙江省科技厅课题编号:2020C01057)
随着智慧交通发展,交通运行监测从整体路网状况逐步向单车运行轨迹分析方向转变,交通仿真分析逐步从集计模型向非集计模型转变,交通管控从被动管控向主动安全管控转变,传统的小规模数据分析已不能满足交通行业发展需求。随着大数据挖掘、可视化等技术发展,机器学习、深度学习算法可为交通大数据的挖掘分析提供有力保障。本文探究构建一套面向交通行业应用场景的算法平台,以实现常用行业算法场景的封装。
一
算法平台功能需求
行业内算法平台主要分为两种,一种是开源框架平台,包括加州大学伯克利分校的Caffe、Google的TensorFlow、Facebook的PyTorch、Apache的Spark MLlib等,大多是免费的,但使用门槛较高。另一种商用算法平台产品,如微软的Azure、亚马逊的SageMaker、阿里的PAI平台、百度的PaddlePaddle、腾讯的TI平台、华为的Atlas等,可通过租用的方式,实现模型标定。商用算法平台提供了标准化建模流程,已在金融、零售、证券等行业得到广泛应用。
算法研究标准化流程应包括业务需求分析、算法需求分析、基础数据预处理、算法选择、模型参数调优、模型评估、模型部署/测试、模型优化,直至模型上线,具体流程如图1所示,建设功能清单见表1。
图1 华为算法平台建模流程(面向AI初学者)示意图
二
算法平台建设框架
算法平台是算法的核心载体,与算法相辅相成,前者注重产品与架构,后者注重技术与方法。交通算法平台是算法平台在交通行业领域的应用拓展,需根据行业场景进行业务定制开发,包括场景化建模、交通行业算法包建设等,以便不具备算法知识的交通专业人员自行完成模型构建、参数调优等工作。
(一)算法平台建设原则[1]
(1)技术选型层面,优先选用开源工具;当开源工具不能满足需求时,需量力而为,考虑投入产出比。
(2)算法平台需与数据平台打通,避免数据的二次搬运。大数据计算需占用大量内存资源,以容器化部署解决资源调度。
(3)一次性或短期使用目的,可租用或采买;长期使用时,自建相对划算。
(二)算法平台建设框架
算法平台整体建设框架如图2所示。
基础层:提供数据分析的软硬件基础,支持CPU、GPU、XPU(谷歌TPU、华为NPU等)资源调度。
数据接入层:提供各类数据接口,完成各类实时、离线数据的接入。
算法平台层:构建兼容多种计算框架的平台,完成面向Training环节的训练平台和面向Inference环节的推理平台,内置不同业务需求的算法、算子库。阿里alink平台内嵌了多个机器学习算法,用于机器学习模型的构建,如图3所示。针对交通行业,完成各类应用场景的模型定义及算法包编制。
算法服务层:通过API接口、知识图谱等对外输出算法成果。
图2 交通算法平台建设框架示意图
图3 阿里alink平台开源算法示意图
算法平台建设需重点考虑以下功能模块的设计优化,包括数据标注模块、算法优化模块、离线实验模块、在线实验模块。数据标注模块需制定数据抽取、融合的规则,为模型构建提供高精度的数据基础。算法优化模块包括模型优化、参数优化、模型压缩、模型裁剪、模型蒸馏等,适度模块化来提升建模效率。离线实验模块和在线实验模块面向不同业务需求,解决不同数据并发量的模型构建问题。
(三)交通行业场景分析
从交通系统全要素来说,包括人、车、路、环境、交通系统多个维度。传统交通业务场景,以满足各类交通参与者的需求为主,具体包括交通运营公司、交警管理部门、交通出行者。其中,交通运营公司业务需求有实时交通状态、交通预测、交通事件预警、交通管控策略、机电设备养护等;交通管理部门需求有事故责任认定、匝道及主线关闭等;交通出行者需求有出行路径引导、交通出行时间预测等。面向车辆网的交通应用场景,以满足交通运行效率与安全需求,包括信号灯自动控制、绿波车速引导、车辆紧急制动、车辆失控预警等算法场景,对交通算法的需求呈现爆发式增长。交通行业算法模型的场景应涵盖但不局限于:交通预测分析、智能监控、智能运维、智能风控、客户分类、文本分析、精准营销等。
针对综合交通大业务梳理算法应用场景如下。
1、高速公路业务场景分析
高速公路可划分为不同的业务区段,包括主线区段、服务区区段、出入口汇合流区段及桥梁/隧道等路段。主线区段需综合考虑车辆结构化、交通运行态势、设备智能运维等;服务区需考虑人员人脸管控,进行客群画像,设施利用情况分析等。亿欧智库[2]发布报告中,梳理了未来智慧高速的应用场景,如图4所示,分析了智慧高速算法场景,见表2。
图4 智慧高速业务场景示意图
以浙江沪杭甬高速公路智慧化提升项目为例,需要构建实时监测、客户服务、道路监控、收费管理等四大应用13个算法[3]。
2、智能轨道业务场景[4]
通过运行状态监测、视频图像监测、故障预警监测等信息的全覆盖,打造智慧乘客服务、智能车辆设备运行、智能车辆设备维护、智慧建设、智慧制造等,实现对轨道交通运输体系中各种要素,如人、车辆及设备设施、环境等的全面感知、泛在互联、协同运行。智能轨道算法场景类别与分析见表3。
3、智慧城市业务场景
牛强等[5]将智慧城市划分将城市测度评价模型、城市预测和模拟模型、运筹和决策模型、城市改变和影响评估模型、城市运作模型;刘锋[6]提出城市级神经元网络和城市级云反射弧,预测将形成类脑神经元网络、视觉神经系统、听觉神经系统、躯体感觉审计系统、运动神经系统、定位与空间位置服务、神经纤维系统等若干应用的超级智能技术架构模型。
以杭州市城市交通大脑建设中的算法为例,基于全息交通基础设施数字化构建和全量交通认知分析构建动静态一体的数据底盘,围绕交通供给、交通效率、交通安全、出行服务等各个维度,实现路网的实时监测、问题诊断、车流分析、管控预演等算法应用。智慧城市交通算法场景类别和分析见表4。
4、航空航运业务场景
航空航运包括航空的客运、货运及港航的客运、货运。航空层面,需要关注人/货、机、机场端的运行监测、预测分析等;港航层面,需要关注人/货、船、河/海、港口的运行监测、预测分析等,并制定优化调度方案,提高效益。
(四)综合交通行业算法库建设
综合交通算法库建设需通过业务场景梳理,明确业务问题,确定算法逻辑,如短时交通预测分析,明确算法输入、输出的预期成果。可收集算法相关数据,比如天气、事件信息、上一时段的流量、车速等信息,并对数据进行清洗处理,包括缺失值、异常值、数据字段一致性、敏感数据脱敏、数据精度匹配、数据相关性分析等。通过算法平台完成模型构建、模型评估、模型集成等过程,并不断通过模型调优,构建出适用业务场景的最佳算法模型。
综合交通算法库按照不同算法类别存放,标明模型创建时间、相关描述、模型配置参数等。算法模型可通过平台管理,进行新增、修改、删除、下载、部署等。
图5 算法模型库管理示例
三
算法平台建设实施路径
算法平台实施落地建议按照平台侧建设和算法侧建设分开实施的路径。其中,算法侧建设宜推进产学研相结合,与高校等研究机构合作进行模型标定、调优,并针对公司业务的场景需求,逐年进行补充建设。平台侧建设建议选择适合企业自身业务需求的,由特定业务场景应用的研发单位进行研发或平台引入。
交通算法建设可分期实现,一期注重对交通行业已有结构化数据的分析,解决当前交通热点问题,如短时/节假日交通预测、交通事件发现等,快速实现平台预期建设成效;二期可开展深度学习等业务拓展,侧重视频、图像等非结构化数据的应用,对已有模型功能进行补充完善,优化提升,并增加算法模型丰富度;三期可基于模型拓展需求,考虑端侧模型等开发,实现模型压缩、模型剪裁等。
四
结束语
未来的交通算法平台发展方向可总结为:交互态更友好、训练态更高效、布置态更灵活。交互态是支持可视化、实现AutoML等功能;训练态是高效利用计算资源,节省建模成本;布置态是面向端侧、云端部署需求,模型需要去中心化,实现端侧压缩、远程调用。随着智慧交通业务的深入应用,将不断生成新的应用场景需求,交通算法平台将实现行业算法沉淀,节省建模时间和费用,助力智慧交通发展。
参考文献
[1] 赵钰莹.对话明略科技:一个设计完善的机器学习平台是什么样子?[EB/OL].2020-07-28/2020-11-27.
[2] 亿欧智库.道阻且长,行则将至-2019年中国智慧城市发展研究报告[R],北京.2019.
[3] 陈建新.谋定而动|三步建设沪杭甬智慧高速[EB/OL].2020-09-15/2020-11-27.
[4] 吴昊.北京智慧地铁创新发展的探索与实践[J].铁路通信信号工程技术.2020,(3):77-82.
[5] 牛强,夏源,牛雪蕊,周燚.智慧城市的大脑——智慧模型的概念、类型和作用[J].上海城市规划.2018(1):40-43.
[6] 刘锋.城市大脑与超级智能建设规范研究报告1.0[R].北京.2020.
(原文刊载于2021年《中国交通信息化》增刊)
微信编辑 | 户利华
责任编辑 | 彭翔