车辆网络多平台卸载智能资源分配算法

奥鹏网院作业

车辆网络多平台卸载智能资源分配算法
王汝言 梁颖杰* 崔亚平
(重庆邮电大学通信与信息工程学院 重庆 400065)
(重庆高校市级光通信与网络重点实验室 重庆 400065)
(泛在感知与互联重庆市重点实验室 重庆 400065)
摘 要：为了降低计算任务的时延和系统的成本，移动边缘计算(MEC)被用于车辆网络，以进一步改善车辆服务。该文在考虑计算资源的情况下对车辆网络时延问题进行研究，提出一种多平台卸载智能资源分配算法，对计算资源进行分配，以提高下一代车辆网络的性能。该算法首先使用K临近(KNN)算法对计算任务的卸载平台(云计算、移动边缘计算、本地计算)进行选择，然后在考虑非本地计算资源分配和系统复杂性的情况下，使用强化学习方法，以有效解决使用移动边缘计算的车辆网络中的资源分配问题。仿真结果表明，与任务全部卸载到本地或MEC服务器等基准算法相比，提出的多平台卸载智能资源分配算法实现了时延成本的显著降低，平均可节省系统总成本达80%。
关键词：车辆网络；移动边缘计算；资源分配；强化学习
1 引言
近年来，无线通信和机器学习的深入研究促使车辆网络的不断发展。车辆网络通过实现车内、车与车、车与人、车与路、车与云服务平台的V2X(Vehicle to everything)全面网络架构，大大提升了车辆智能化，为辅助驾驶、自动驾驶等技术提供了数据支持和可靠性保障[1,2]。在车辆网络中，每一辆智能汽车都配备有一台车载设备(Vehicle Equipment, VE)，其功能类似于一台带有联网接口的小型计算机[3]。车载设备可以通过车辆网络进行道路危险预警，停车位导航和视频娱乐等服务[4]。但随着车辆服务爆炸式地增长，车载设备计算能力的有限性对车辆网络构成了重大挑战[5]。基于云的车辆网络在远程云和车载设备间分配计算资源完成任务，一定程度上缓解了对计算资源的需求[6]。然而由于云计算服务器部署在远离车辆的位置，很难满足一些服务的时延要求[7]。因此，移动边缘计算(MEC)作为一种解决方案得以在车辆网络中进行应用[8]。移动边缘计算通过在无线接入网边缘部署MEC服务器的方法计算任务，既可以满足车辆计算能力的扩展需求，也可以克服在使用远程云时时延较大的缺点[9,10]。
在现有研究中，文献[11]提出了联合本地和移动边缘计算的资源分配方案，该方案考虑了移动边缘计算和本地共同协作，使用强化学习及深度强化学习方法来解决计算卸载问题。但是，考虑到MEC服务器有限的计算资源和多样化的车辆任务类型，云计算将是一种节省MEC服务器计算资源的途径。文献[12]提出了联合移动边缘计算与云计算的方案，该方案考虑了移动边缘计算和云计算共同协作，使用深度强化学习方法，判断是否应该将计算任务卸载到MEC服务器上。该工作忽视了车辆本身的计算能力。如果将车辆的计算能力考虑进去，则可以减少计算时延，这对时延敏感类业务尤其重要[7]。文献[13]方案考虑了云计算和本地计算协作的情况，提出了车辆云计算的概念，适当地协调由车辆的计算资源组成的车辆云和远程云，向用户提供实时服务。该工作将路边单元的计算资源也考虑加入车辆云中，使用半马尔科夫决策过程进行资源分配。但是，该工作没有将路边单元和车辆的计算资源明确进行利用与划分。文献[14]提出了一个云计算-移动边缘计算-本地计算的3层网络架构，每一层可以处理不同的任务。但这项工作没有对各层处理的任务进行详细的划分。
将车辆的本地计算资源考虑到整体的资源分配问题中，是一种可行并且高效的方案。本文在文献[11–14]工作基础上，提出了一种联合云计算、移动边缘计算、本地计算的多平台卸载智能资源分配算法，旨在最小化时延，提高下一代车辆网络的性能。本文所提多平台卸载智能资源分配算法首先使用K邻近 (K-Nearest Neighbor, KNN)算法确定任务应该卸载到云计算服务器、MEC服务器还是本地CPU。针对卸载到MEC服务器和云计算服务器的情况，在同时考虑系统复杂性的情况下，使用强化学习算法，再次选择计算平台，进行计算资源分配。仿真结果表明，本文所提多平台卸载智能资源分配算法可以有效地减少系统的时延成本，相对于完全卸载到本地、完全卸载到MEC等基准算法，提出的多平台卸载智能资源分配算法平均可节省系统总成本达80%。
本文的其余部分安排如下：第2节介绍系统模型；第3节将问题描述为优化问题，并在第4节中提出多平台卸载智能资源分配算法；在第5节中，对提出算法进行了仿真分析，并进行了讨论；最后，在第6节中阐述了结论和未来的工作。
2 系统模型
本节首先介绍了网络模型，其次是任务模型。最后，给出了本文使用的计算模型。
2.1 网络模型

图 1 网络模型




提出的算法有着一定的适应性。在距离为700 m时，本文算法的系统总成本是10000，此时完全MEC的系统总成本是20000，所提算法节省了50%的成本。
图3为车辆数与总成本的关系图。随着横轴代表的车辆总数的增加，3种算法的曲线都呈上升趋势，即3种方法的总成本在不断增加。在相同车辆数下，本文所提多平台卸载智能资源分配算法的系统总成本最小。当车辆数为6时，多平台卸载智能资源分配算法的总成本为10000，完全MEC、完全本地的总成本分别为55000, 35000。本文算法相对于完全MEC、完全本地算法分别节省了80%和70%的总成本。所提算法可以获得最佳结果，证明了本文算法的有效性。

图 3 总成本与车辆数关系图
图4为本地计算能力对总成本的影响关系图。图4(a)为使用多平台卸载智能资源分配算法和完全本地算法的系统总成本，红色代表本文算法，蓝色代表完全本地算法。随着本地计算能力的增加，蓝色面从高于红色面逐渐到低于红色面，这代表在相同车辆任务数下，完全本地算法的总成本随着本地计算能力的提升，逐渐低于多平台卸载智能资源分配算法的系统总成本。图4(b)作为图4(a)的补充说明，更加直观地说明了两个算法的系统总成本的关系。图4(b)是本文算法的系统总成本与完全本地算法的系统总成本之间的差值，该差值可定义为C4(b) =C1−C2。C 1表 示本文算法的系统总成本，C 2表示完全本地算法的系统总成本。从图4(b)中可以看出，当由纵轴表示的本地计算能力增加时，平面从负值上升到正值，这表示使用多平台卸载智能资源分配算法的系统总成本从低于使用完全本地算法的系统总成本到高于使用完全本地算法的系统总成本，从两算法的差值证明了图4(a)的结论。结果表明，本文算法对不同的本地计算能力具有不同的适应性，适用于本地计算能力较弱的情况。

图 4 总成本与车辆数及本地计算能力关系图

图 5 总成本与任务数据大小关系图
图5为卸载任务的数据大小 Bn与总成本的关系。如图5所示，随着任务数据量的增加，3种算法的曲线都呈上升趋势，表示所有算法的总成本都随着数据量的增加而增加。因为处理越大的数据量会导致更多的时间消耗，增加系统的总成本。本文算法可以获得最佳结果，因为其增长曲线的斜率相较于其他两种算法的曲线的斜率最小，表示其增长的趋势最慢。随着数据量的增加，完全本地算法的曲线的斜率比其他两种算法的曲线斜率都要大，表示其系统总成本的增长速度最快。这表明计算任务的数据量越大，本地处理的时间越长，导致系统总成本增大。MEC服务器的处理能力比本地强，导致的系统总成本也比本地的总成本少。
5.2 讨论
通过对上述仿真结果的分析，可以看出本文所提多平台卸载智能资源分配算法可以有效地节省系统总成本。这是因为本文算法从分层卸载协调和智能资源分配两方面提高了系统性能。首先是分层卸载协调。使用的KNN算法选择任务的卸载位置，进行了分层卸载协调，使得各层的计算资源都得到了充分的利用。其次是智能资源分配。使用的Qlearning算法在MEC层进行智能资源分配。它可以在任务的最大容忍延迟内，为任务分配最合适的计算资源，减少资源的浪费。综合这两部分，相较于其他传统算法，本文算法通过协调3层的计算资源，减少了完成 n个任务的总时延，在协调了多平台的计算资源的同时又智能地分配了计算资源，使得系统的计算资源利用最大化，从而比传统算法更节省系统总成本。但同时需要指出的是，本文算法存在一定的适应性，适用于距离路边单元较远和本地计算能力相较弱的情况。当车辆距离路边单元较近时，本文算法的优势较完全MEC算法卸载到本地时会有更少的总成本。在接下来的工作中，将会提出更具有普适性的算法，适用各种情况。
6 结束语
本文在联合移动边缘计算技术的车辆网络下提出了一个多平台卸载智能资源分配算法，可实现计算资源的动态分配，用以改善车辆网络的性能。本文算法同时考虑了云计算服务器、MEC服务器和本地CPU，以选择最适合的任务卸载平台。另外，当任务选择卸载到非本地时，使用了强化学习方法来解决其资源分配问题。仿真结果表明，本文提出的基于机器学习方法的多平台卸载智能资源分配算法可以有效地节省系统总成本，优化系统总性能。同时需要指出的是，本文算法有一定的适应性，适合车辆距离路边单元较远及本地计算能力较弱的情况。未来工作将考虑能耗等优化指标优化系统总成本，并考虑在多MEC服务器、多本地计算下的资源分配问题，提出更具有普适性的资源分配算法。
参 考 文 献
[1]WU Dapeng, ZHANG Feng, WANG Honggang, et al.Security-oriented opportunistic data forwarding in mobile social networks[J]. Future Generation Computer Systems,2018, 87: 803–815. doi: 10.1016/j.future.2017.07.028.
[2]LUO Changqing, JI Jinlong, WANG Qianlong, et al.Channel state information prediction for 5G wireless communications: A deep learning approach[J]. IEEE Transactions on Network Science and Engineering, 2018.doi: 10.1109/TNSE.2018.2848960.
[3]HUSSAIN R, SON J, EUN H, et al. Rethinking vehicular communications: Merging VANET with cloud computing[C]. The 4th IEEE International Conference on Cloud Computing Technology and Science Proceedings,Taipei, China, 2013: 606–609. doi: 10.1109/CloudCom.2012.6427481.
[4]LI Chunhai, WANG Siming, HUANG Xumin, et al. Parked vehicular computing for energy-efficient Internet of vehicles:A contract theoretic approach[J]. IEEE Internet of Things Journal, 2019, 6(4): 6079–6088. doi: 10.1109/JIOT.2018.2869892.
[5]ZHANG Ke, MAO Yuming, LENG Supeng, et al. Optimal delay constrained offloading for vehicular edge computing networks[C]. 2017 IEEE International Conference on Communications, Paris, France, 2017: 1–6. doi: 10.1109/ICC.2017.7997360.
[6]ASHRAF M I, LIU Chenfeng, BENNIS M, et al. Dynamic resource allocation for optimized latency and reliability in vehicular networks[J]. IEEE Access, 2018, 6: 63843–63858.doi: 10.1109/ACCESS.2018.2876548.
[7]ZHANG Ke, MAO Yuming, LENG Supeng, et al. Contracttheoretic approach for delay constrained offloading in vehicular edge computing networks[J]. Mobile Networks and Applications, 2019, 24(3): 1003–1014. doi: 10.1007/s11036-018-1032-0.
[8]DING Qing, SUN Bo, and ZHNAG Xinming. A traffic-lightaware routing protocol based on street connectivity for urban vehicular Ad Hoc networks[J]. IEEE Communications Letters, 2016, 20(8): 1635–1638. doi: 10.1109/LCOMM.2016.2574708.
[9]ZHANG Ke, MAO Yuming, LENG Supeng, et al. Mobileedge computing for vehicular networks: A promising network paradigm with predictive off-loading[J]. IEEE Vehicular Technology Magazine, 2017, 12(2): 36–44. doi:10.1109/MVT.2017.2668838.
[10]HAN Guangjie, LIU Li, CHAN S, et al. HySense: A hybrid mobile Crowdsensing framework for sensing opportunities compensation under dynamic coverage constraint[J]. IEEE Communications Magazine, 2017, 55(3): 93–99. doi:10.1109/MCOM.2017.1600658CM.
[11]SOOKHAK M, YU F R, HE Ying, et al. Fog vehicular computing: Augmentation of fog computing using vehicular cloud computing[J]. IEEE Vehicular Technology Magazine,2017, 12(3): 55–64. doi: 10.1109/MVT.2017.2667499.
[12]LI Ji, GAO Hui, LÜ Tiejun, et al. Deep reinforcement learning based computation offloading and resource allocation for MEC[C]. 2018 IEEE Wireless Communications and Networking Conference, Barcelona,Spain, 2018: 1–6. doi: 10.1109/WCNC.2018.8377343.
[13]HE Ying, ZHAO Nan, and YIN Hongxi. Integrated networking, caching, and computing for connected vehicles:A deep reinforcement learning approach[J]. IEEE Transactions on Vehicular Technology, 2018, 67(1): 44–55.doi: 10.1109/TVT.2017.2760281.
[14]LIN Chuncheng, DENG D J, and YAO C C. Resource allocation in vehicular cloud computing systems with heterogeneous vehicles and roadside units[J]. IEEE Internet of Things Journal, 2018, 5(5): 3692–3700. doi: 10.1109/JIOT.2017.2690961.
[15]MAO Yuyi, YOU Changsheng, ZHNAG Jun, et al. A survey on mobile edge computing: The communication perspective[J]. IEEE Communications Surveys & Tutorials,2017, 19(4): 2322–2358. doi: 10.1109/COMST.2017.2745201.
[16]ZHAO Pengtao, TIAN Hui, QIN Cheng, et al. Energysaving offloading by jointly allocating radio and computational resources for mobile edge computing[J].IEEE Access, 2017, 5: 11255–11268. doi: 10.1109/ACCESS.2017.2710056.
[17]ZHANG Ke, MAO Yuming, LENG Supeng, et al. Energyefficient offloading for mobile edge computing in 5G heterogeneous networks[J]. IEEE Access, 2016, 4:5896–5907. doi: 10.1109/ACCESS.2016.2597169.
Intelligent Resource Allocation Algorithm for Multi-platform Offloading in Vehicular Networks
WANG Ruyan LIANG Yingjie CUI Yaping
(School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)
(Chongqing Key Laboratory of Optical Communication and Networks , Chongqing 400065, China)
(Chongqing Key Laboratory of Ubiquitous Sensing and Networking, Chongqing 400065, China)
Abstract: In order to reduce the delay of computing tasks and the total cost of the system, Mobile Eedge Computing (MEC) technology is applied to vehicular networks to improve further the service quality. The delay problem of vehicular networks is studied with the consideration of computing resources. In order to improve the performance of the next generation vehicular networks, a multi-platform offloading intelligent resource allocation algorithm is proposed to allocate the computing resources. In the proposed algorithm, the KNearest Neighbor (KNN) algorithm is used to select the offloading platform (i.e., cloud computing, mobile edge computing, local computing) for computing tasks. For the computing resource allocation problem and system complexity in non-local computing, reinforcement learning is used to solve the optimization problem of resource allocation in vehicular networks using the mobile edge computing technology. Simulation results demonstrate that compared with the baseline algorithms (i.e., all tasks offload to the local or MEC server), the proposed multi-platform offloading intelligent resource allocation algorithm achieves a significant reduction in latency cost, and the average system cost can be saved by 80%.
Key words: Vehicular networks; Mobile Edge Computing (MEC); Resource allocation; Reinforcement learning
中图分类号：TN919.2
文献标识码：A
文章编号：1009-5896(2020)01-0263-08
DOI: 10.11999/JEIT190074
收稿日期：2019-01-25；改回日期：2019-07-16；网络出版：2019-09-20
*通信作者： 梁颖杰 liangyj10111@163.com
基金项目：国家自然科学基金(61801065, 61771082, 61871062)，重庆市高校创新团队建设计划(CXTDX201601020)
Foundation Items: The National Natural Science Foundation of China (61801065, 61771082, 61871062), The Program for Innovation Team Building at Institutions of Higher Education in Chongqing (CXTDX201601020)
王汝言：男，1969年生，教授，主要研究方向为泛在网络、多媒体信息处理等.
梁颖杰：女，1994年生，硕士生，研究方向为车联网、移动边缘计算.
崔亚平：男，1986年生，讲师，研究方向为毫米波通信、多天线技术、车联网等.