大学生创新训练项目申报书

1. 项目概述

1.1 项目背景

1.1.1 移动边缘计算的兴起

• 随着移动通信技术的发展，移动边缘计算（MEC）逐渐成为研究热点。
• MEC将计算和存储资源从云端推向网络边缘，以实现更低的时延和更高的带宽利用率。
• 在MEC的背景下，车载边缘计算（VEC）应运而生，为车载应用提供实时服务。

1.1.2 车辆边缘计算面临的挑战

• VEC在提高计算效率的同时，也面临着计算卸载和资源分配的难题。
• 卸载决策和资源分配是两个相互耦合的复杂问题，需要有效的算法来解决。
• 传统的优化方法难以求解非凸问题，因此需要新的解决方案。

1.2 项目目标

1.2.1 改进深度Q-learning算法

• 提出一种改进的深度Q-learning算法，以优化计算卸载和资源分配过程。
• 通过引入DDQN模型、优先经验回放和REINFORCE策略，提高模型精度和效率。
• 实现更快的响应时间和更低的能耗。

1.2.2 建立多智能体深度强化学习网络

• 提出基于联邦学习的多智能体深度强化学习网络，以解决多车辆兼容性问题。
• 通过中心化训练和联邦学习，实现更好的全局资源分配，保护车辆信息隐私。
• 提高资源利用率和应用程序执行效率。

1.3 项目创新点

• 引入深度强化学习算法，解决计算卸载和资源分配的耦合问题。
• 提出基于联邦学习的多智能体深度强化学习网络，实现全局最优解。
• 保护车辆信息隐私，提高资源利用率和应用程序执行效率。

2. 研究内容

2.1 深度Q-learning算法改进

2.1.1 问题建模

• 建立联结计算卸载和资源分配的数学模型，定义状态、动作和奖励函数。
• 采用DDQN模型，利用两个神经网络分别评估状态价值和选择动作。

2.1.2 算法实现

• 引入优先经验回放技术，提高模型训练效率和泛化能力。
• 利用REINFORCE策略网络，更准确地确定全局最优解。

2.2 多智能体深度强化学习网络构建

2.2.1 联邦学习框架

• 建立联邦学习框架，实现多车辆之间的协同学习。
• 通过中心化训练，提高资源分配的准确性和效率。

2.2.2 马尔可夫博弈

• 引入马尔可夫博弈，解决多车辆兼容性问题。
• 通过概率近似求解，实现全局最优解。

2.3 任务卸载与资源分配耦合

2.3.1 耦合问题建模

• 建立耦合计算卸载和资源分配的数学模型，定义状态、动作和奖励函数。
• 采用多智能体深度强化学习网络，实现全局最优解。

2.3.2 联邦学习与隐私保护

• 利用联邦学习特性，保护车辆信息安全，降低车辆之间的信息传递时间。
• 实现更快的响应时间和更低的能耗。

3. 国内外研究现状与发展动态

3.1 车载边缘计算发展

• 车载边缘计算（VEC）作为一种新兴技术，正逐渐成为研究热点。
• 众多学者提出了各种框架和解决方案，以优化动态车辆环境中的计算卸载和协作。

3.2 深度强化学习应用

• 深度强化学习（DRL）在解决复杂决策问题时展现出强大的优势。
• 近年来，DRL在自动驾驶、游戏、机器人等领域取得了显著成果。

3.3 联邦学习与隐私保护

• 联邦学习作为一种分布式学习方法，可以保护数据隐私，提高学习效率。
• 许多研究正在探索联邦学习在车辆边缘计算中的应用，以实现更安全、高效的计算卸载。

4. 项目实施方案

4.1 技术路线

• 首先，对现有深度Q-learning算法进行改进，提出DDQN模型。
• 其次，建立多智能体深度强化学习网络，实现全局最优解。
• 最后，将任务卸载与资源分配耦合，提出联邦学习与隐私保护方案。

4.2 项目分工

• 王鹏硕：负责算法改进和模型实现。
• 黄烨：负责理论推导和论文撰写。
• 杨天胜：负责智能算法分析和推导。
• 罗姿梅：负责资料索引和论文写作。
• 何仁杰：负责车辆运行姿态和路测单元影响计算。

4.3 进度安排

• 第一阶段：算法改进和模型实现（2024年5月至2024年8月）。
• 第二阶段：多智能体深度强化学习网络构建（2024年9月至2025年1月）。
• 第三阶段：任务卸载与资源分配耦合及联邦学习与隐私保护方案提出（2025年2月至2025年5月）。

5. 预期成果

• 提出一种改进的深度Q-learning算法，实现更快的响应时间和更低的能耗。
• 建立多智能体深度强化学习网络，实现全局最优解。
• 提出联邦学习与隐私保护方案，保护车辆信息安全。
• 发表相关学术论文，提升项目影响力。

6. 指导教师情况

• 指导教师：陈秒江，教授助理，计算机与电子信息学院。
• 指导教师承担的科研课题：近五年发表JCR一区论文9篇，其中6篇为中科院一区，3篇为ESI高被引论文。
• 指导教师对项目的支持：在基础理论、代码讲解、实验设备方面给予充分支持。

7. 立项依据

• 研究目的：解决计算卸载和资源分配的耦合问题，提高计算效率和安全性。
• 研究内容：改进深度Q-learning算法，建立多智能体深度强化学习网络，提出联邦学习与隐私保护方案。
• 国内外研究现状与发展动态：车载边缘计算、深度强化学习、联邦学习等领域的最新研究进展。

8. 参考文献

• [1] Zhang, K., Mao, Y., Leng, S., Maharjan, S., & Zhang, Y. (2017). Optimal Delay Constrained Offloading for Vehicular Edge Computing Networks. 2017 IEEE International Conference on Communications (ICC), 1-6.
• [2] Feng, J., Liu, Z., Wu, C., Ji, Y., & Zhang, Y. (2017). AVE: Autonomous Vehicular Edge Computing Framework with ACO-Based Scheduling. IEEE Transactions on Vehicular Technology, 66(8), 7399-7412.
• [3] Wang, K., Yin, H., Quan, W., Min, G., & Zhang, Y. (2018). Enabling Collaborative Edge Computing for Software Defined Vehicular Networks. IEEE Network, 32(6), 42-48.
• [4] Kang, J., Yu, R., Huang, X., Wu, M., Maharjan, S., Xie, S., & Zhang, Y. (2019). Blockchain for Secure and Efficient Data Sharing in Vehicular Edge Computing and Networks. IEEE Internet of Things Journal, 6(5), 8195-8207.
• [5] Liu, Y., et al. (2019). Vehicular Edge Computing: A Survey. IEEE Communications Surveys & Tutorials, 17(4), 2656-2680.
• [6] Yang, H. (2019). Efficient Task Offloading in Vehicular Edge Computing. IEEE Access, 7, 145137-145146.
• [7] Sun, S. (2019). An Adaptive Learning Solution for Task Offloading in Vehicular Edge Computing Systems. IEEE Transactions on Vehicular Technology, 68(9), 9687-9691.
• [8] Ning, S. (2019). Intelligent Offloading in Vehicular Edge Computing. IEEE Access, 7, 138639-138648.
• [9] Ye, H. (2020). Selective Model Aggregation for Federated Learning in Vehicular Edge Computing. IEEE Transactions on Intelligent Transportation Systems, 21(1), 346-358.
• [10] Zhang, Z. (2022). Integrating Digital Twins and AI into Vehicular Edge Computing Networks. IEEE Network, 36(1), 26-32.