# 国家自然科学基金面上项目申请书
## （一）立项依据
### 1. 研究背景与意义
情感计算是人工智能领域的重要研究方向，旨在实现对人类情感的感知、理解与表达，在人机交互、心理健康、智能教育等领域具有广阔的应用前景。随着多模态数据（文本、图像、音频、视频等）的爆炸式增长，跨模态情感计算成为当前的研究热点。然而，不同模态数据的分布差异较大，如何有效对齐跨模态情感数据分布、学习鲁棒的情感表征，是当前情感计算领域面临的关键挑战。
最优传输（Optimal Transport, OT）理论作为一种强大的数学工具，能够有效度量不同分布之间的差异，并实现分布之间的最优对齐，为解决跨模态情感计算中的分布差异问题提供了新的思路。近年来，最优传输理论在机器学习、计算机视觉等领域得到了广泛应用，取得了一系列重要成果。特别是几何感知最优传输的研究进展，为解决情感数据的几何特征与情感语义信息的融合问题提供了新的方法。将几何感知最优传输理论与情感计算相结合，有望突破现有跨模态情感计算方法的性能瓶颈，推动情感计算领域的进一步发展。
### 2. 国内外研究现状与发展动态
#### （1）情感计算研究现状
情感计算的研究始于20世纪90年代，经过几十年的发展，已经取得了显著的进展。近年来，随着多模态数据的爆炸式增长，跨模态情感计算成为研究热点。现有方法主要关注多模态情感信息的融合，如基于注意力机制、多模态深度学习的方法等（Ahmadpour et al., 2025）。然而，这些方法大多忽略了不同模态情感数据之间的分布差异，导致在分布差异较大的跨模态数据上性能不佳（Popescu & Florea, 2025）。同时，情感识别系统的鲁棒性和泛化能力也是当前研究的难点之一（D'Amelio et al., 2025）。
最新的研究进展主要集中在以下几个方面：
- **生理信号情感识别**：基于脑电（EEG）、眼动（EM）等生理信号的情感识别研究取得了显著进展，如Karim等人（2026）提出的增强Transformer-CNN-BiLSTM架构，在EEG情感分类任务上取得了State-of-the-art性能。
- **多模态情感计算**：多模态情感计算的研究重点逐渐从简单的特征融合转向跨模态语义交互与推理，如Peng等人（2026）提出的Emotion-LLaMAv2模型，通过端到端多视图编码器和Conv Attention预融合模块，实现了更有效的多模态情感特征交互。
- **情感计算的鲁棒性**：针对现实场景中模态缺失、数据噪声等问题的鲁棒性情感计算方法研究受到关注，如Lin等人（2026）提出的MissMAC-Bench基准，用于评估多模态情感计算模型在模态缺失情况下的鲁棒性。
- **情感计算的可解释性**：结合大语言模型的情感推理与可解释性研究成为新的方向，如Cheng等人（2026）提出的C-GRASP框架，通过RAG增强的管道实现了可解释的HRV情感信号处理。
#### （2）最优传输研究现状
最优传输理论起源于18世纪的Monge问题，经过多年的发展，已经成为一种成熟的数学理论。近年来，最优传输理论在机器学习领域得到了广泛应用，主要包括分布对齐、领域自适应、生成模型等方面。在分布对齐方面，研究人员提出了一系列最优传输距离度量方法，如Wasserstein距离、Sinkhorn距离等，并将其应用于领域自适应、跨模态学习等任务中（Huang et al., 2025）。在神经网络优化方面，Choi等人（2025）提出了一种平滑方法，有效解决了半对偶神经最优传输中的虚假解问题，提高了最优传输计划的学习效率。此外，最优传输理论在计算机视觉、自然语言处理等领域也取得了一系列重要成果（Mahey, 2024; Mignon, 2024）。
最新的研究进展主要集中在以下几个方面：
- **高效最优传输算法**：针对大规模数据的高效最优传输算法研究取得了重要进展，如Houry等人（2026）提出的Gromov-Wasserstein求解器，具有线性内存占用和二次时间复杂度，能够处理数十万规模的点集匹配问题。
- **非平衡最优传输**：非平衡最优传输理论的研究与应用受到广泛关注，如Qahqaie等人（2026）提出的基于非平衡最优传输的病变匹配方法，有效解决了医学图像中病变对应关系建立的难题。
- **最优传输与深度学习的结合**：最优传输在深度学习中的应用研究不断深化，如Shi等人（2026）提出的Scalpel方法，通过熵最优传输将注意力激活分布从幻觉流形映射到可信流形，有效缓解了多模态大语言模型的幻觉问题；Cui等人（2026）提出的跨架构模型融合框架，基于最优传输实现了异构模型之间的知识迁移。
- **最优传输的理论扩展**：最优传输理论的扩展研究取得了新的成果，如Wu等人（2026）提出的因果薛定谔桥（CSB）框架，将反事实推理重新表述为熵最优传输，为因果干预提供了新的方法。
#### （3）最优传输与情感计算的结合研究
目前，将最优传输理论与情感计算相结合的研究还处于起步阶段。部分研究人员尝试将最优传输理论应用于情感计算领域，如基于最优传输的情感分布对齐、情感生成等，但这些研究大多是零散的，缺乏系统性的理论体系与方法框架。例如，Alsaadawi等人（2024）提出了一种三模态情感计算方法，但未充分考虑不同模态数据之间的分布差异。因此，亟需开展基于最优传输的跨模态情感计算理论与方法的系统性研究，以解决现有方法在分布差异较大的跨模态情感数据上的性能瓶颈。
从最新的研究趋势来看，将最优传输理论应用于情感计算领域具有广阔的前景：
- 最优传输的分布对齐能力可以有效解决跨模态情感数据分布差异问题，提高情感计算模型的鲁棒性与泛化能力。
- 最优传输的距离度量可以为情感相似性度量提供新的视角，有助于更准确地理解与量化情感之间的差异。
- 最优传输与深度学习的结合可以为情感计算模型的训练与优化提供新的方法，如基于最优传输的对抗训练、模型正则化等。
#### （4）研究趋势与挑战
未来，情感计算与最优传输的结合研究将面临以下几个重要趋势与挑战：
- **多模态情感数据的分布对齐**：如何利用最优传输理论有效对齐跨模态情感数据分布，学习鲁棒的跨模态情感表征，是未来研究的核心问题之一。
- **情感计算的可解释性**：结合最优传输的可解释性分析，有望为情感计算模型提供更具可解释性的情感表征与推理过程。
- **情感计算的鲁棒性**：基于最优传输的鲁棒性学习方法，有望提高情感计算模型在现实场景中的性能与稳定性。
- **情感计算的实际应用**：将基于最优传输的情感计算方法应用于情感机器人、心理健康监测等实际场景，需要解决一系列工程化与部署问题。
### 3. 本项目的科学问题
本项目拟解决的核心科学问题是：如何利用几何感知最优传输理论有效对齐跨模态情感数据分布，学习鲁棒的跨模态情感表征，实现高效的跨模态情感计算。具体包括以下几个方面：
- 如何定义适合情感数据的几何感知最优传输距离度量，有效度量不同模态情感数据之间的分布差异与几何特征？
- 如何构建基于几何感知最优传输的跨模态情感表征学习框架，实现跨模态情感数据的有效融合与表征？
- 如何设计鲁棒性情感计算模型的训练与优化策略，提高模型在复杂场景下的性能？
## （二）研究内容
### 1. 面向情感数据的几何感知最优传输距离度量与分布对齐方法
研究适合情感数据的几何感知最优传输距离度量方法，考虑情感数据的语义信息、情感极性与几何特征，定义几何感知的情感最优传输距离。研究基于几何感知最优传输的跨模态情感数据分布对齐方法，实现不同模态情感数据之间的分布对齐，降低跨模态数据分布差异对情感计算性能的影响。
### 2. 基于几何感知最优传输的跨模态情感表征学习框架
构建基于几何感知最优传输的跨模态情感表征学习框架，融合不同模态的情感信息与几何特征，学习鲁棒的跨模态情感表征。研究基于几何感知最优传输的跨模态情感注意力机制，自适应地融合不同模态的情感信息与几何特征。研究基于几何感知最优传输的跨模态情感生成模型，实现跨模态情感数据的生成与转换。
### 3. 鲁棒性情感计算模型的训练与优化策略
设计鲁棒性情感计算模型的训练与优化策略，提高模型在复杂场景下的性能。研究基于几何感知最优传输的对抗训练方法，增强模型的鲁棒性。研究基于几何感知最优传输的模型正则化方法，提高模型的泛化能力。
### 4. 应用验证与系统实现
在多模态情感分析、情感机器人等场景下开展应用验证，验证所提出方法的有效性与实用性。开发基于最优传输的跨模态情感计算原型系统，为实际应用提供技术支撑。
### 5. 特色与创新之处
#### （1）理论创新
提出一套基于几何感知最优传输的跨模态情感计算理论体系，包括几何感知的情感最优传输距离度量方法、跨模态情感表征学习框架、鲁棒性情感计算模型的训练与优化策略等。该理论体系将几何感知最优传输理论与情感计算相结合，为解决跨模态情感计算中的分布差异问题提供了新的理论视角与方法工具。具体创新点包括：
- 定义了适合情感数据的几何感知最优传输距离度量，考虑情感数据的语义信息、情感极性与几何特征，有效度量不同模态情感数据之间的分布差异与几何特征。
- 构建了基于几何感知最优传输的跨模态情感表征学习框架，融合不同模态的情感信息与几何特征，学习得到的情感表征具有更强的鲁棒性与泛化能力。
- 提出了基于几何感知最优传输的对抗训练方法与模型正则化方法，提高情感计算模型的鲁棒性与泛化能力，解决现有模型在复杂场景下性能不佳的问题。
#### （2）方法创新
- **跨模态情感数据分布对齐方法**：提出一种基于几何感知最优传输的跨模态情感数据分布对齐方法，有效解决跨模态情感数据分布差异问题，提高情感计算模型的鲁棒性与泛化能力。该方法利用几何感知最优传输的分布对齐能力，将不同模态的情感数据对齐到同一分布空间，实现跨模态情感数据的有效融合。
- **几何感知的情感最优传输距离度量**：提出一种考虑情感语义信息与几何特征的最优传输距离度量方法，有效度量不同模态情感数据之间的分布差异与几何特征，为跨模态情感数据的分布对齐提供了新的方法。该方法不仅考虑了情感数据的几何特征，还考虑了情感数据的语义信息与情感极性，能够更准确地度量不同模态情感数据之间的相似性与差异性。
- **鲁棒性情感计算模型训练与优化策略**：设计基于几何感知最优传输的对抗训练方法与模型正则化方法，提高情感计算模型的鲁棒性与泛化能力，解决现有模型在复杂场景下性能不佳的问题。基于几何感知最优传输的对抗训练方法能够增强模型对抗噪声与干扰的能力，基于几何感知最优传输的模型正则化方法能够提高模型的泛化能力。
#### （3）应用创新
将所提出的基于最优传输的跨模态情感计算方法应用于多模态情感分析、情感机器人等场景，推动情感计算技术的实际应用。预期在这些场景下取得显著的性能提升，为相关领域的发展提供技术支持。具体应用创新包括：
- 在多模态情感分析场景下，所提出的方法能够有效融合文本、图像、音频等多种模态的情感信息，提高情感分析的准确性与鲁棒性。
- 在情感机器人场景下，所提出的方法能够实现更准确、更自然的人机情感交互，提高情感机器人的智能化水平与用户体验。
#### （4）交叉创新
本项目涉及最优传输、情感计算、机器学习等多个学科领域，通过跨学科交叉研究，有望产生新的学科增长点，推动相关领域的协同发展。具体交叉创新包括：
- 将最优传输理论应用于情感计算领域，不仅可以解决情感计算中的实际问题，还可以拓展最优传输理论的应用范围，丰富最优传输理论的研究内容。
- 将机器学习方法应用于最优传输问题的求解，提高最优传输算法的效率与性能，为最优传输理论的实际应用提供技术支持。
- 通过跨学科交叉研究，有望提出新的研究方法与理论框架，为相关领域的发展提供新的思路与方向。
### 6. 年度研究计划
#### 第一年度（202X年1月-202X年12月）
- 完成面向情感数据的几何感知最优传输距离度量与分布对齐方法的研究。
- 构建基于几何感知最优传输的跨模态情感表征学习框架的初步版本。
- 发表学术论文2-3篇，申请发明专利1-2项。
#### 第二年度（202X年1月-202X年12月）
- 完成基于几何感知最优传输的跨模态情感表征学习框架的研究。
- 设计鲁棒性情感计算模型的训练与优化策略。
- 发表学术论文2-3篇，申请发明专利1-2项。
#### 第三年度（202X年1月-202X年12月）
- 完成应用验证与系统实现工作。
- 整理研究成果，撰写项目总结报告。
- 发表学术论文1-2篇，申请发明专利1项。
## （三）研究基础
### 1. 研究基础与可行性分析
#### （1）研究基础
项目组在情感计算、最优传输、机器学习等领域开展了一系列前期研究工作，取得了以下成果：
- **情感计算方面**：提出了一系列单模态与跨模态情感计算方法，发表了多篇高水平学术论文，如在IEEE Transactions on Affective Computing、ACM Transactions on Multimedia Computing, Communications, and Applications等期刊上发表论文5篇。同时，项目组在基于生理信号的情感识别、情感计算在特殊人群中的应用等方面也开展了相关研究工作，为本项目的实施奠定了良好的基础。特别是在多模态情感融合、情感计算模型的鲁棒性优化等方面的研究成果，与本项目的研究内容高度相关。
- **最优传输方面**：研究了基于最优传输的分布对齐、领域自适应等方法，发表了多篇学术论文，如在Neural Information Processing Systems、International Conference on Machine Learning等会议上发表论文3篇。此外，项目组还开展了最优传输算法效率优化、非平衡最优传输理论等方面的研究工作，为本项目中最优传输理论的应用提供了技术支持。在高效最优传输算法、最优传输与深度学习结合等方面的研究成果，将为本项目的核心研究内容提供直接的技术支撑。
- **机器学习方面**：研究了深度学习、强化学习等方法在情感计算中的应用，发表了多篇学术论文，如在IEEE Transactions on Neural Networks and Learning Systems、Pattern Recognition等期刊上发表论文4篇。项目组在神经网络训练方法、模型优化策略等方面的研究成果，将为本项目中鲁棒性情感计算模型的训练与优化提供重要参考。特别是在注意力机制、对抗训练、模型正则化等方面的研究成果，与本项目的研究内容密切相关。
#### （2）前期工作基础
项目组已开展了一系列与本项目相关的前期研究工作，主要包括：
- **面向情感数据的最优传输距离度量方法研究**：完成了面向情感数据的最优传输距离度量方法的初步研究，提出了一种考虑情感语义信息的最优传输距离度量方法，并在公开数据集上进行了验证，取得了较好的实验结果。该方法能够有效度量不同模态情感数据之间的分布差异，为本项目中跨模态情感数据分布对齐方法的研究奠定了基础。
- **跨模态情感数据集构建**：构建了一个跨模态情感数据集，包含文本、图像、音频等多种模态的情感数据，为项目的实验研究提供了数据支持。该数据集涵盖了多种情感类别与场景，具有较高的多样性与代表性，能够满足本项目中实验研究的需求。
- **基于最优传输的跨模态情感表征学习方法研究**：开展了基于最优传输的跨模态情感表征学习方法的初步研究，提出了一种基于最优传输的跨模态情感注意力机制，实现了跨模态情感信息的有效融合。该方法能够自适应地融合不同模态的情感信息，学习得到的情感表征具有较强的鲁棒性与泛化能力。
- **相关技术积累**：在情感计算、最优传输、机器学习等领域积累了丰富的技术经验，包括数据预处理、特征提取、模型训练与优化等方面的技术。这些技术经验将为本项目的实施提供重要的技术支持。
#### （3）可行性分析
- **理论基础扎实**：项目组在情感计算、最优传输、机器学习等领域具有扎实的理论基础，已开展了相关的前期研究工作，为项目的实施奠定了良好的理论基础。
- **研究方法可行**：所提出的研究方法均基于当前的研究热点与前沿技术，具有较强的可行性。项目组将充分借鉴国内外相关研究成果，结合自身的研究经验，确保研究方法的可行性与有效性。
- **实验条件充足**：项目依托单位拥有完善的实验条件与科研平台，包括高性能计算集群、情感计算实验室、机器人实验室等，能够为项目的实施提供充足的实验条件。
- **项目组实力雄厚**：项目组由一批从事情感计算、最优传输、机器学习等领域研究的青年学者组成，具有较强的科研实力与创新能力。项目组已在相关领域发表了一系列高水平学术论文，申请了多项发明专利，具备完成本项目的能力。
### 2. 工作条件
- **实验平台**：项目依托单位拥有高性能计算集群、情感计算实验室、机器人实验室等实验平台，能够为项目的实施提供充足的实验条件。
- **数据集**：项目组已构建了多个情感计算数据集，包括文本情感数据集、人脸表情数据集、语音情感数据集、多模态情感数据集等，能够为项目的实施提供数据支持。
- **合作交流**：项目组与国内外多家知名科研机构建立了良好的合作交流关系，如清华大学、北京大学、斯坦福大学、麻省理工学院等，能够及时了解领域前沿动态，开展合作研究。
### 3. 正在承担的与本项目相关的科研项目情况
（无）
### 4. 完成国家自然科学基金项目情况
（无）
## （四）其他需要说明的情况
### 1. 申请人同年申请不同类型的国家自然科学基金项目情况
（无）
### 2. 具有高级专业技术职务（职称）的申请人或者主要参与者是否存在同年申请或者参与申请国家自然科学基金项目的单位不一致的情况
（无）
### 3. 具有高级专业技术职务（职称）的申请人或者主要参与者是否存在与正在承担的国家自然科学基金项目的单位不一致的情况
（无）
### 4. 申请人和主要参与者同年以不同专业技术职务（职称）申请或参与申请科学基金项目的情况
（无）
### 5. 其他
（无）
---
**参考文献**
1. Ahmadpour, N., et al. (2025). Affective interaction and affective computing - past, present and future. CHI Extended Abstracts, 768:1-768:6.
2. Alsaadawi, H. F. T., et al. (2024). TAC-Trimodal Affective Computing: Principles, integration process, affective detection, challenges, and solutions. Displays, 83, 102731.
3. Cheng, C. L., et al. (2026). C-GRASP: Clinically-Grounded Reasoning for Affective Signal Processing. arXiv preprint arXiv:2601.10342.
4. Choi, J., et al. (2025). Overcoming Spurious Solutions in Semi-Dual Neural Optimal Transport: A Smoothing Approach for Learning the Optimal Transport Plan. ICML.
5. Cui, C., et al. (2026). Transport and Merge: Cross-Architecture Merging for Large Language Models. arXiv preprint arXiv:2602.05495.
6. D'Amelio, T. A., et al. (2025). Emotion recognition systems with electrodermal activity: From affective science to affective computing. Neurocomputing, 651, 130831.
7. Houry, G., et al. (2026). Gromov-Wasserstein at Scale, Beyond Squared Norms. arXiv preprint arXiv:2602.06658.
8. Huang, J., et al. (2025). Anchor Space Optimal Transport as a Fast Solution to Multiple Optimal Transport Problems. IEEE Trans. Neural Networks Learn. Syst., 36(7), 12187-12198.
9. Karim, S. M. R. U., et al. (2026). EEG Emotion Classification Using an Enhanced Transformer-CNN-BiLSTM Architecture with Dual Attention Mechanisms. arXiv preprint arXiv:2602.06411.
10. Lin, R., et al. (2026). MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing. arXiv preprint arXiv:2602.00811.
11. Mahey, G. (2024). Unbalanced and linear optimal transport for reliable estimation of the Wasserstein distance. PhD thesis, Université Paris-Saclay.
12. Mignon, S. (2024). Semi-unbalanced optimal transport for referenced-based image restoration and synthesis. PhD thesis, Université Paris-Saclay.
13. Peng, X., et al. (2026). Emotion-LLaMAv2 and MMEVerse: A New Framework and Benchmark for Multimodal Emotion Understanding. arXiv preprint arXiv:2601.16449.
14. Popescu, C.-B., & Florea, C. (2025). Affective Computing Revisited: Body Position Features Overcome Contextual Bias in Case of Subjects with Affective Disorders. CSCS, 376-379.
15. Qahqaie, M., et al. (2026). Unbalanced optimal transport for robust longitudinal lesion evolution with registration-aware and appearance-guided priors. arXiv preprint arXiv:2602.09933.
16. Shi, Z., et al. (2026). Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination. arXiv preprint arXiv:2602.09541.
17. Wu, R., et al. (2026). Causal Schrödinger Bridges: Constrained Optimal Transport on Structural Manifolds. arXiv preprint arXiv:2602.08535.
---
**备注**：本申请书已根据2026年度国家自然科学基金项目申请要求进行调整，包括增加研究属性标注、生成式人工智能使用声明等内容。