多模态场景下的大语言模型推理方法研究
图形处理芯片及智能计算系统技术创新中心根据工作需要，特此设立2023年度开放基金课题。
一、多模态场景下的大语言模型推理方法研究
研究方向：
研究多模态场景下基于大语言模型的战场信息推理、分析能力，主要内容包括：多模态场景建模技术与大语言模型协同推理技术，根据不同模态的输入信息（包括但不限于图像、文本等），提取与融合有效特征，在大语言模型的基本软硬件环境下实现融合特征的嵌入；针对传统预训练-微调范式中，在领域数据上全量微调导致大语言模型灾难性遗忘的问题，研究参数高效微调方法，保留原有大语言模型能力的同时，提升其在特定领域的多模态推理能力，以支撑多模态场景下面向辅助决策的内容生成。
牵引性指标：
-
实现基于大语言模型的多模态推理，模态包括文本、图像、结构化数据，问答准确率达到80%；
-
实现可兼容不同下游大语言模型的推理框架，包括但不限于OPT、LLaMA、GLM等开源模型；
-
通过微调较少参数的附加模块，实现大语言模型提示学习的推理方法，微调参数量为原始大语言模型万分之一，微调时间较原始大语言模型训练时间缩短25%。
研制周期：
1年
经费预算：
30万元
成果形式：
专利申报1项；研究报告1篇；基于大语言模型的多模态推理模型及源码。
联系人：李 鼎 15827315352（技术）
董庆平 15671557969（商务）
本项目采取线下对接报名方式，凡有意参加响应者，请于2023年11月17日17时前，与联系人对接报名。
申报要求：
1、申请的课题研究应满足指南信息所列研究目标，技术指标等要求，申请经费原则上不超过指南信息所列的参考经费。
2、暂不受理因学术不端、科研诚信不佳、重大失泄密等问题进入黑名单而尚未解禁的申请人和申请单位。
3、申请人按照附件建议书模板和经费概算书模板编制，并于2023年11月30日前提交至联系人，包含建议书（盖章件）1份、经费概算书（盖章件）1份，建议书和经费概算书电子版光盘。
点击文字下载模板
声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。
