开源大语言模型的低参数任务适配

 

研究方向

开源大语言模型的低参数任务适配 随着“模型即服务”(Model-as-a-Service, MaaS)概念的兴起,如何高效、灵活地利用这些大型模型服务于多样化、个性化的用户需求,成为了一个亟待解决的关键问题。在MaaS场景下,单一的大模型主干需快速适应不同用户提交的多种任务,如情感分析、问答系统、文本生成等,且每个任务可能具有独特的数据特征和目标。因此,发展参数高效微调技术,使大模型能够在不显著增加存储开销的前提下,快速适配新任务,变得尤为重要。

 

相关学科

计算机科学技术

关键词

开源,大语言模型

科研导师

MIke

  • 香港大学研究员,华东师范大学计算机博士。目前已经发表了论文40 余篇,其中CCF A类会议与期刊12篇,包括ICML,NeurIPS,ACL, WWW, EMNLP, NAACL, COLING, DASFAA, ICASSP等等, 且长期担任这些顶级会议与期刊的审稿人与领域主席。
  • 研究方向:(1)大语言模型相关研究课题,包括如何让大语言模型的参数高效微调更加有效;如何有效提升大模型的监督微调和价值对齐效果;大模型的推理加速。
    (2)多模态大模型,特别是视觉-语言模型和信号-语言模型等新兴方向;
    (3)大模型,包括多模态大模型,的能力评测体系建立。
    (4)时序/信号建模,特别是大一统时序模型的构建,与语言模型结合等。

成果一:在英文期刊中发表学术论文

有方学者项目能够为学员在正规的英文学术期刊中发表论文。正规的学术期刊均要求由独立审稿人决定论文的录用与否。因此,论文的成功发表标志着这篇文章已达到学界公认的学术标准。有方学者最优秀的学生,不但可以冲击EI、SCI等高级别期刊,而且有机会参与全球顶级的学术会议。

成果二:第一作者身份

有方学者项目坚持帮助学生以第一作者身份发表论文。在申请过程中,招生官最看重的是学生在科研项目中的参与程度,而第一作者顺位恰恰是这一点的最佳证明。近年来,有大量的中国学生在教授署名的论文中挂名,这使得第一作者身份的含金量更为突出。

成果三:独一无二的课题

有方学者项目的导师会为每个学生提供独一无二的课题,连接最前沿的科研方法和学生感兴趣的学术方向,每个学生的研究内容具有差异性。

成果四:顶尖院校导师的推荐信

有方学者项目将为学生提供项目导师撰写的推荐信。导师作为推荐人,来自于美国顶尖学府的科研团队,影响着推荐信的可信度;而导师所提供的丰富的细节和生动的描述能更好展现学生的过人之处,从而大大提高了推荐信的价值。

成果五:高效备战具有高影响力、高含金量的科研竞赛

学生可以直接使用有方学者项目的成果论文冲击多项全球顶级的科研赛事,其中包括:被誉为“中国青年的诺贝尔奖”的丘成桐科学奖、ISEF 国际科学与工程奖、全国青少年科技创新大赛等。

 

 

了解更多详情

扫描二维码

关注有方背景提升

有方订阅号