科学大语言模型的参数高效微调算法及其下游应用探索
课题背景
大语言模型已成为当下最热门的研究方向之一。目前大模型的应用场景从自然语言逐步扩展到了科学发现，特定科学领域的大语言模型能够在相关下游任务中展现出突出的性能。随着参数规模的增加，对大模型进行合理的参数高效微调十分重要。
本课题探究生命科学领域（蛋白质、DNA、RNA）中多个热门方向大语言模型的参数高效微调方法，梳理从BERT到LLaMA、MOE架构的完整发展脉络，并提出新的模型架构以增强模型的预测性能。
关键词： 参数高效微调（PEFT）、科学大语言模型、可解释性、强化学习
课题创新点
| 研究课题 | 研究方向 | 创新点 |
|---|---|---|
| 参数高效微调在类别不平衡数据中的稳定性研究 | 类别不平衡的分类问题 | 提出适应高度不平衡数据的算法 |
| 参数高效微调的泛化性研究 | 跨域泛化问题 | 提出适应极低相似度数据的算法 |
| 参数高效微调的可解释研究 | 挖掘可解释的大模型特征 | 从不可解释的参数空间中挖掘可解释特征，清晰化模型决策过程 |
| 参数高效微调的鲁棒性研究 | 从带噪声的数据中学习 | 提出对训练数据质量要求较低的鲁棒性算法 |
老师介绍
远诗老师，顶尖985高校博士，长期深耕机器学习前沿理论与算法研究，主要研究方向为大语言模型、AI for Science。
以第一作者或通讯作者身份在多个国际顶级期刊发表多篇一区TOP论文
在大型语言模型微调、知识蒸馏等方向具有深厚学术积累
作为核心成员参与多项大语言模型及其在科学研究中应用的重点项目
课程大纲
课程构成： 14节课（含1v1辅导）
| 课节 | 课程标题 | 核心内容 |
|---|---|---|
| 第1节 | 人工智能及大语言模型入门 | 大模型基础知识、课程目标 |
| 第2节 | 生物医药领域大语言模型基础详解 | Transformer/BERT/GPT架构、预训练策略 |
| 第3节 | 蛋白质大语言模型专题 | ESM系列、抗癌肽识别、蛋白可溶性预测等 |
| 第4节 | DNA大语言模型专题 | DNABERT-2、启动子识别、DNA甲基化识别等 |
| 第5节 | RNA大语言模型专题 | RNA-FM、RNA甲基化预测、RNA二级结构预测等 |
| 第6节 | 科学大语言模型专题补充 | 药物分子、单细胞测序、大模型与强化学习融合 |
| 第7节 | 大语言模型参数高效微调专题 | LoRA、OFT、MiSS等微调方法 |
| 第8节 | Idea指导——如何寻找创新点 | 文献调研方法、创新点提炼技巧 |
| 第9–10节 | 论文调研进展汇报 | 汇报点评、Idea细化指导 |
| 第11–12节 | Idea优化与实验设置指导 | 实验方案设计原则、结果分析 |
| 第13节 | 论文写作指导 | 论文各模块写作技巧与工具 |
| 第14节 | 论文绘图指导 + 写作提升 | 学术绘图、公式/表格/参考文献规范 |
4V1多维论文支持体系
| 角色 | 职责 |
|---|---|
| 班主任 | 督学，跟进学习进度，规划全程进度管理 |
| 课程顾问 | 答疑、提供前沿文献资料与研究方法 |
| 主导师 | 授课，全程不定时答疑，提供方向性指导 |
| 代码导师 | 辅助教学，协助代码调试与技术落地 |
服务内容
✅ 12节1v多小班研讨课（4–8人精品小组，每周1次，约90分钟/次）
✅ 2节不限时1v1深度辅导（个性化选题 + 论文修改 + 科研规划）
✅ 全程导师在线答疑（微信群，24小时内回复）
✅ 完整课程资料（论文精读笔记、代码模板、写作指南、投稿Checklist）
✅ 课程结束后3个月内持续跟踪辅导（投稿后修改、Rebuttal支持）
✅ 科研能力评估报告 + 符合条件者可获导师推荐信
✅ 课程永久回放，随时可学
科学大语言模型的参数高效微调算法及其下游应用探索
课题背景
大语言模型已成为当下最热门的研究方向之一。目前大模型的应用场景从自然语言逐步扩展到了科学发现，特定科学领域的大语言模型能够在相关下游任务中展现出突出的性能。随着参数规模的增加，对大模型进行合理的参数高效微调十分重要。
本课题探究生命科学领域（蛋白质、DNA、RNA）中多个热门方向大语言模型的参数高效微调方法，梳理从BERT到LLaMA、MOE架构的完整发展脉络，并提出新的模型架构以增强模型的预测性能。
关键词： 参数高效微调（PEFT）、科学大语言模型、可解释性、强化学习
课题创新点
| 研究课题 | 研究方向 | 创新点 |
|---|---|---|
| 参数高效微调在类别不平衡数据中的稳定性研究 | 类别不平衡的分类问题 | 提出适应高度不平衡数据的算法 |
| 参数高效微调的泛化性研究 | 跨域泛化问题 | 提出适应极低相似度数据的算法 |
| 参数高效微调的可解释研究 | 挖掘可解释的大模型特征 | 从不可解释的参数空间中挖掘可解释特征，清晰化模型决策过程 |
| 参数高效微调的鲁棒性研究 | 从带噪声的数据中学习 | 提出对训练数据质量要求较低的鲁棒性算法 |
老师介绍
远诗老师，顶尖985高校博士，长期深耕机器学习前沿理论与算法研究，主要研究方向为大语言模型、AI for Science。
以第一作者或通讯作者身份在多个国际顶级期刊发表多篇一区TOP论文
在大型语言模型微调、知识蒸馏等方向具有深厚学术积累
作为核心成员参与多项大语言模型及其在科学研究中应用的重点项目
课程大纲
课程构成： 14节课（含1v1辅导）
| 课节 | 课程标题 | 核心内容 |
|---|---|---|
| 第1节 | 人工智能及大语言模型入门 | 大模型基础知识、课程目标 |
| 第2节 | 生物医药领域大语言模型基础详解 | Transformer/BERT/GPT架构、预训练策略 |
| 第3节 | 蛋白质大语言模型专题 | ESM系列、抗癌肽识别、蛋白可溶性预测等 |
| 第4节 | DNA大语言模型专题 | DNABERT-2、启动子识别、DNA甲基化识别等 |
| 第5节 | RNA大语言模型专题 | RNA-FM、RNA甲基化预测、RNA二级结构预测等 |
| 第6节 | 科学大语言模型专题补充 | 药物分子、单细胞测序、大模型与强化学习融合 |
| 第7节 | 大语言模型参数高效微调专题 | LoRA、OFT、MiSS等微调方法 |
| 第8节 | Idea指导——如何寻找创新点 | 文献调研方法、创新点提炼技巧 |
| 第9–10节 | 论文调研进展汇报 | 汇报点评、Idea细化指导 |
| 第11–12节 | Idea优化与实验设置指导 | 实验方案设计原则、结果分析 |
| 第13节 | 论文写作指导 | 论文各模块写作技巧与工具 |
| 第14节 | 论文绘图指导 + 写作提升 | 学术绘图、公式/表格/参考文献规范 |
4V1多维论文支持体系
| 角色 | 职责 |
|---|---|
| 班主任 | 督学，跟进学习进度，规划全程进度管理 |
| 课程顾问 | 答疑、提供前沿文献资料与研究方法 |
| 主导师 | 授课，全程不定时答疑，提供方向性指导 |
| 代码导师 | 辅助教学，协助代码调试与技术落地 |
服务内容
✅ 12节1v多小班研讨课（4–8人精品小组，每周1次，约90分钟/次）
✅ 2节不限时1v1深度辅导（个性化选题 + 论文修改 + 科研规划）
✅ 全程导师在线答疑（微信群，24小时内回复）
✅ 完整课程资料（论文精读笔记、代码模板、写作指南、投稿Checklist）
✅ 课程结束后3个月内持续跟踪辅导（投稿后修改、Rebuttal支持）
✅ 科研能力评估报告 + 符合条件者可获导师推荐信
✅ 课程永久回放，随时可学