2024南大NLP夏令营招募公告
* 注意：该夏令营与计算机系以及人工智能学院的推免夏令营无关。
南京大学自然语言处理研究组（NJUNLP）是国内最早从事NLP领域科研工作的团队之一，先后承担国家科技攻关项目、863项目、国家自然科学基金、江苏省自然科学基金等20项，获国家七五科技攻关重大成果奖1次、教育部科技进步奖2次、江苏省科技进步二等奖、三等奖各一次；近3年在自然语言处理和人工智能顶级会议上（ACL、AAAI、IJCAI、EMNLP等）发表论文四十余篇，累计发表论文200+篇；多次参与自然语言处理相关的比赛和评测，并获得第一（WMT2023-QE、WMT2022-QE（机器翻译质量自动评估）评测英德语言方向多个任务、CCF-BDCI2018情感分析、NLPCC2012分词、SIGHAN2006命名实体识别）。
研究组开展的本科生NLP Summer Camp活动旨在为本科生提供了解自然语言处理及运用自然语言处理技术解决实际问题的平台。今年该活动受到江苏省计算机学会—2024年江苏省研究生”计算机科学之美：从理论计算到大语言模型”暑期学校项目支持。该活动设置若干自然语言处理领域的前沿课题，每个课题由本组优秀博士生担任组长。在报名开始时，同学们可以自愿选择感兴趣的课题。在报名结束后，研究组将根据课题方向组织面试选拔，通过选拔的同学可以正式参与夏令营活动。完成课程和相应课题的同学在活动结束后将获得南京大学计算机科学与技术系印发的结题证书，后期申请保研至NLP研究组时会被优先考虑，入学后凭该证书有机会兑换相应研究生课程学分。
一、项目计划
举办形式：本次夏令营采用线上与线下相结合的模式，南京大学本校生线下参与，外校学生线上参与。
项目周期：7月1日-8月11日，为期6周，前1周集中培训，后5周自主学习，并跟随组长进行项目实战。
项目内容：共有6个课题，后期设有通识讲座、基础课程以及学术论坛。
招募人数：计划每个课题招募3-5名学员。
二、项目要求
申请对象：原则上仅限大三及以下的在校本科生报名，优先考虑具有自然语言处理或机器学习基础知识的大一、大二在校本科生。
时间安排：本次夏令营是为期六周的全程跟进学习，请有意参加夏令营的同学提前安排好时间，避免出现安排冲撞、时间精力不足以及中途退出等情况。
三、申请流程
网上申请
即日起，可登录：https://wj.qq.com/s2/14712744/8fio/，填写报名信息，申请截止时间为：6月18日23:59。
资格初审
申请截止后，工作小组对申请者提供的报名信息进行资格初审，面试名单，预计在6月20日以公众号以及邮箱形式发布。面试时间初定于：6月22日-6月24日。
结果发布
面试结束后，工作小组结合学员信息以及面试情况，确定夏令营入围名单，预计在6月26日公布。
以上项目流程公布日期均为拟定，具体时间以后续通知为准，请对夏令营感兴趣的同学按照初步拟定的日期安排规划好自己的时间，并在此期间及时关注自己的邮箱以及我们的公众号，避免出现错过通知的情况。
四、课题名称
课题1:上下文学习增强的生物分子大语言模型研究
随着大语言模型（LLM）和 AI4Science 的蓬勃发展，越来越多的工作开始关注生物分子与自然语言的联合建模，大量生物分子LLM被提出。这些方法利用丰富的生物化学科学文献、数据库数据对LLM后训练，增强了LLM对生物分子数据的理解，提高了其分子描述、分子-文本跨模态检索的能力。但面对分子属性预测这一更具实际意义的任务时，现有生物分子LLM表现欠佳。我们拟基于上下文学习，设计合适的示例选择、模板设计策略，提高生物分子LLM的属性预测能力。
课题2:大型多模态模型知识学习能力探究
大型多模态模型（Large Multimodal Model，LMM）被认为是通向通用人工智能AGI的关键之一，近期受到了研究者们广泛的关注。目前LMM在视觉感知、推理、世界知识等任务上有着出色的表现。对于人类而言，除了这些已经掌握的能力外，人们在日常生活中会不断学习新的知识，并在之后的决策中利用它。例如记住认识的新朋友的名字或某种奶茶的味道。本课题计划探索当前最先进的开源和闭源LMM学习此类新知识的能力，并研究不同学习方法（例如情景学习和参数微调）对模型知识学习的影响。
课题3:大语言模型的结构化文本生成
大语言模型（LLMs）在语言理解和生成方面展示了非凡的能力，它不仅能生成富有创造性和多样性的回复，还能高度适应各种用户需求。尽管 LLM 无拘无束的创造力在对话场景中十分重要，然而，当把它们集成到LLM 驱动的应用开发中时，必须限制它们的输出遵循特定的格式或标准。例如，用户可能会要求文章摘要 "严格少于 20 个字 "以满足长度限制，或者要求LLM返回能被解析的有效 JSON，以满足开发流水线的要求。
然而，即使在提示中明确定义了约束条件，目前最先进的 LLM 仍然无法保证生成的输出始终符合用户的要求。虽然研究人员提出了各种方法来提高可控性，如利用专门数据集进行有监督的微调，但这些方法往往只关注解决范围较窄的约束，并且受到数据和训练成本的限制。针对以上问题，本课题重点关注LLM受控解码策略，带领营员探索基于有限状态机的正则表达式约束生成以及基于下推自动机的json约束生成，同时对不同字段引入细粒度约束，并评估方法的约束能力以及对LLM性能的潜在影响。
课题4: 翻译评估视角的大语言模型可解释性分析
大语言模型（LLM）在多类任务上都展现出了不俗的表现，然而，这些模型的复杂性和黑箱特性使得理解其内部工作机制变得困难。本课题将从翻译评估任务的角度，分析大语言模型的翻译评估过程和结果，探讨其可解释性。在大语言模型中，不同的注意力头可能具有不同的功能。通过深入研究模型在不同语言对和翻译评估任务中的表现，我们希望能够识别出语言和任务相关的神经回路，为模型在处理翻译评估任务时的行为给出较为可靠的解释。进一步，探讨如何根据解释的结果来改进模型在此任务上的表现。
课题5:大语言模型数学推理能力探究
目前大语言模型（LLMs）在诸多任务上展现了强大的能力，然而，即使是最强大的模型（如GPT4），复杂数学推理能力仍有待加强。为此，研究人员通过思维链技术（CoT）激发现有大模型的推理能力，并通过设计训练流程和验证策略以进一步提升模型的数学能力。本次夏令营中，课题组将带领营员回顾近年来基于大模型的数学解题技术，并复现数学解题模型训练流程，试图探索模型在数学推理上的能力边界并尝试进行改进。
课题6:大语言模型情绪激发能力探究
AI技术的发展远超我们的想象，在以ChatGPT为代表的LLM诞生以来，互联网中越来越多的AI在未经研究的情况下被直接应用了。举例来说，b站已经出现了不少AI Vtuber / AI主导的up。他们都在某种程度上为人们提供情绪价值/情绪输出。正向的情绪价值自然是有意义的，但是，其中也会蕴含着很多风险 - AI对人是不是也会产生负面的情绪影响？尽管传统对话系统已经研究了如何生成empathy、安全的内容，但AI对于人类情绪的激发能力一直没被充分探索。类人表达能力的大幅提升或许可以带来更多的可能性，特别是在心理疏导、诊疗等领域。因此，本课题将探索AI激发人类情绪的能力，具体来说，我们可能会探索以下问题：
机器可不可以激发人的指定情绪？这种激发能力有什么特点？
如果可以，可不可以通过一些设计来强化这种激发能力？
如有任何疑问，请联系邮箱：liul@smail.nju.edu.cn。