星语天文大模型，科普与科学领域的多模态、智能体探索
本期精彩
星语天文大模型是一种基于人工智能技术的大型语言模型，专门针对天文领域的研究和应用而设计，具有强大的天文知识表示和推理能力。通过训练大量天文领域的文本数据，星语天文大模型能够理解、生成和处理天文专业术语、概念和关系。
本期开放麦我们邀请到中国科学院国家天文台银河系三维结构组博士生，国家天文台人工智能工作组成员李瑀旸，为观众揭开星语天文大模型的神秘面纱。
分享内容
基础学科模型的训练背景与动机
星语模型训练概况
- 科普与科研中的数据飞轮
- 智能体在科研科学中的应用
模型训练成果
- 领域知识评测
- 数字人科普直播
- 讨论：高质量数理问答对模型训练的影响
未来发展方向
- 国台星团模型与司天具身智能
分享时间
北京时间
2023 年 11 月16 日（周四）
20: 00 - 20: 40（分享）
20: 40 - 21: 00（Q&A）
分享嘉宾
李瑀旸
中国科学院国家天文台银河系三维结构组博士生，国家天文台人工智能工作组成员，主要方向为天文大数据的应用开发。曾参与哥伦比亚大学访学，进行人工智能与天文学交叉相关研究，获校级奖学金。
内容详情
司天工程是我国天文学家面向时域天文学所提出的“十五五”天文重大基础设施，一期计划在国内多个优选观测台址布置 54 台（18 组）口径 1 米级的大视场望远镜，组成多波段同时监测网络，每 30 分钟完成 1 万平方度天区的高精度三色“凝视”巡天。司天的采样频率比全球其它巡天项目高近两个量级，将突破目前探测时标的限制，在新的空域和时域下发现大批新天体、新现象，在宇宙极端高能爆发源、引力波电磁对应体、系外行星和太阳系天体等理论和观测研究中形成新的突破，在“两暗一黑三起源”等重大科学问题研究以及地球文明灾难预警等国家空间安全问题方面发挥重要作用。
其中司天"大脑"作为数据智能处理中枢，需要适配于天文的 AI 工具。如今，类 ChatGPT 的大模型快速发展，为更高效的工具开发带来了新的机遇。尤其是以感知环境身体+ LLM 组成的具身智能，启发促进了司天工程进一步与 AI 结合的探索，即大模型驱动的天文望远镜阵列。
在这个背景下，StarWhisper 通过天文物理知识微调激活预训练知识与学习特定任务形式，数据集包含专家标注数据、基于种子与开源数据整理得到 GPT 3.5/4 数据、天文中的长文本/逻辑思维/文本总结数据。同时通过直接偏好优化，在缓解微调后回复较短问题的同时，配合特定任务微调增强的推理能力，进一步提升回复准确性。
通过 45W 条专家标注、数据扩充得到的光变曲线文本对，我们探索了多模态模型处理科学数据的可行性。通过链接由哈勃与韦伯图像微调的扩散模型，我们尝试了 AIGC 在科普/科学领域的应用。
在经过特定语料训练后，我们增强了模型进行 Function Calling 的能力，探索了工具学习、(多)智能体在科研科学中的可能应用。
与先前 StarGLM 训练情况(数学计算得分接近基座模型两倍)相近，数学计算的评分相对基模型有明显提升，在参评模型中与 GPT3.5 并列第二，同时天文方面评分也超过了 GPT3.5 Turbo，模型平均评分也达到了总排行第二。
未来，我们将与耀星会科普团队进一步落实 AIGC在科普教育中的可能应用，通过国家天文台人工智能工作组进一步整合专家团队，进行基于多模态的科研应用与基于 LLM 与望远镜的科学具身智能的开发。
相关工作
The Sitian Project
paper:
https://www.scielo.br/j/aabc/a/S786y7FHmf7Vsx3Wwcnkqwr/?lang=en
code:
https://github.com/Yu-Yang-Li/StarWhisper
交流群
同时为了方便大家交流沟通，我们建立了 LLM 相关方向交流群，提供与大佬 1v1 的机会，扫码即可入群~
往期回顾
上期开放麦，我们邀请到北京航空航天大学二年级在读硕士生王泽坤，他将为我们分享他们最近的工作 RoleLLM，这是一个用于基准测试、引出和增强大模型角色扮演能力的框架。
感兴趣的同学，可以通过直播回放学习一下哦~
2023-11-10
2023-11-09
2023-11-08