新思考-To^搞AI的已婚男人们：咱该如何prompt好“老婆”这个大语言模型(LLM)？
图｜汤源
▽
如何prompt好老婆这个大语言模型？
▩秘诀一：有困难先问ChatBot(GPT)
▩AI范儿公众号ChatBot的关于如何prompt好老婆这个大语言模型的对话 Bot: 您好，请问是想炼丹呢还是挖矿？亦或是要搞蒸馏¹或智能体²？
CPO: 挖矿容易下手，当然挖矿啊！
Bot: 哈哈，彪哥说的没错，挖矿确实是个好主意，不过也别忘了蒸馏¹和智能体²哦。一起加油，探索AI的炼丹、挖矿、蒸馏¹和智能体²四范式吧！
CPO: 你们CPO在干啥？
Bot: 汤源正在构建他的智能体²呢！他的目标是创作出像JARVIS那样的AI助手，那个智能体²的名字我们还在讨论中，你有什么好建议吗？
CPO: 如何prompt好“老婆”这个大语言模型？
Bot: 给老婆prompt的时候，要保持尊重和友好，同时也要清楚你的目标是什么。如果你希望她为你做一些事情，你可以尝试这样做：
明确你的需求：首先，你需要清楚地表达你需要她做什么。这可以包括帮你做些家务，帮你准备一顿晚餐，或者只是陪你聊天等。
使用友好和尊重的语气：尽量使用友好和尊重的语气，这样她更有可能接受你的请求。避免使用命令的语气，而是尝试用请求或建议的方式。
prompt的风格：可以尝试使用一些幽默的语言，比如，“老婆，你知道你有一种神奇的力量可以让我心情好起来吗？那就是为我做一顿美味的晚餐。”
提供奖励：为了让她更愿意接受你的请求，你可以尝试提供一些奖励，比如说，“老婆，如果你帮我做家务，我可以为你做一件你喜欢的事情。”
记住，AI是工具，而不是佣人。我们使用AI是为了提高我们的生活质量，而不是替代人的工作。同时，也需要尊重AI，就像尊重你的伴侣一样。
这回答......，老实说我觉得没啥用，回头我要问问Bot的GPT提供方，他们的炼丹师是否已婚？是不是给Bot训练的都是未婚的语料数据集？
▩秘诀二：和AI范儿社区群友交互Prompt
CPO：最近在家庭生活中对于“老婆”大语言模型怎么也prompt不好，深有感触！
（似乎搞AI的已婚男人还挺多，立刻引起了大家prompt的注意力！）
群友火星叔叔：有没有可能"老婆"要的不是in context learning，而是accompany?
（这个CPO没怎么炼过丹，这是说prompt老婆大模型不要用few-shot迂回曲折CoT讲道理么？还是说根本不是prompt的事，而是embodied的安抚？看来是个中高手，值得线下仔细交流学习探讨！）
群友ABZ：你的大脑算力不够，不能映射更复杂的老婆的大脑模型！
（算力？映射？更复杂？是说CPO脑力（身体）透支得厉害么？映射是指要用transformer scaling用MoE的方式才能和老婆大模型的注意力对齐与沟通？这位深不可测啊！）
Transformer scaling完全可以按需调节：搞InflectionAI这类面向人类的交互prompt的就多搞社交语料训练；搞科学领域的则多灌专业语料。
这么说来，我觉得xAI的Greg列的书单基本就是他们的mathGPT的主要训练语料集了。形式语言的词汇表怎么编码？
（说到这里CPO自己放弃了，注意力又回到了AI炼丹上，讨论起GPT训练语料数据集上了，果然是搞AI的已婚中年男人，也许在老婆的大模型眼里，和迷恋路由器、充电宝和NAS的技术油腻中年男也没啥区别，除了多点智能味！）
△
群友火星叔叔：形式语言不需要单独的词汇表，也不需要特殊的编码，因为都是借用了自然语言的字母词汇。你可以用https://platform.openai.com/tokenizer 看tokenizer是怎么分词的
附录：千亿级蛋白质语言模型引起的话题-语言、形式语言与大语言模型
群友1：转了一篇关于蛋白质语言大模型的文章：
“他山之石，可以攻玉——深度解读「千亿级蛋白质语言模型 xTrimoPGLM」”
自然语言处理（NLP）领域中的预训练模型相关进展已经被成功地用于学习蛋白质序列中隐藏的生物信息。现在大多数的蛋白质预训练模型都受限于自动编码或自回归预训练目标，这使得它们难以同时处理蛋白质理解（例如，蛋白质结构预测）和生成任务（例如，药物设计）。
这篇论文提出统一的蛋白质语言模型，xTrimoPGLM，通过一个创新的预训练框架来同时处理这两种类型的任务。xTrimoPGLM主要技术贡献是探索了这两种类型目标之间的兼容性以及共同优化的可能性，并基于此训练了一个前所未有的1000亿参数规模的蛋白质语言模型，并消耗了1万亿Tokens，模型FLOPs达到6.2e+23，达到和175B参数的GPT-3一个量级。
在理解任务上，xTrimoPGLM在多种蛋白质理解任务（15项任务中的13项任务）中显著优于其他先进基线。在生成任务上，xTrimoPGLM能够生成与自然蛋白质结构类似的新蛋白质序列。
此外，文章基于相同的框架额外训练了一个12亿参数的抗体模型（xTrimoPGLM-Ab），其在预测抗体自然性和结构方面取得了市面上最好的效果，并且显示出比AlphaFold2更快的推理速度（数十倍到数千倍）。综合来看，这些结果充分展示了xTrimoPGLM在理解和生成蛋白质序列方面的强大能力和广阔的应用前景。
CPO：一切智能语言化了！
但问题语言的局限性怎么办？让GPT写程序出个bug还好办？生成蛋白质组织出个bug会长出个生物怪兽？和“回形针”困境一样？
群友1：做出的结果也还是要测验，用大量的结果集以及准确度来判断结果是否可用于实践吧
最重要的是如果研究出抗体和抗生素，对于疾病治疗和人类健康都可以有很大的帮助。
CPO：但确实也有一个趋势是科学也是一种语言，只有用语言表达出来的科学才有价值。但是我理解要教会大模型科学研究方法，而不仅仅是科学知识。这和上面这篇文章中思路方向是一致的。
群友2：生物医学一般遵循先发现再选择最后验证，AI一般只做前两步，就已经提升了很大的效率了。
群友3：人类为了钻研科学技术，必须发明数学、程序等形式语言，形式语言越高度发展，分工就越细，通才就越少。ChatGPT懂一切自然语言，也懂一切形式语言，从此，人类借助ChatGPT，就可以干以前只有先学会高深的形式语言能干的高深工作了。比如编程、诉讼、看病、数据分析。
群友3：所以蛮看好xAI选择的math方向。mathGPT 揭示宇宙本质！
群友4：其实ChatGPT本身就是一个学习APP。
CPO：嗯，预训练就是k12教育，fine-tune是后来的专业训练。
群友5：如果人类引以为傲的创造力都逐步被机器取代了的时候，人类将如何继续延续？
CPO：被替代的宿命！假如这拨地球人类bootloader的硅基智能能逃脱宇宙寂灭的循环而永恒，那未尝不是我们的荣耀，里面也有AI范儿的一份
群友6：@群友3，
不过形式语言与自然语言是有本质区别的，因为它需要通过执行和验证来确认，不像自然语言，正说反说都不算错。
所以ChatGPT虽然可以生成数学公式或者代码，但不能真正的"掌握"，因为它的training过程没有"执行和验证"。
最近的code interpreter是个很好的方向，可以在一个沙盒里执行代码。我觉得这种方式需要引入到model training的过程, 给它一个沙盒环境，model可以执行代码或解决数学问题，并得到正或者负的reward, 这种强化学习或许可以让model真正"掌握"形式语言。
CPO：@群友6，非常好的prompt！形式语言注重inference, 在侯世达的GEB中，专门探讨了形式数学的self- inference，很拗口的一个结论我在之前那篇文章中有提及。更像是人脑system2，而自然语言更多的反映了人脑的system1。
刚才看到Musk的一段话，Musk的第一性原则思考较多的考虑了system2，system1是第二位的。
但一个有趣的现象是，在哥德尔的形式语言推理中，往往结果会自我否定。这显示了system2的局限性。也许人性是由system1主导？
慢思考 - G.E.B作者侯世达改变了对深度学习和人工智能风险的看法？- 暨CPO的个人读书私获
这也让我想起了Hinton老爷子的一个结论是gpt-4形成的CoT是偏直觉的。是不是偏向system1的数据集喂多了？
（后面的内容就是讨论CPO Prompt老婆大模型的话题最后两段关于训练语料以及形式语言的词汇表问题）
（内容重复：有意思的话题，最近跟研究认知科学的朋友聊，感觉侯世达《哥德尔艾舍尔巴赫》那一派的观点，会比《思考，快与慢》那一路行为经济学更接近本质一些）
群友7：有意思的话题，最近跟研究认知科学的朋友聊，感觉侯世达《哥德尔艾舍尔巴赫》那一派的观点，会比《思考，快与慢》那一路行为经济学更接近本质一些。
虽然后者的System1、System2，最近频繁被LLM研究者提及。
CPO：两个维度的思考，结合起来可以想通很多事情
参考
说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。
-群友Prompt共创
END
扫码加群，
立变AI🍚！
AI范儿读者群
那些prompt了我的，
是否也prompt了你...