#07 Empty Block周刊丨如何理解生成式AI及其应用
本周整理了关于AI大模型的6篇文章：
什么是软件2.0
ChatGPT的原理是什么
GPT、BERT 背后的Transformers模型
文生图模型Stable Diffusion的工作原理
大模型应用程序面临的挑战
生成式AI对于To B行业的影响
在看文章之前，不妨先理解以下概念：
大语言模型（Large language model），它通过学习大量的文本数据来理解和生成人类语言。这种模型通常使用深度学习算法（Transformer架构），来学习和生成文本。大语言模型可以用于多种任务，如文本分类、命名实体识别、情感分析和文本生成等。一个典型的大语言模型是OpenAI的GPT-3，它使用了1750亿个参数来学习和生成文本。
生成式AI（Generative AI），不仅可以理解和分析数据，还可以创建新的内容，如文本、图像或音乐等。生成式AI通常基于深度学习和生成对抗网络（GANs）等技术。这种AI可以用于艺术创作、内容生成、数据增强等多种应用。
如果你对此AI领域感兴趣，以下这些文章是能够帮助你理解它们的原理和应用，建议先看总结，再看原文。如需获取翻译版本请订阅产品星球查阅。
什么是软件2.0
软件1.0指代传统软件工程。开发者根据需求手工编写代码和算法,开发软件产品。这需要投入大量人工和时间。
软件2.0利用机器学习技术自动生成软件。开发者只需要提供大量数据,机器学习模型可以学习到数据中的模式和关系,并生成软件。这可以大大提高软件开发的效率。
软件2.0的例子包括AlphaGo、GPT-3、Codex等。AlphaGo通过学习上百万棋谱,学会下国际象棋。GPT-3通过学习上亿网页和书籍,学会自动生成文本。Codex通过学习Github上的代码,学会自动编写代码。
软件2.0的模型通常是神经网络,它们有着复杂的架构和众多参数。这些模型实际上是软件2.0产生的代码,开发者不再需要手工编写代码。
软件2.0可以继续迭代和改进,产生更强的功能。例如,GPT-3的后继GPT-4可以产生更优质的文本。这表明软件2.0可以不断进步。
软件2.0将彻底改变软件工程行业。程序员的工作将发生重大转变,更侧重于提供数据和定义需求,而真正的代码生成将由机器完成。
软件2.0也带来许多挑战,包括模型的不透明性、偏差和可解释性等。这需要研究人员不断努力解决。
综上,软件2.0表示利用机器学习技术自动生成软件。它可以大幅提高软件开发效率。软件2.0的产生将深刻影响软件工程行业,同时也带来许多问题需要解决。软件2.0是软件开发的未来方向。
原文：https://karpathy.medium.com/software-2-0-a64152b37c35
ChatGPT 的原理是什么？
ChatGPT是一个无监督训练的神经网络模型,能够产生连贯和相关的回答,但这些回答实际上是通过预测下一句话而获得的。它并没有真正理解语言或世界知识。
ChatGPT通过预测下一个词或短语来生成回答,这个预测是根据模型训练时见过的大量人类对话数据中找到的统计规律进行的。所以它的回答偏向于常见和平庸的表达,而不是真正理解用户意图。
ChatGPT并不是通过建立语义或逻辑推理来理解用户输入并作出回答的。它根本没有形式的知识代表或推理机制。它纯粹是通过识别统计规律和重复内容来找到与上下文相关的回答的。
ChatGPT不能真正理解自然语言或世界知识。它只是通过记忆海量人类对话示例来预测下一个最可能的回答。这就限制了它的创造力、个性和情感表达能力。它无法真正地共情或创造新观点。
尽管ChatGPT不能真正理解,但是它通过记忆大量数据找到的统计匹配,加上随机性和一定的“编造”,可以在一定程度上产生连贯的回答和新的句子组合。这为未来构建更强大的AI系统提供了实证支持。
ChatGPT代表了GPT模型的最新进展,为未来的自然语言处理提供了有价值的经验。但要实现真正理解语言和拥有常识推理能力的AI系统,还需要新的结构和机制。只有数据驱动的方法仍然不够。
原文：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/#thanks
了解 GPT-3、BERT 和 T5 背后的Transformers模型
Transformer模型由Google在2017年提出,是一种基于注意力机制的神经网络架构,主要用于语音识别、机器翻译、问答系统等自然语言处理任务。
Transformer没有循环神经网络或卷积神经网络,主要依靠注意力机制来建模序列之间的依赖关系。它通过多层堆叠的编码器-解码器结构处理输入与输出序列。
编码器由多个相同的层组成,每个层包含两个子层:多头自注意力和前馈神经网络。多头自注意力允许模型同时关注序列中的多个位置,前馈神经网络是一个简单的两层全连接神经网络。
解码器也有多个相同的层,每个层中三个子层:编码器-解码器多头自注意力、多头自注意力和前馈神经网络。编码器-解码器多头自注意力接收编码器输出和解码器的输入,将两者联系起来。
Transformer使用残差连接和层归一化来加速训练与控制梯度消失问题。它没有使用池化,完全依靠注意力来理解句子结构。
Transformer得到广泛应用,后续改进版包括BERT、GPT-2、XLNet等。这些模型的强大能力使其在许多NLP任务中达到或超过人类水平。
Transformer模型简洁但效果强大,代表了注意力机制与大规模深度学习的结合,为许多领域带来技术新突破,是机器学习近年来最重要的进展之一。
原文：https://daleonai.com/transformers-explained
文生图模型Stable Diffusion的工作原理
Stable Diffusion（以下简称SD）是一个生成对抗网络(GAN),可以生成高质量的图片。它基于自回归模型,可以生成分辨率高达1024x1024的图片。
SD使用变分自编码器(VAE)作为生成器。VAE包含编码器和解码器。编码器可以将图片编码为较低维的表示,解码器可以从该表示重构图片。
SD 还包含一个判别器,用于鉴别真实图片和生成图片。判别器的损失用于更新VAE的参数,使其生成更真实的图片。
SD 采用自回归方式生成图片。它先生成图片的一部分,然后基于已生成部分和文本提示,生成图片的下一部分。该过程重复,直至生成完整图片。
SD 还采用噪声消除技术,使用随机噪声初始化,然后逐步“消除”该噪声,生成清晰的图片。
SD 可以通过调整渐变参数,控制图片生成的渐变性和连贯性,生成更逼真的图片。
SD 可以生成各类图片,包括风景、人像、动物等,且质量较高,效果较好。
原文：https://mccormickml.com/2022/12/21/how-stable-diffusion-works/
大模型应用程序面临的挑战
自然语言生成是机器学习的一个重要分支,能够产生人类语言。transformer等方法产生了GPT-3等高质量语言模型,但它们仍面临许多技术问题,如偏差、不可解释性和 fragility。
避免这些问题的一种方法是“语言模型工程”,即在预训练的模型基础上进行定制化训练和调整,产生专门应用的模型。这需要开发者充分理解预训练模型的工作机理与局限,并根据应用场景进行改进。
作者以情感分析为例,说明如何进行语言模型工程。首先选择一个预训练模型,如BERT或GPT-3。然后构建定制数据集,包含特定域和情感的数据。使用这个数据集微调预训练模型,产生情感分析专用模型。
在微调过程中,可以调整超参数,修改模型结构,加入 dropout 等常用技术,减少过拟合的风险。还可以在不同层加入监督,如在编码器和解码器中加入情感分类任务,引导模型学习语义。
作者还讨论了如何评估语言模型工程的结果,如人工检查生成语言的质量,使用自动化指标评分,或进行人机比较实验。这有助于确定微调的效果与模型的适用性。
语言模型工程需要理解机器学习与自然语言处理,并根据具体应用调整模型。作者认为,这将是未来发展高质量语言模型的一条重要路径。通过语言模型工程,研究人员可以定制并不断改进模型,使其在更广泛场景下发挥作用
原文：https://huyenchip.com/2023/04/11/llm-engineering.html
生成式AI对于 to B 应用的影响
目前,generative AI已被证明可以生成人工图像、自然语言、代码等内容。这类技术正迅速发展,企业级AI的产生将对各行各业产生重要影响。企业可以利用它提高运营效率,创新业务模式,或开发全新的产品与服务。
在客户服务方面,企业可以利用generative AI自动生成初步响应与常见问题解答。这可以提高响应速度与质量,改善客户体验。企业也可以利用AI产生定制过的直观可视化报告,帮助客户更好理解数据与见解。
在产品设计与开发上,generative AI可以辅助策划新产品特性与流程。它可以根据过去数据生成产品提案,供团队评估选择。这可以加速设计迭代与创新。AI也可以生成定制代码与测试用例,帮助工程团队提高效率。
在营销方面,generative AI可以生成定制网页与landing page,吸引不同受众。它还可以生成引人入胜的广告语与电邮主题行,提高消费者参与度。AI甚至可以用于度身定制客户旅程,提供个性化体验。这切实提高了企业的营销与客户参与能力。
随着时间推移,AI将在上述应用中发挥越来越大作用。它可以根据个人数据与偏好,为每位客户生成定制化产品与服务。这将彻底改变企业与客户的互动方式。但同时也带来数据隐私与伦理方面的挑战,需要相关法规与准则加以规范。
综上,本文预测企业级generative AI将在多方面产生深远影响。它可以高效完成定制化任务,改善客户体验,加速产品设计与营销。企业必须积极参与并推动这一技术革新,以获取最佳效益。同时也需要建立机制避免潜在的隐私与伦理风险,确保人工智能的健康发展。这必将推动企业与客户关系迈入崭新的阶段。
原文：https://a16z.com/2023/03/30/b2b-generative-ai-synthai/