HuggingGPT：解决处理AI任务的秘密武器
本文带你了解HuggingGPT的工作原理和它如何处理复杂的人工智能任务。
简介
人工通用智能（AGI）可以被认为是一个人工智能系统，它能够像人类一样理解、处理和响应智力任务。这是一项具有挑战性的任务，需要深入了解人脑的工作方式，以便我们能够复制它。然而，ChatGPT的出现引起了研究界对开发此类系统的巨大兴趣。微软已经发布了这样一个由AI驱动的关键系统，名为HuggingGPT（Microsoft Jarvis）。
在深入了解HuggingGPT的新内容以及它工作原理的相关细节之前，让我们首先了解ChatGPT的问题，以及为什么它在解决复杂的AI任务方面很困难。像ChatGPT这样的大型语言模型擅长于解释文本数据和处理一般任务。然而，它们经常在特定任务中挣扎，并可能产生荒谬的反应。你可能在解决复杂的数学问题时遇到过来自ChatGPT的虚假答复。另一方面，我们有专家级的AI模型，如Stable Diffusion和DALL-E等，它们对各自的学科领域有更深入的了解，但在更广泛的任务上却举步维艰。除非我们在LLM和专业AI模型之间建立起联系，否则我们无法完全利用LLM的潜力来解决具有挑战性的AI任务。这就是HuggingGPT所做的，它结合了两者的优势，创造了更有效、更准确、更多的AI系统。
什么是HuggingGPT？
根据微软最近发表的一篇论文，HuggingGPT利用LLM的强大功能，把它作为控制器，将其与机器学习社区（HuggingFace）中的各种AI模型连接起来，使它能够使用外部工具，以提高工作效率。HuggingFace是一个为开发人员和研究人员提供大量工具和资源的网站。它还拥有各种各样的专业和高精确度的模型。HuggingGPT将这些模型用于不同领域和模式的复杂AI任务，从而取得了令人印象深刻的结果。在涉及文本和图像时，它具有与OPenAI GPT-4类似的多模式功能。但是，它也将你连接到互联网上，你可以提供一个外部Web链接来询问有关问题。
假设你想让模型对写在图像上的文字进行音频阅读。HuggingGPT将使用最适合的模型串行地执行这项任务。首先，它将从图像中导出文本，并将其结果用于音频生成。可以在下面的图片中查看响应详细信息。简直太神奇了!
HuggingGPT是如何工作的？
HuggingGPT是一个协作系统，它使用LLM作为接口，向专家模型发送用户请求。从用户提示到模型直到收到响应的完整过程可以分解为以下不连续的步骤：
1.任务规划
在这个阶段，HuggingGPT利用ChatGPT来理解用户的提示，然后将查询分解为小的可操作任务。它还确定了这些任务的依赖关系，并定义了它们的执行顺序。HuggingGPT有四个插槽用于任务解析，即任务类型、任务ID、任务依赖性和任务参数。HuggingGPT和用户之间的聊天记录被记录下来并显示在显示资源历史的屏幕上。
2.模型选择
基于用户环境和可用的模型，HuggingGPT使用一个上下文中的任务-模型分配机制，为一个特定的任务选择最合适的模型。根据这一机制，模型的选择被认为是一个单选题，它最初根据任务的类型筛选出模型。之后，根据下载次数对模型进行排名，因为它被认为是反映模型质量的可靠措施。Top-K模型是根据这个排名选择的。这里的K只是一个反映模型数量的常数，例如，如果它被设置为3，那么它将选择下载次数最多的3个模型。
3.任务执行
在这里，任务被分配给一个特定的模型，它对其进行推理并返回结果。为了提高这个过程的效率，HuggingGPT可以同时运行不同的模型，只要它们不需要相同的资源即可。例如，如果给出一个提示，生成猫和狗的图片，那么不同的模型可以并行运行来执行这个任务。然而，有时模型可能需要相同的资源，这就是为什么HuggingGPT维护一个<resource>属性以保持对资源的跟踪。它确保资源被有效地使用。
4.生成响应
最后一步是生成对用户的响应。首先，它整合了前几个阶段的所有信息和推理结果。这些信息以一种结构化的格式呈现。例如，如果提示是检测图像中狮子的数量，它将绘制具有检测概率的适当的边界框。然后，LLM（ChatGPT）使用这种格式，并以人类友好的语言呈现它。
设置HuggingGPT
HuggingGPT建立在Hugging Face最先进的GPT-3.5架构之上，它是一个深度神经网络模型，可以生成自然语言文本。以下是如何在本地计算机上设置它的步骤：
系统要求
默认配置需要Ubuntu 16.04 LTS，至少24GB的VRAM，至少12GB（最小）、16GB（标准）或80GB（完整）的RAM，以及至少284GB的磁盘空间。此外，需要42GB的空间用于damo-vilab/text-to-video-ms-1.7b，126GB用于ControlNet，66GB用于stable-diffusion-v1-5，50GB用于其他资源。对于“lite”配置，只需要Ubuntu 16.04 LTS。
开始使用的步骤
首先，将server/configs/config.default.yaml文件中的OpenAI Key和Hugging Face Token替换为你的密钥。或者，你可以将它们分别放在环境变量OPENAI_API_KEY和HUGGINGFACE_ACCESS_TOKEN中
运行以下命令：
对于Server：
设置Python环境并安装所需的依赖项。
# 设置环境
cd server
conda create -n jarvis python=3.8
conda activate jarvis
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
pip install -r requirements.txt
下载所需的模型。
# 下载模型。确保`git-lfs`已经安装。
cd models
bash download.sh # required when `inference_mode` is `local` or `hybrid`.
运行服务器
# 运行服务器
cd ..
python models_server.py --config configs/config.default.yaml # required when `inference_mode` is `local` or `hybrid`
python awesome_chat.py --config configs/config.default.yaml --mode server # for text-davinci-003
现在你可以通过向Web API端点发送HTTP请求来访问Jarvis的服务。发送请求到：
/hugginggpt端点，使用POST方法访问完整的服务。 /tasks端点，使用POST方法访问阶段1的中间结果。 /results端点，使用POST方法访问阶段1-3的中间结果。
这些请求应该是JSON格式的，应该包括代表用户输入的信息列表。
对于Web：
在服务器模式下启动应用程序
awesome_chat.py后，在计算机上安装node js和npm。导航到
web目录并安装以下依赖项：
cd web
npm install
npm run dev
将http://{LAN_IP_of_the_server}:{port}/设置为
web/src/config/index.ts的HUGGINGGPT_BASE_URL，以防你在其他机器上运行Web客户端。如果要使用视频生成功能，请使用
H.264手动编译ffmpeg。
# 可选：安装 ffmpeg
# 这个命令需要在没有错误的情况下执行。
LD_LIBRARY_PATH=/usr/local/lib /usr/local/bin/ffmpeg -i input.mp4 -vcodec libx264 output.mp4
双击设置图标，切换回ChatGPT。
对于CLI：
使用CLI设置Jarvis是非常简单的。只需运行下面提到的命令：
cd server
python awesome_chat.py --config configs/config.default.yaml --mode cli
对于Gradio：
Gradio演示也在Hugging Face Space上托管。你可以在输入OPENAI_API_KEY和HUGGINGFACE_ACCESS_TOKEN后进行试验。
要在本地运行它：
安装所需的依赖项，从Hugging Face Space克隆项目存储库，然后导航到项目目录
使用以下命令启动模型服务器，然后启动Gradio演示：
python models_server.py --config configs/config.gradio.yaml
python run_gradio_demo.py --config configs/config.gradio.yaml
在浏览器中通过http://localhost:7860访问演示，并通过输入各种输入进行测试
作为选择，你也可以通过运行以下命令以Docker镜像的形式运行该演示：
docker run -it -p 7860:7860 --platform=linux/amd64 registry.hf.space/microsoft-hugginggpt:latest python app.py
注意：如果有任何问题，请参考官方Github Repo（https://github.com/microsoft/JARVIS）。
最后的思考
HuggingGPT也有某些需要在此强调一下的局限性。例如，系统的效率是一个主要瓶颈，在前面提到的所有阶段，HuggingGPT都需要与LLM进行多次交互。这些交互会导致用户体验的降低和延迟的增加。同样，最大的上下文长度也受到允许的令牌数量的限制。另一个问题是系统的可靠性，因为LLM可能会误解提示并产生一个错误的任务序列，这反过来又会影响整个过程。尽管如此，它在解决复杂的AI任务方面具有很大的潜力，并且是AGI的一个很好的进步。一起期待这项研究会把AI的未来带向哪个方向吧！
推荐书单
《Python人工智能》
本书系统地介绍了基于Python平台的人工智能的原理及实现过程，全书共7章。第1章“从这里开始认识Python”，介绍人工智能及Python 基础知识；第2章“Python 语法基础”，通过生动有趣的实验实例介绍Python编程语法知识；第3章“Python 程序设计”，以实例为基础，介绍Python 的编程方法；第4 章“数据结构”，通过范例介绍列表、元组、字典、集合、函数等数据结构的使用方法；第5章“数据库及应用”，主要介绍Python数据库应用及Web应用开发技术，通过实例讲解Python数据库应用；第6章“大数据应用”，基于实例，主要介绍网络爬虫、Excel数据爬取及分析处理等技术，了解数据挖掘分析处理等大数据应用技术的一般设计流程；第7 章“人工智能”，以具体实例讲解照片人脸识别、图像识别、视频人脸识别、聊天机器人、微信语音聊天机器人、图文识别、语音识别及花朵识别等人工智能深度学习技术。
本书图文并茂，示例丰富，讲解细致透彻，介绍深入浅出，章后练习精广，具有很强的实用性和可操作性，适合初学或自学Python的学生，可作为中小学STEM 教育或培训机构的人工智能课程教材，也可作为大中专院校人工智能、软件工程、计算机等专业以及相关课程的教材或参考书，还可以当作全国计算机二级（Python）考试的教材使用。
购买链接：https://item.jd.com/12854912.html
精彩回顾
长按关注《Python学研大本营》，加入读者群 长按访问【IT今日热榜】，发现每日技术热点