6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！
Aitrainee | 公众号：AI进修生
先简单介绍一下Llama3 70B
Llama 3 的面市无疑是激起了行业内巨大的波澜。就在前几天，还有许多人认同“闭源模型通常优于开源模型”的看法。然而，最新的大型语言模型排行榜
（https://chat.lmsys.org/?leaderboard）已经将这一新趋势清晰地展示给了公众。Meta 的 CEO 马克·扎克伯格宣布，基于 Llama 3 模型的 AI 助手已经扩展至 Instagram、WhatsApp、Facebook等所有主要应用，并且还特别推出了一个独立网站。与此同时，AWS、微软 Azure、谷歌云和百度智能云等主要平台也已经宣布开始支持 Llama 3 的训练、部署和推理操作。
Llama 3 70B 的表现已经达到甚至超过了去年的 Claude 3 Sonnet 和 Gemini 1.5 Pro，甚至比去年推出的 GPT-4 型号还要强。但真正引人注目的是它的价格。现在，无论是 8B 还是 70B 版本的 Llama 3，都支持本地部署。虽然部署 70B 版本可能需要用到量化版本，且对显存有一定的要求，但这已经让很多用户感到非常幸福了，毕竟之前在本地运行一个像 GPT-4 那样的模型对许多人来说是难以实现的梦想。我还找到了一个大语言模型性价比排行榜，你不妨去看看：
（https://llmpricecheck.com/）模型的能力虽然排在第6位，但是你一看价格的话，就会知道它恐怖在哪里：
在常见基准测试中优于许多现有的开源聊天模型。比如，Gemma 7B 和 Mistral 7B。
废话先不多说了，然后说说怎么使用以及免费获取他的api
在线体验 Llama 3
访问英伟达的模型体验地址
https://build.nvidia.com/explore/discover#llama3-70b可以直接选择70B（700亿参数版本）和8B（ 80亿参数版本）进行对话体验。
使用 huggingface
https://huggingface.co/chat/使用 llama2.ai
https://www.llama2.ai/Llama3官方地址入口（facebook登录）
https://llama.meta.com/llama3/本地体验 Llama 3
lmstudio
https://lmstudio.ai/CodeGPT
https://marketplace.visualstudio.com/items?itemName=DanielSanMedium.dscodegpt&ssr=false使用 CodeGPT 前，记得先使用 Ollama 拉取相应的模型。比如，拉取 llama3:8b 模型：ollama pull llama3:8b。如果你本地尚未安装 ollama，可以阅读 “部署本地的大语言模型，只需几分钟！” 这篇文章。
Ollama
ollama具体使用还可以看下面这篇文章：全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
如何获取免费的LLama3 API
英伟达提供免费的api获取看下图，点击生成即可
https://build.nvidia.com/explore/discover#llama3-70bAPI调用示例
from openai import OpenAI
# 初始化OpenAI客户端client = OpenAI( base_url="https://integrate.api.nvidia.com/v1", # Ensure this URL is correct api_key="nvapi--xxxxxxx")
def chat_with_openai(client): session_messages = [{"role": "system", "content": "Take a deep breath, Let's work this out in a step by step way to be sure we have the right answer. If there's a perfect solution, I'll tip $200!"}] print(session_messages[0]['content']) # 显示系统初始提示
while True: user_input = input("You: ") if user_input.lower() == "exit": print("Exiting chat...") break
session_messages.append({"role": "user", "content": user_input})
try: # 创建对话完成请求，启用流式处理 completion = client.chat.completions.create( model="meta/llama3-70b", # Replace with your model messages=session_messages, temperature=0.5, top_p=1, max_tokens=1024, stream=True )
# 处理每个流式响应块 for chunk in completion: if chunk.choices and chunk.choices[0].delta and chunk.choices[0].delta.content: print(chunk.choices[0].delta.content, end="")
except Exception as e: print("An error occurred:", e)
# 确保你的base_url和api_key设置正确chat_with_openai(client)付费的API：
这个是比较正规的网站
https://openrouter.ai/利用Nvidia API配合AI Agent使用
MetaGPT官方地址
https://docs.deepwisdom.ai/main/en/guide/get_started/installation.html#install-with-docker配置文件修改为
llm: # Visit https://console.groq.com/keys to create api key base_url: "https://api.groq.com/openai/v1" api_key: "YOUR_API_KEY" model: "llama3-70b-8192" # llama3-8b-8192，llama3-70b-8192，llama2-70b-4096 ，mixtral-8x7b-32768，gemma-7b-it— 完 —
点这里👇关注我，记得标星噢