其他
SiliconCloud API实战攻略:手把手教你配置OneAPI、LobeChat、MindSearch
在OneAPI中使用SiliconCloud
OneAPI(https://github.com/songquanpeng/one-api)是一个可做API管理、派发以及账户计费等功能的开源项目,并且有非常方便的前端来修改配置。
在LobeChat中使用SiliconCloud
在MindSearch中使用SiliconCloud
MindSearch(思·索,https://github.com/InternLM/MindSearch)是由书生·浦语研究团队提出的多智能体框架,它可以模拟人的思维过程,通过引入任务规划、任务拆解、大规模网页搜索、多源信息归纳总结等步骤,自主实现同时从上百个网页中进行信息搜集、整理。
部署MindSearch
/path/to/MindSearch/mindsearch/models.py
加上调用SiliconCloud API的相关配置。internlm_silicon = dict(type=GPTAPI,
model_type='internlm/internlm2_5-7b-chat',
key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),
openai_api_base='https://api.siliconflow.cn/v1/chat/completions',
meta_template=[
dict(role='system', api_role='system'),
dict(role='user', api_role='user'),
dict(role='assistant', api_role='assistant'),
dict(role='environment', api_role='system')
],
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=8192,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
# 指定硅基流动的 API Key
export SILICON_API_KEY=(填入在SiliconCloud创建的API密钥)
# 启动
python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
python frontend/mindsearch_gradio.py
可以体验一下根据本文教程部署好的基于硅基流动SiliconCloud API的MindSearch服务:https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow
上传到HuggingFace Space
最后,你只需要把第二步中的mindsearch目录、requirements.txt和一个app.py一并上传上去就完成了。具体文件结构如下所示。(app.py内容详情请查看https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow/blob/main/app.py)
【手把手带你使用InternLM实现谁是卧底游戏(基于SiliconCloud InternLM API)】
【如何使用纯CPU将MindSearch部署到HuggingFace(基于SiliconCloud InternLM API)】
欢迎感兴趣的朋友报名参与:https://www.wjx.cn/vm/PvefmG2.aspx?udsid=832803
邀请新用户体验SiliconCloud,狂送2000万Token/人
邀请越多,Token奖励越多
siliconflow.cn/zh-cn/siliconcloud
扫码加入用户交流群