大模型的中场战事，深入垂直行业腹地
自从OpenAI于2022年11月推出ChatGPT后，一场波及全球科技界的“AI海啸”就此爆发。
自今年以来，国内已有超过30家企业入局大模型赛道。从百度“文心一言”、阿里“通义千问”的发布，到网易“玉言”、科大讯飞“星火”、昆仑万维“天工”等的推出，再到腾讯“混元”、京东“ChatJD”、华为“盘古”等的预告。互联网巨头、科技公司纷纷秀出“肌肉”，谁也不想在这场大模型混战中掉队。
在由OpenAI引发的这场狂奔中，大模型的发展阶段已经从“通用”迈入“垂类”。如果说通用大模型是大模型发展的初期阶段，那么垂直场景应用则可以视为“中场战事”。
在该阶段，应用与场景先行，倒逼垂直领域的大模型飞跃发展。不少医疗、金融、教育等行业内拥有用户数据积累的企业，已开始基于大模型“底座”，训练适配自身的垂类模型，比如近期由上海联通、华山医院联合开发的Uni-talk、医联“MedGPT”、云知声的“山海”等。
大模型也有这种能力，基于文本语料采用无监督学习训练的模型可以用少量的监督样本，用于各类机器学习任务，比如图片分类、翻译、对话、写代码等，这样的能力就是所谓的通用能力。
当大模型发展到一定阶段，各领域企业意识到，其通用能力已无法承载更为专业的领域，比如医疗、金融等，每一个领域都是独立的知识体系，具备极为庞杂的知识量，显然仅靠通用大模型无法满足垂直领域的需求，这也为大模型之后发展路径的分化埋下了伏笔。
事实上，通用大模型发展至今，面临算力需求大、训练和推理成本高、数据质量不佳等挑战。一个成功的且可对外商业化输出的通用大模型，要求厂商拥有全栈大模型训练与研发能力、业务场景落地经验、AI安全治理举措、以及生态开放性等核心优势。
另外，训练基础模型的成本也是非常之高，做一个千亿级的大模型，需要单机群万卡以上的算力。从国内外来看，真正做通用模型的公司并没有那么多。相反，训练垂直领域模型所需要的代价和资源远远小于从零开始做通用模型。
因而，从商业逻辑的角度来看，大部分公司不具备做通用大模型的能力，巨头更适合做通用大模型，拥有丰富场景数据积累的公司更适合做垂域模型。
垂类大模型以深度解决行业需求为主，即企业在自己擅长的领域训练适合自己的“产业版GPT”。这类大模型生成的内容更符合特定垂类场景的需求，质量更高。
当前，已经可以看到不少垂类模型应用在金融、医疗、交易等场景中。比如，彭博社根据自身丰富的金融数据资源，基于GPT-3框架再训练，开发出了金融专属大模型BloombergGPT。
由此，大模型赛道目前出现了三类厂商：一类对标GPT的通用大模型，聚焦基础层的厂商；一类是在开源大模型基础之上训练垂类大模型，聚焦垂直行业的企业；另一类则是专注具体应用的纯应用公司。
从通用大模型到垂类大模型，是大模型技术发展到一定阶段的必然结果。
垂直大模型的发展主要体现在各个领域的模型性能持续提升，例如语音识别的错误率逐年下降，自然语言处理的语义理解能力不断提升等。通用大模型则在多任务学习、迁移学习等方面取得了显著进展，已经成为自然语言处理领域的重要研究方向。
比如，生物大模型能够提高AI制药效率。国外的研究报告显示，AI可以将新药研发的成功率提高16.7%，AI辅助药物研发每年能节约540亿美元的研发费用，并在研发主要环节节约40%至60%的时间成本。根据英伟达公开资料，使用AI技术可使药物早期发现所需时间缩短至三分之一，成本节省至两百分之一。
在产业角度来看，通用模型就是“百科全书”，能够有问必答，能够适用不同的产业土壤，而垂直模型类似于单领域的专家，虽然专业，但受众注定是少数人。
从演进路径上看，垂类模型是在通用大模型基础上训练而来，如果撇开通用大模型，垂类大模型不复存在。垂类模型强调领域的Know-How，对于特定领域来说，需要针对该领域的任务做指令学习。行业不同，场景不同，指令学习的区别也极大。比如，泛互联网行业更关注营销、推荐的效果，金融更领域更关注风控、可信、以及营销的效果。
两者的最大区别在于，垂类大模型在资源投入、成本投入等方面的要求下降了，但额外要求是行业Known-How，即对这个行业的知识要求提高了。
而从成本方面考量，通过通用大模型微调实现的垂类大模型相较通用大模型是“几何级别的下降”。根据国金证券的测算，在模型微调阶段，由于训练量级较小，仅为万级，相关的算力成本相比之下可忽略不计。
以斯坦福大学于2023年3月发布Alpaca为例，这是一个基于LLaMA-7B基座，应用5.2万指令对模型微调训练而来的对话类语言模型。该模型基于8块A100微调，微调时长3小时，算力成本不超过300元。
由于垂直应用大模型更符合垂类场景的需求、质量比通用大模型更高，也让众多企业看到了其中的机会。
医联近日发布了自主研发的基于Transformer架构的国内首款医疗大语言模型——MedGPT，其主要致力在真实医疗场景中发挥实际诊疗价值，可实现从疾病预防、诊断、治疗、康复的全流程智能化诊疗能力。
5月，微盟正式发布基于大模型的AI应用型产品WAI，该产品已正式上线包括话术生产、短信模板、商品描述、种草笔记、直播口播稿、公众号推文、短视频带货文案等25个实际应用场景。
作为聚焦物联网与医疗两大领域的人工智能企业，云知声正式发布山海大模型。该大模型针对知识密度高的领域，通过数据训练、训练数据、微调等方式，做一些专业的加强，这样模型既具备了通用应用水平，也针对特殊场景与领域进行了能力的加强。
山海大模型不仅在中文环境下的表现要好于GPT-4，甚至在医疗等个别场景下的表现效果，也已经开始优于GPT-4。目标是在今年内达到ChatGPT的通用能力水平，并在医疗、物联、教育等多个垂直领域的能力上全面超越GPT-4。
云知声创始人、CEO黄伟指出，在AI 1.0时代，虽然基于深度学习，每家都有强大的技术，但整体上并没有本质改变AI用于分类的任务，分类种类的增加仍然处在量变阶段，限制了AI创造价值的上限。
而在大模型引领的AI 2.0时代，为人工智能带来了新的能力，可以打造更多新的产品，满足客户更多的需求，例如医疗、营销、沟通等，能够创造更多的商业机会。
AI对于复杂逻辑理解能力大幅增强，扭转了用户对于AI“人工智障”的刻板印象，也让更多人接受人工智能，为大模型的广泛应用创造的条件。
“大模型所谓的‘思维链’能力，可以告诉用户推导的过程，从而知道中间过程里有哪些东西是错的，优化的时候就可以获得提示了，而不是像过去一样只能看见和调整参数的权重。”
云知声创始人兼CTO梁家恩表示，但就目前而言，大模型仍然是有限的东西，但对于没有见过的东西，大模型会生成“似是而非”的回答，而随着AI生成能力的不断增强，但校验会更加困难，这也让AI行业需要不断去探索新的解决方法。
相信随着越来越多企业入局，垂直大模型在各个行业和细分领域中将大量涌现。而那些能将一个垂直领域做专、做透，用高质量的数据持续优化模型，跑通商业闭环，构建起产业生态的企业，最终将把价值链做到足够长。
相关阅读
GPT-4、百度文心一言摆擂，AI大模型将掀起新一轮AIGC军备竞赛？
云知声 Open Day 北京站：全栈 AI 硬核技术首度曝光
【科技云报道原创】
转载请注明“科技云报道”并附本文链接