基础智能:从联邦智能到基于TAO的智能系统联邦 | 科技导报
从早期使用数学工具探索神经活动机理,到采用人工神经网络模型模拟人类智能,再到基于深度网络解决特定问题,人工智能历经80年发展,当前已进入大模型时代,其特点是立足基础大模型、服务广大社会群体。在当今去全球化的国际形势下,健全包含联邦数据、联邦控制、联邦管理和联邦服务的联邦生态系统,构建基于区块链保真(trustable+reliable+usable+effective/efficient,TRUE)和去中心化自治组织和分布式自治运营(DAO)的智能系统联邦,发展基于TAO(TRUE DAO)的基础智能(foundation intelligence,FI),为大模型时代人工智能的发展提供必要和有力的支撑。
2023年,大模型成为人工智能(AI)领域继AlphaGo之后最受关注的研究热点。以ChatGPT、LLaMA为代表的大模型,以流畅自然的对话能力、广泛强大的知识融合能力、全面条理的方案生成能力、合法合规的内容输出能力,成为最受欢迎的智能工具,已经深刻影响到社会工业生产和人们的日常生活,也成为人工智能历史上的里程碑式成果。创建基础模型、发挥基础模型的能力,帮助传统产业换代升级,正成为众多领域新的研究范式。
2023年9月初,文心一言(百度)、云雀(字节)、GLM智谱清言(智谱AI)、紫东太初(中科院)、百川
(百川智能)、商量(商汤)、ABAB(MiniMax)、书生(上海人工智能实验室)、盘古(华为)、混元(腾讯)、星火(科大讯飞)等11个大模型获国家批准正式上线。除此之外,众多垂直领域的大模型如雨后春笋层出不穷,还有更多的开源模型正推进人工智能研究进入“百模争鸣”“百模大战”的新局面。我们既乐见大模型的繁荣,也要深入思考大模型快速发展带来的问题。例如大模型重复建设带来的资源浪费问题、数据隐私和数据安全问题、大模型领域垄断带来的知识壁垒问题、基础大模型人类价值对齐所带来的意识形态问题、大模型生成的虚假内容的防范治理问题等。同时,在当前国际形势之下,如何统筹国内数据、算力和技术资源,建立人工智能基础大模型良序发展新生态,也是需要探讨的重要课题。首先从研究范式转换的角度,简要综述人工智能(特别是深度学习)从人工神经元模型到GPT大模型的发展。探讨分析当前大模型技术发展中存在的问题,进一步阐述基于TAO的基础智能联邦生态发展框架。
从1943年M-P神经网络模型被提出以来,人工智能已经走过80年的历程。伴随着科学技术的发展,人工智能从早期对生物神经元网络工作机理的探索起源,过渡到通过人工神经元网络模拟和复现生物智能,再到使用深度学习方法解决视觉感知、自然语言处理等特定问题,人工智能几度沉浮,研究范式几经转变,以ChatGPT为代表的大模型正推进第五次工业革命,将引起人类社会的深刻变革。
1 揭示智能机理
2 模拟人类智力
3 解决具体问题
21世纪初是深度学习爆发的前夜,互联网规模日益增长、处理器遵循摩尔定律飞速增强,为人工智能提供了数据和算力基础。2006年,Hinton提出深度网络的训练算法,2012年,基于图形处理器(graphics processing unit,GPU)训练的AlexNet(由Alex Krizhevsky等开发)在ImageNet比赛中大幅胜出传统机器学习方法,2015年,何凯明等提出的ResNet在ImageNet数据集上的图像识别精确度首次超过了人类。2016年,AlphaGo战胜围棋顶级大师,攻克棋类博弈游戏领域的最后一座堡垒,数据、算法、算力的结合推动人工智能走上新的巅峰。在此背景下,基于CNN的神经网络促使计算机视觉成为最先落地、能够解决实际问题的人工智能领域,在安防、交通、农业、军事等领域中发挥越来越重要的作用,发展人工智能成为国家战略。
进入21世纪第二个10年,IT企业取代高校研究所成为AI算法与应用创新的领先势力。谷歌、Facebook(现Meta)、微软、亚马逊等公司依靠其数据资源方面的优势,不断推出新模型的同时,打造了TensorFlow、PyTorch等工具链,通过GitHub等开源共享途径,人工智能的生态系统不断完善。
2010年以来,数据、算法、算力三大要素快速发展,推动人工智能进入新的高潮。总体看,这一时期的人工智能研究,主要特点是面向特定问题、基于固定数据集,通过设计损失函数、搜索网络结构、优化模型参数,以期提高模型的性能指标。
4 服务社会群体
随后,谷歌和OpenAI先后推出BERT和GPT,如图1所示,大模型时代正式拉开帷幕。基于Transformer和Encoder-Decoder架构,采用无监督(或半监督)训练方法,大语言模型已经发展成为分支庞大的模型家族。其中,采用decoder-only形式的GPT是典型代表。2020年,OpenAI发布的GPT-3基于45TB的数据进行训练,模型的参数量达到1750亿。2022年11月底,OpenAI发布ChatGPT,在5天内用户数量飞速增长到百万,2个多月突破1亿,创造了前所未有的纪录,成为继AlphaGo之后人工智能发展史上又一个里程碑。
与前大模型时期面向特定问题、基于固定数据集、端到端优化深度模型在特定任务上的性能指标不同,大模型时期的研究范式已经发生变革,具体有以下特点:一是强调大模型的基础能力,其训练基于人类社会积累的海量数据,通过凝练人类群体智慧,实现一个模型胜任多项任务;二是强调大模型的社会责任,除准确率等传统性能指标之外,更加重视生成内容的合规合法,通过人工参与训练过程,达到生成内容与人类价值观的对齐。大模型学习人类社会产生的数据,训练过程经过人类反馈与人类社会价值对齐,进一步为广泛的社会群体提供服务,新的数据又可以为大模型的迭代升级提供学习材料,由此形成循环因果,是维纳《控制论》思想回归人工智能研究的体现。
当前,基础大模型进入百家争鸣局面。OpenAI拥有一定的先发优势,其GPT系列自GPT-2之后已不再开源,已经建立起技术壁垒。除此之外,训练大模型需要大量的高性能GPU计算资源,其高额的费用将大多数高校研究所的团队拒之门外。自Meta开源LLaMA大模型之后,为开源社区注入活力,引导大模型释放特定能力的低参数训练方法,包括prompt learning,instruction learning等,也为广大研究人员提供了舞台。国内大模型研究也呈现快速发展之势,百度、科大讯飞等企业有长期的积累,智源、中国科学院自动化研究所、鹏城实验室等也推出了悟道、太初、盘古等各具特色的基础大模型。
5 循环因果、平行系统与基础智能
循环因果。麦克洛克从学生时代开始关注神经系统的循环回路,特别是神经闭环的工作机理。1939年,他在研究中通过实验发现了感觉皮层和丘脑之间的神经元闭环。1942年之前,罗森勃吕特(Rosenblueth)、维纳和毕格罗(Bigelow)通过对“目的论”的研究,指出因果关系研究的传统方法无法完全理解生物和行为现象。他们认为,理解行为需要考虑反馈机制和目标导向过程,并强调了将内部状态和外部环境有机体作为一个整体考虑的重要性,并在1943年初发表了《行为、目的和目的论》一文。在1943年的M-P模型论文中,麦克洛克受维纳等人提出的循环因果论启发,将逻辑神经网络与因果推理系统等同起来,使神经网络有了自己的数学模型。实际上,通过梅西会议,维纳等研究人员将“循环因果”的思想和“反馈”机理从神经生物学、机器控制、人类社会等学科中抽象升华出来,创建了“控制论”。控制论的核心思想,以及维纳后续著作中关于人、社会的论述,也是现代人工智能的核心内涵,在后续的BP算法、平行智能、ChatGPT中都得以体现。
平行系统。在20世纪七八十年代,人工智能发展陷入低谷,但循环因果和反馈机制的思想却一直未曾消逝。1994年,王飞跃提出了影子系统(shadow systems)和世界模型(world model)等概念,专注于探究控制论在社会和物理系统中的应用。2004年,王飞跃提出的平行系统和平行智能理论进一步展示了循环因果和反馈机制在新时代的延伸与扩展。平行系统(parallel systems)由现实世界中的1个实际系统和1个或多个虚拟或理论人工系统组成。这些人工系统对实际系统进行了软件化定义,不仅是数字仿真,还可用作实际系统的可替代版本,当今的大模型即是人工系统的一种具体形式。平行系统的主要目标是通过实际系统与人工系统之间的互联,实时动态比较与分析二者的行为,以一种虚实互动的方式,为各自未来状态的“借鉴”和“预估”提供支持。这种方法可以有效解决问题、支持学习和培训目标,实现人工引导实际,实际逼近人工的目的,这也是当前训练大模型时采用的基于人类反馈的强化学习(reinforcement learning from human feedback,RLHF)的基本思想。
基础智能。当前,ChatGPT的成功标志着人工智能迈入了以大模型、场景工程为基础的foundation intelligence时代,其中循环因果和反馈机制成为ChatGPT中指导学习和对齐训练的核心理念。具体而言,以ChatGPT为代表的大型模型,具备一定的通用人工智能能力。然而,为了确保这些大型模型的输出符合人类的伦理、道德和法律准则,必须对其输出进行引导和控制。一方面,强化学习与人类反馈通过语言作为媒介,建立了一个大型模型和人类进行交互的闭环回路。通过负反馈,这个回路用来校正大型模型的生成内容,使其与人类社会的规范相符。另一方面,大型语言模型是通过来自人类的海量文本数据训练的,这使得它们成为描述现实世界的工具,与现实世界构成了一种平行系统。平行智能中的循环因果和反馈控制思想为大型模型时代的人工智能研究提供了一个重要的研究框架。
基础大模型在内容生成、问答、推理等方面表现出前所未有的能力,因此被广泛认为是通向通用人工智能的途径。但是,大模型也带来了一系列新的问题,如图2所示,对技术进步、知识共享、国际合作、社会公平带来新的挑战。
1 资源消耗与环境保护问题
GPU等计算资源投入成本高。训练深度学习模型,尤其是当前的大模型,通常需要大量的计算能力。GPU因其强大的并行处理能力和为深度学习定制的硬件加速单元(例如tensor core),已经成为人工智能必不可少的基础设施。根据模型的大小和数据量,大模型的训练(例如ChatGPT、LLAMMA等)往往需要数千块GPU几天甚至数十天的运行时间。如此规模的GPU阵列需要高额投资,购置和维护费用通常只有少数大型企业才能承担。
训练推理能源消耗高。训练人工智能模型的高计算需求导致大量能源消耗。配备大量GPU的数据中心在训练期间会消耗大量电力。这种能源使用增加了人工智能研发的运营成本。与人工智能模型训练相关的能源消耗可能会导致碳排放,特别是如果所使用的电力来自煤炭或天然气等化石燃料。许多组织和研究人员已经意识到大模型训练对环境的影响,并正在采取措施,包括使用更节能的硬件、优化算法以及使用可再生能源为数据中心供电。由于涉及硬件效率、能源和模型寿命等因素的复杂性,准确量化人工智能训练对环境的影响可能具有挑战性。尽管如此,大量GPU的使用所带来的碳排放正在持续增加,这种碳足迹对气候变化潜在的影响令人担忧,评估和减少人工智能研究和部署的碳足迹应该得到足够的重视。
高端计算资源受限。由于美国高技术封锁,人工智能模型训练最常用的英伟达(NVIDIA)GPU,特别是用于计算中心的高端型号A100/H100受到限制,国内的人工智能企业和研究机构GPU稀缺成为日益突出的问题。
综上所述,训练大型人工智能神经网络模型GPU资源需求大,能源消耗量大,并产生碳排放。人们正在不断努力使人工智能研究和开发在环境上更加可持续,但这些挑战是人工智能领域的一个重要考虑因素。
2 数据垄断与隐私保护问题
数据垄断:数据垄断是指少数公司或组织控制大型数据集的访问和所有权的情况。这可能会造成人工智能领域的权力不平衡,只有少数实体拥有训练高效模型所需的资源和数据。这种主导地位会抑制竞争和创新。
隐私问题:收集和使用大型数据集进行人工智能训练可能会带来严重的隐私问题。当组织收集大量用户数据时,存在敏感信息可能被错误处理、面临安全漏洞或以个人不同意的方式使用的风险。这引发了有关数据隐私和用户同意的重要道德和法律问题。
为了解决这些问题,各国政府和监管机构已经实施或提出了数据隐私法规,例如欧盟的《通用数据保护条例》(GDPR)。这些法规旨在保护个人隐私权,增强数据安全,并为个人提供对其数据的更多控制权。研究人员正在积极研究隐私保护技术,使人工智能模型能够在敏感数据上进行训练,而不会损害个人隐私。这些技术(例如联邦学习和同态加密),使模型能够从分布式数据源中学习,同时保持数据本身的安全和私密。
综上所述,大型深度学习模型的训练依赖于大数据,这可能会导致数据垄断和隐私保护等问题。人们应通过法规、隐私保护技术以及提高人工智能社区对数据道德和隐私重要性的认识来解决这些问题。
3 大模型潜在的社会问题
错误和虚假信息:大语言模型的基本原理是概率生成,不可避免地存在臆想、编造输出的问题。语言模型可以生成连贯且语法正确的文本,但其内容语义却是错误或虚假的。由于区分人类生成的内容和人工智能生成的内容可能会变得更具挑战性,这些错误信息和虚假信息如果被恶意使用并在网络中传播,将会对个人声誉或社会稳定造成难以预料的后果。
偏见和歧视:语言模型是在大型数据集上进行训练的,这些数据集可能包含来自互联网的有偏见或成见的内容。这可能会导致模型产生有偏见或歧视性的输出,从而加剧现有的社会偏见,导致社会群体之间的对抗,甚至恶化民族、国家之间的关系。
就业问题:随着人工智能语言模型的改进,它们可能会用于客户服务、内容生成和其他领域,可能会导致这些角色的人类工作被取代。
创造力降低:过度依赖人工智能进行沟通、决策或创作,可能会导致个性化消失,降低人与人之间的关系和互动的质量,削弱人的创造力。
信息爆炸:人工智能模型生成大量文本可能会导致信息过载,使个人难以筛选并找到可信的信息。
值得注意的是,这些潜在问题并不是ChatGPT等人工智能模型固有的,而是它们特定的开发、部署和使用方式的结果。研究人员、开发人员和政策制定者应给予这些问题足够的关注,制定道德准则、法规,履行负责任的人工智能实践,以减轻负面社会影响并促进负责任地使用人工智能大模型。
当前,人工智能发展进入大模型时代。一方面,大模型是大数据、强算力、新算法不断发展融合的产物,对自主开发大模型提出更高的要求;另一方面,基础大模型展示出来的生产力,正推动人类社会进入第五次工业革命,大模型的研究和应用水平也成为国家科技发展水平的重要标志。如何统筹数据和算力资源、加快核心算法创新、促进工业和社会应用、服务各行业群体需求,在充分发挥大模型能力的同时避免大模型所带来的环境、社会问题,出台保障措施和激励政策,成为中国面临的重要课题。
1 联邦生态系统
1)联邦数据。
联邦生态可以为人工智能时代数据隐私保护和信息安全需求带来的严重的数据孤岛问题提供有效的解决方案。联邦数据作为联邦生态的数据基础,包括联邦内所有节点的数据及其存储、计算和通信资源。为了保护隐私,联邦数据分为私有数据和非私有数据,通过对这些数据的联邦控制,可以实现数据联邦化。
在数据驱动的人工智能技术中,联邦数据发挥着重要作用,它可以帮助基于人工智能的应用实现有效的数据检索、预处理、处理、挖掘和可视化。其核心功能,是为大模型训练所面临的数据缺失、数据质量低、数据受版权保护等问题提供有效的解决方案,在保护个人隐私、数据版权的同时实现有效数据共享,为公有基础大模型提供数据保障。
2)联邦控制。
联邦控制作为联邦生态的核心执行部分,旨在维护信息安全,保护数据的所有权、控制权、隐私权、使用权。联邦控制是一种分布式控制策略,为大型复杂系统提供高效、安全、可靠的控制和管理。
在联邦控制过程中,私有数据被限制在本地节点,而非私有数据的所有权和使用权分离,从而保证各子系统的信息安全和权益保护。联邦控制直接响应联邦智能的需求,为联邦数据提供安全保护。联邦控制通过代码或脚本定义的联邦合约,实现数据的联邦,建立联邦数据的控制体系,包括联邦数据的存储、传输、共享和使用,同时保证联邦数据的安全。在联邦生态中,联邦数据是联邦控制的首要要素。联邦控制的目标是通过调度和控制各节点数据公共信息的访问状态和流向,实现联邦数据的信息安全和权益保护,打破数据孤岛,实现数据联邦化。
3)联邦管理。
联邦管理是联邦生态框架的核心组成部分之一。联邦管理的主要任务是根据联邦生态的总体目标和要求做出管理决策。而且,联邦管理决策会根据联邦生态系统状态的变化实时动态调整。通过联邦管理决策,联邦生态能够达到最优状态,更好地实现其目标,从而在保证联邦安全的前提下,实现整个联邦生态系统的智能化管理。一方面,联邦管理可以通过联邦数据的联邦控制和管理,实现个性化的联邦服务。另一方面,联邦管理可以通过基于区块链的联邦合约、联邦激励、联邦共识等技术实现联邦安全,最终在保护隐私和数据的前提下将联邦数据转化为联邦智能安全。
在数据安全和隐私保护的前提下,联邦管理聚集更多的数据、计算能力和人力资源,产生科学可靠的管理决策,从而提高管理效率和效果。在人工智能技术和区块链技术的支持下,更多的数据以联邦数据的形式聚集,通过联邦管理的方式转化为决策,通过联邦控制的方式落实到具体措施,再通过联邦服务赋能,从而实现从数据到知识再到智能的进化。联合智能将单个组织的个体智能转化为多个组织的群体智能。联邦管理促进联邦智能的实现和发展,联邦智能又可以辅助联邦管理的决策。
4)联邦服务。
联邦管理的目的是通过对联邦数据的联邦控制来实现联邦服务。因此,联邦数据是联邦管理的数据基础,也是实现联邦服务的数据保障。通过设计一系列联邦管理规则,在保证联邦节点数据安全和隐私的前提下,通过对联邦数据的管理和控制,实现联邦服务。同时,在实现联邦服务的过程中,不断产生大量新的数据,这些数据可以添加到联邦数据中,用于优化联邦管理决策。
联邦生态的框架与方法已经在工业控制、交通物流、社会人口等领域得到成功的应用。
2 从联邦智能到基于TAO的智能系统联邦
区块链技术。区块链的作用是保真(TRUE),代表着可信(trustable)+可靠(reliable)+可用(usable)+效益(effective,efficient)。联邦控制是在基于区块链技术的联邦安全、联邦共识、联邦激励、联邦合约的支持下实现的。联邦安全源于区块链中的安全机制,在联邦数据的加密、传输和验证中发挥着至关重要的作用。联邦共识是为了保证所有联邦节点之间策略、状态、更新的分布式共识。联邦激励是为了设计快速、稳定、正向的激励措施,平衡联邦节点之间的利益,激发联邦节点的活跃度,提高联邦控制系统的效率。联邦合约基于智能合约算法,自动、安全地实现联邦控制。联邦区块链的联邦合约主要作用于访问控制、非私有联邦数据交换、本地和全局数据更新、事故处置等。
DAO(decentralized autonomous organizations and distributed autonomous operations)。一些新思想、新技术的出现,给范式创新带来机遇。例如,由Web3.0和区块链技术推动的去中心化科学(decentralized science,DeSci)浪潮正在给科学研究的组织方式带来变化。随着人工智能研究进入快速迭代,人们呼吁建立新的研究机制来克服传统科学合作中缺乏透明度和信任等挑战,并实现更高效、更有效的科学发现。DeSci致力于创建一个去中心化、透明且安全的网络,供科学家共享数据、信息和研究成果。DeSci的去中心化特性使科学家能够以更加公平和民主的方式合作。去中心化自治组织和分布式自治运营DAO作为DeSci的实现方式,为人工智能创新和应用提供了新的组织形式。DAO是一种通过代码运行并运行在区块链网络上的数字组织,这意味着DAO的成员拥有做出决策和执行行动的投票权,使其成为一个民主和透明的系统。当前,基于DAO的一系列工作已经显示出未来发展潜力。
回顾了人工智能80年来的发展,包括20世纪三四十年代揭示神经元网络工作机理,50年代到80年代模拟动物和人类智能,90年代之后基于神经元网络模型解决特定领域的问题。当前,人工智能发展进入服务社会广大群体的大模型时代。在新时代、新形势下,中国发展大模型面临着高端GPU禁运、大数据质与量不足、环境保护问题、社会发展问题等一系列挑战。为有效应对这些挑战,提出发展基于联邦数据、联邦控制、联邦管理、联邦服务的人工智能联邦生态,以TAO为技术支撑,生成基础智能,构建智能系统联邦,促进中国人工智能新时期良序发展。
作者简介:王飞跃,中国科学院大学人工智能学院,中国科学院自动化研究所复杂系统管理与控制国家重点实验室,研究员,研究方向为平行系统、社会计算、知识自动化等;缪青海(通信作者),中国科学院大学人工智能学院,副教授,研究方向为智能系统、平行智能、机器学习等。
内容为【科技导报】公众号原创,欢迎转载
白名单回复后台「转载」
精彩内容回顾
应急食品研究现状与发展策略展望 | 科技导报
中国先进材料领域发展现状及未来发展战略 | 科技导报《科技导报》创刊于1980年,中国科协学术会刊,主要刊登科学前沿和技术热点领域突破性的成果报道、权威性的科学评论、引领性的高端综述,发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、智库观点、科技评论、热点专题、综述、论文、学术聚焦、科学人文等。
《科技导报》微信公众平台创建于2014年,主要刊登《科技导报》期刊内容要点,报道热点科技问题、科技事件、科学人物,打造与纸刊紧密联系又特色鲜明的新媒体平台。科技导报公众号聚集了数万名专心学术的未来之星和学术大咖,添加编辑微信,让优秀的你有机会与志趣相同的人相遇。