海洋论坛▏美国的海洋信息技术基础设施计划
1999年,美国海军研究署(ONR)和国家科学基金会海洋科学分会联合成立了海洋信息技术基础设施指导委员会,就国家海洋伙伴计划(NOPP)各节点和其他海洋研究群体对海洋信息技术基础设施的近期需求进行了调查评估,并提出了解决的建议。《旨在推动海洋科学进步的信息技术基础设施计划》即为该委员会的调查报告。报告指出: 近年来在海洋观测、实验和通讯技术等方面的进步使海洋研究更具综合性和跨学科性。
信息技术在大量海洋数据的采集、转换和分析、海洋数值模型的建立以及数据同化等方面发挥了重要作用。建立复杂的海洋模型和数据同化研究等需要大量的投入,包括加大对数据采集和技术开发的投入,美国政府认为,加大对海洋信息技术的投入可为国家产生巨大的社会和经济效益,如可以加强国家安全、促进经济发展、保护生活环境、提高海洋教育水平。
该调查报告首次提出了“海洋信息技术基础设施”的概念。众所周知,交通网、电网等基础设施建设在国民经济建设中占有举足轻重的地位,没有交通网、电网等完善的现代化基础设施,任何国家的国民经济都不可能实现长期稳定的发展。
海洋信息技术基础设施如上述基础设施一样,在海洋科技发展中亦占有举足轻重的地位。本文摘要介绍上述计划的主要内容,目的是希望我国的海洋管理和决策部门树立“海洋信息技术基础设施”的观念,像重视国民经济基础设施一样,重视海洋信息技术基础设施建设,促使其长期稳定地发展,保障其高效地运行,为中国的“数字海洋”建设创造必要的条件。
在地球系统内,海洋是一个自然和人为多种要素相互影响的复杂系统。这里的物理、化学、生物和地质相互作用的空间尺度从毫米到洋盆大小,时间尺度从毫秒到千年,只有大量的观测,海洋科学家才能定量地认识海洋系统的复杂性,认识海洋内部相互作用的非线性过程。例如,厘米尺度的混合过程可有效控制全球大洋环流; 如铁等示踪营养盐类含量极小的增加也可能导致浮游植物生物量极大的增长。深海和深海海底底土尽管环境严酷,但现在却在那里发现了地球上多样性最丰富的生态系统。由于其能量和营养盐类来源的变化,以及生物遗传和生态动力学变化、这些生态系统的时空结构极不符合常规。这些发现促使人们以协作的、综合的和跨学科的观念去研究海洋系统各部分之间的非线性相互作用。
当前,海洋科学领域面临着极好的发展机遇。以下三大相关领域的发展,促使海洋科学家以前所未有的现实度研究自然系统: 改进的观测能力、改进的数值模式和观测与模式相结合的规范方法。这些发展使人们对海洋过程认识的影响波及到海洋科学的各个学科以及物理、生物和化学海洋学、海洋地质和地球物理等交叉学科世纪最后1年,海洋现场观测和卫星遥感取得了前所未有的成就,全球性和多尺度海洋观测产生了巨大的海量数据,如WOCE项目中10年的观测数据已相当于过去10年数据量的总和,人们需要将这些数据快速传输到业务中心并通过数据的高效处理,形成复杂海洋完整的时空再现图像。上述所有这些都离不开信息技术的支持,同时又对信息技术基础设施提出了严峻的挑战。
通过全球性海洋国际合作项目的开展,使人们在海洋数据存储、管理、存取、分析等方面,对海洋信息技术基础设施产生了越来越迫切的需求。海洋信息技术基础设施日益成为未来海洋科学进步的必要手段和土具,比如海洋数值模拟、海洋湍流模型、全球高分辨率环流试验、极其复杂的近海海洋预报预测、非平衡生态系统动力学、藕合型三维生物物理相互作用、数据同化测试模型、海洋岩石圈和边界层动力学等领域的研究进展,已受到目前海洋信息技术基础设施条件的制约,迫切需要加强海洋信息技术基础设施能力建设。
海洋信息技术基础设施指导委员会在对现状调查的基础上,明确了当前信息技术基础设施建设存在的几个迫切需要解决的问题。首先,在今后5~10年内,信息技术密集的海洋科学研究领域需要比现有性能高10~1000倍的硬件环境,最严重的瓶颈是CUP周期、海量存储能力及网络带宽等方面。其次,软件系统方面也存在巨大的挑战,例如需要重建模式,需要有新的数据分析和同化软件包,以充分利用计算机的并行运算能力;需要可视化技术取得重大进展,以有效处理日益增长的观测资料和模型输出;各研究团体开发的各种模型需要进行良好的设计、说明和测试;最后,海洋研究团体中信息技术专业人员的极其缺乏,使上述问题表现得更为突出。
针对上述问题,计划提出了海洋科学信息技术基础设施建设的主要内容。包括短期和长期建设规划,短期规划可以立即实施,但仅能暂时缓解海洋信息技术基础设施不断增长的紧迫需求。长期规划既要满足当前的需要,也要满足对海洋信息技术不断增长的需求。在长期规划中,建议实施名为“海洋IT”的计划,并成立“海洋IT”机构,负责相关事务,实现对海洋信息技术基础设施建设的指导和有效管理并提供服务; 帮助海洋科学团体充分利用现有高性能计算机资源;为当地海洋技术系统的维护与更新提供技术支持;实现对数据存档、模型、数据和软件的维护以及技术培训和咨询;推动高级应用项目的开展等。海洋信息技术基础设施建设的具体内容可以概括为以下几个方面:
⒈ 建设硬件基础设施平台,满足海洋科学应用需求
对海洋领域而言,大型模型计算和海量数据处理对计算资源提出了很高的要求,这将是一个长期存在的问题。目前中型和大型海洋科学项目的科学计算依赖于资源共享型计算机中心。而利用中、小规模计算资源的用户由于没有专用的中型机器,迫使他们在计算中心与大用户相争。致使计算资源往往被此类小型用户占有,而影响到海洋大型项目的需求。所以,海洋科学界在短时间内利用高性能计算资源并非那么容易。
目前,计算机资源己制约了NOPP大型模拟节点项目的开展,并妨碍着全球观侧资料处理工作的开展。解决上述问题可以通过建立海洋科学计算中心的方式,配置超级计算机(一个或一个以上大型多处理器超级机、海量存储器等),为海洋学界提供专门硬件,改善海洋科学界的现状;另外,可以采用计算网格技术,通过资源的合理配置和协调,通过网络将现有计算机连接起来,提高现有资源的利用率。
⒉ 实现对数据集和高级软件的有效利用
海洋科学界内常见的需求是能够便利地存取高级软件和数据产品,这些产品包括数值模型、模型输出、分析组件和基准数据集,满足这类需求显得越来越复杂。例如,目前模型采用的语言可以是多种语言的混合结构,可有多种版本,可以在不同编码器和存储系统上运行。50%以上的代码通常在模型计算核之外,属于参数化、作用力场、边界条件、诊断等过程。全球模型作用力场( 如风应力和热通量)需要千兆存储量。此外,水文测量站数量从世界大洋环流实验(WOCE)之前10年的1万个增加到20世纪90年代2.4万个。拉格朗日测量的增加更为显著,表层漂流浮子的使用从WOCE之前每年不足200台增加到WOCE期间每年500台以上。次表层浮子从数百台增加到6000台以上。全球模型通常的模拟输出能达到数千兆字。海洋科学界需要有对观测资料、计算实验结果的简便而快捷的存取途径。
这里的高级软件主要指海洋模型和分析工具。
海洋科学模型充作新技术应用、测试和推广的软件基础设施,其算法的开发将持续影响整个海洋科学界的活动。“海洋IT”将作为一个中央贮藏馆,为利用海洋科学界内开发的模型提供便利途径,以利于新模型算法的开发和改进;进行标准化测试和整个模型类级的性能检测、存档以及分发模型代码和文件。
①多学科模型: 其最明显的应用是在利用物理场和示踪场传输其他变量的高级应用实验方面。其例之一是利用存档式模型的输入量,模拟海洋中的生物或化学过程,为此,“海洋IT” 除了应该具备核心物理模型外,还应有生物地球化学、生物地球物理、示踪对流模型以及运行这些模型所需的基本软件功能,包括浏览、取子集、转换格式等。
②分析工具:“海洋IT”将提供软件及其文档,以利于海洋科学界的使用海洋学数据和模型输出。此软件工具箱包含有统计组件、时序分析组件、制图组件、压缩工具、转换器等,以及可视化工具、每个软件应有说明解释,并经过测试,符合为大多学科学家作为产品使用的质量控制标准。
⒊ 完善数据存档与分发服务体系
数据档案的设计、建立和有效地存取是海洋科学的永久问题,海洋信息技术基础设施建设的作用是使对现有数据中心、数据标准、元数据等的存取更为顺畅,起到交换中心的作用,并成为海洋IT数据研究与存档中心与计算机科学、物理学、卫生学以及其他科学研究中心的联结点。
①观测文档和模型输出: 除模型代码和文件存档外,海洋信息技术基础设施必须承担模型输出和专项观测资料存档,并为广大用户利用这些资料提供服务。这一服务需要覆盖广泛的应用领域,如气象预报、后报、海况预报等。
②数据存取: 像对模型和模型输出提供存档和服务一样,海洋信息技术基础设施必须提供对海洋数据的存档和服务,包括获得按规格定制的网格气候学、模型初始条件、模型边界条件、表层作用力场(如热通量)和海底地形场等数据。除对频繁使用的数据存档外,必须能够将现有的所有文档中心,包括现场观测数据中心(如WOCE、JGOFS、GLOBEC、NODC、ODP和CLIVAR数据中心)和卫星数据中心(如NASA分布式存取存档中心、DAAC)有机联系起来。
③永久性文档: 尽管现己有国家存档数据分发政策,但是现有政策己过时,不能应用于正在采集的所有观测数据。因此,通过海洋信息技术基础设施建设将制定关于观测数据和模型输出长期保存的系列政策。
④标准: 为了海洋科学界最大限度地使用观测数据和模型输出结果,这些数据应能免费而且便捷地进行存取和利用( 即数据系统必须是各级可互操作的)。为此,需要对数据集进行完整一致的描述( 即建立元数据),以及定义明确且被广泛使用的数据存取协议。为此,“海洋IT”组织应与海洋科学界共同制定数据标准和数据转换协议,并协助在海洋科学界执行这些标准。
美国海洋信息技术基础设施指导委员会针对目前海洋科学的发展现状和应用需求,提出了海洋信息技术基础设施计划。该计划的实施将改变目前海洋科学发展中面临的一些技术瓶颈问题,计划中所提出的建设内容对我国数字海洋战略的实施具有一定的借鉴和参考作用。