IBM Think 2024大会评述：IBM重塑混合AI的未来
IBM的品牌形象似乎与生成式AI的崭新世界格格不入。多年来，我们许多人从IBM的丰富技术资料中获益良多，但这位“沉睡的巨人”常常未能充分利用其庞大的研究成果。
IBM致力于成为数据分析领域混合、跨云软件基础设施的首选平台。他们将这一战略与AI和自动化相结合，并尽可能采用开放标准。 其产品旨在降低用户的使用难度，并专门针对客户需求而设计，而非仅仅提供通用的软件功能。 IBM充分利用其庞大的合作伙伴生态系统和咨询服务，而不仅仅依赖内部产品。
AI模型
IBM的Granite系列包括一系列开源和商业模型。开源集合以Apache 2.0许可发布，涵盖了四大类共18个模型：代码、语言、时间序列和地理空间。商业集合则扩展为支持英语以外语言的定制Granite模型家族，以及通过watsonx Code Assistants提供的定制代码模型。开源和商业集合的模型参数范围从30亿到340亿不等。
构建大型语言模型（LLM）的一大挑战在于其高昂的成本，需要大量稀缺的GPU资源。LLM提供商并没有技术护城河，他们唯一的护城河是大量的资本和高技能资源的深厚储备。IBM明智地决定不参与这场军备竞赛，而是专注于为其产品组合和客户需求量身定制的模型。
以watsonx Code Assistant（WCA）为例，其Granite代码模型已经针对以下应用进行了优化：
WCA for Z：该产品为主机应用的生命周期提供端到端的能力。在这种情况下，Granite代码模型可用于解析COBOL代码，并有选择地将COBOL转换为Java代码。它并非通用的代码翻译模型，而是针对主机应用和现代化场景进行了优化。IBM计划继续用其他编程语言（如PL/1）训练该模型，以满足主机客户的需求。 WCA for Enterprise Java Applications：这款即将推出的产品将为Java应用的全生命周期提供全面支持，包括代码生成、测试用例生成、代码解析等。它还能助力客户应对Java现代化项目，通过利用已训练的Granite代码模型，帮助客户将旧版Java升级到新版本，并将遗留的Java代码迁移到新的运行时环境，如从传统WebSphere迁移到Liberty。 WCA for Red Hat Ansible LightSpeed：这款产品通过运用已训练的Granite代码模型，加快了IT自动化的进程，实现了从自然语言生成和解析Ansible内容。
大型语言模型（LLM）存在幻觉和低准确性的问题。IBM的InstructLab方法论在这里发挥了关键作用。它利用分类法、合成数据和验证等手段，逐步提升了基础模型的校准精度，显著提高了准确性。这一方法论是与Red Hat共同开发的。
例如，当一款实验性的Granite代码模型用于Z时，它基于包含多个COBOL书籍、主机信息和Java代码的基础数据进行训练。随后，通过InstructLab，模型接收了数百个编码示例的输入，从而生成了数十万个合成数据元素。这种方法使得LLM的准确性比之前提高了20个百分点。
IBM支持众多第三方模型。在Think 24的主题演讲中，沙特数据和人工智能管理局（SDAIA）的一位发言人展示了一种名为ALLaM的新型开放阿拉伯语LLM，可以通过watsonx供企业级应用。IBM还宣布与法国初创公司Mistral AI合作，除了提供开源的Mistral模型外，还将提供商业版的Mistral模型（Mistral Large和Mistral Small）。
“赔偿”（indemnify）对IBM来说是一个非常重要的概念。令人惊讶的是，赔偿条款在其他供应商的大会上并不常见。正如大家所期待的那样，IBM不仅为其自己的模型提供赔偿，甚至还为第三方模型（如Mistral）提供赔偿。
代码开发
在生成式AI领域，应用程序空间将创造比基础设施更多的价值。虽然GPU制造商、LLM提供商和云巨头目前正在获得巨大利润，但未来的重心将转向AI助手、代理和应用程序。IBM正致力于成为大规模开发和部署这些应用的平台。
尽管IBM支持所有关于提示工程/思维链和检索增强生成（RAG）的最佳实践，但它更看好小型语言模型（SLM）的创建。事实上，它正在支持InstructLab加快SLM的开发进程。
基于拥有200亿参数的Granite代码模型的watsonx Code Assistant（WCA），不仅用于代码生成、转换和现代化，还用于解析和记录遗留代码。随着COBOL开发人员的退休和技能短缺，Code Assistant for Z可以用来弥补知识差距。在Ansible的代码助手案例中，许多自动化开发人员并不总是花时间编写自动化脚本，因此WCA同样可以在他们开发剧本时弥补知识差距。
商业智能工具的使用已经趋于停滞。IBM推出的watsonx BI助手（预览版）应运而生，它旨在通过语音或文本自然语言与底层数据存储进行交互。它利用语义自动化和推理来推断结果之间的关系和商业意义，并与dbt Labs和Cognos的度量层进行集成。
数据管理
Apache Iceberg引领的变革浪潮已经席卷而来，IBM也投身于Lakehouse的潮流之中。IBM推出的Lakehouse产品名为watsonx.data。IBM在会上宣布了与Amazon Web Services（AWS）的合作。这可以看作是IBM对自身云服务在与AWS、Microsoft Azure和Google Cloud等超大规模云服务商竞争中处于劣势的默认。这一举动反映出IBM目前所展现的务实态度。
watsonx.data允许源文件位于Amazon S3（GA）、本地或IBM Cloud上。未来，它将支持Azure Data Lake Service（ADLS）和Google Cloud Storage（GCS）。整个Lakehouse建立在开放标准之上，包括Apache Parquet文件格式、Apache Iceberg表格式、Presto查询引擎和Milvus嵌入式向量存储。IBM引入了一个名为Presto C++的优化版本。这个版本由Meta和IBM共同开发，结合了Velox，这是一种开源的C++加速库。
任何拥有数据和元数据的人都将掌握“王国的钥匙”。IBM正在通过watsonx将所有可访问的数据元素统一到Iceberg表格式中。这包括主机中的操作数据。在Think 24大会上，IBM宣布了watsonx的Data Gate，它可以高效地将z/OS的db2、z/OS的IMS和主机中的VSAM数据同步到Iceberg格式。这是AWS在其堆栈中逐步引入的“零ETL”概念的另一个例子。最后，IBM知识目录使用LLMs创建了一个嵌入到watsonx.data中的共享语义层。
IBM通过其Data Product Hub进入数据共享领域。这一产品成为共享和发现数据产品的地方。它不是一个市场，因为IBM目前尚未提供任何交易功能。
我们还看到IBM的大量产品如DataStage、Cognos BI工具、db2和Informix数据库以及Guardium的复兴。DataStage是IBM的数据转换工具，在其数据结构产品中使用。
治理
AI治理是IBM最重要的关注领域之一。watsonx.governance产品提供了这一功能。
AI治理是IBM最重要的关注领域之一。IBM构建了watsonx.governance来帮助客户建立负责任和透明的AI，将治理放在生成AI生命周期的核心。其三大支柱方法专注于生命周期治理、风险管理和合规性。
他们宣布了在模型所在位置进行治理的能力，包括与Amazon SageMaker的深度集成。watsonx.governance和Amazon SageMaker将帮助客户简化工作流程，加快AI项目的上市时间，并在复杂的IT环境和生态系统中管理AI。他们将能够配置和跟踪跨多个利益相关者的完全可定制的风险评估和模型审批工作流程，在watsonx和Amazon SageMaker中提供审计跟踪。
你可能已经注意到——watsonx全部采用小写字母，其名字回溯到了早期的Watson产品家族。在一次坦诚的分析师会议上，IBM的CEO和董事长Arvind Krishna分享道，虽然watsonx完全是从零开始构建的，但IBM认为重新命名不切实际且成本高昂。因此，他们选择将其重新品牌化。
为了延续IBM的务实发展轨迹，该公司目前正在利用其成熟的数据安全产品Guardium来推进AI安全领域的发展。这一策略令人耳目一新，因为IBM在强化其AI生成功能的同时，也在积极运用其现有的知识产权（IP）。在Guardium的最新版本中，IBM利用该产品来识别组织正在使用哪些AI模型，以及这些模型是如何被应用的。目前，Guardium能够自动识别并监控OpenAI的GPT系列模型、Granite等AI模型，并且预计在未来会支持更多模型。
IBM宣布扩大与Palo Alto Networks的合作关系，为其提供围绕网络安全运营（如威胁保护）的IP和咨询服务，而IBM则专注于身份和访问管理以及数据安全领域的投资和创新，强调其对混合云环境和AI模型及应用的关注。然而，IBM乐于让其最新合作伙伴处理网络安全，因为IBM的重点仅在于数据安全。这再次展示了IBM精准的市场执行力。
混合
Red Hat OpenShift是IBM混合产品的支柱。它帮助企业为那些由于数据隐私和安全原因或监管要求而将数据保存在本地的客户构建端到端的私有云数据和AI解决方案。
RHEL AI：这是包含Granite模型和InstructLab的可引导容器的Red Hat Enterprise Linux。 Red Hat OpenShift AI：一个可以在任何地方部署的优化容器，无论是在本地还是公有云中。Red Hat团队正在使AI能够融入混合云。 Watsonx.ai：包含IBM、开源和第三方基础模型、AI工具和治理。
超出IBM自身预期的是，其主机业务一直在稳步增长。可以肯定地说，关于主机消亡的报道被大大夸大了。展会上展示了一款全新的Z16主机。
谈到硬件，IBM也避免了陷入自建GPU芯片的竞争中。尽管它有内部的GPU AI加速器，但它并不专注于硬件。事实上，IBM认为唯一有领导力机会的硬件领域是量子计算。
实际上，其Guardium数据和AI安全产品已经在处理量子安全问题。它推出了Quantum Safe的私有预览版。IBM知道这项技术在一段时间内不会成为主流，但它正在采取必要步骤，以便在技术成熟时占据一席之地。
自动化
IBM的三大支柱是混合、AI和自动化，这将帮助公司实现无摩擦的消费体验。因此，它收购了提供Terraform和Vault产品的HashiCorp。结合Red Hat的Ansible，IBM正在其整个产品套件中引入自动化。
Terraform是行业标准的基础设施配置工具，而Vault则有助于安全自动化。随着生成式AI使混合多云基础设施变得复杂，HashiCorp可以帮助IBM管理这些复杂性。
这引出了IBM Concert，这是一种新的Watsonx AI产品，提供一个统一的界面来识别、预测和修复客户源代码库、CI/CD管道和云基础设施中的异常。目前，它在直观的用户界面中显示关键漏洞。未来，它将成为成本、合规性和性能监控的可观察性UI。它还将成为IBM许多资产的统一前端，如用于监控技术支出的Apptio、用于性能优化的Turbonomics和用于应用性能管理的Instana。
最后，Watsonx品牌的最后一部分是Watsonx Orchestrate，它利用生成式AI来自动化重复任务和简化工作流程。它就像一个数字工人。IBM还宣布了Watsonx Orchestrate的一项功能，支持客户在各个领域构建自己的AI助手。
咨询与合作伙伴
为什么要在这次技术概览中提及咨询服务？事实证明，IBM的内部咨询服务是一个巨大的优势，因为业内许多同行并没有如此庞大的组织。AI助手还处于成熟的早期阶段，各公司正在探索适当的使用案例。因此，个性化和定制化对于生成AI的成功至关重要。因此，咨询服务成为IBM在这场构建AI助手竞赛中的独特优势。
一个指的关注的概念“咨询即代码”（Consulting Advantage）已经推出，旨在帮助IBM的16万名顾问使用Watsonx开发助手。已经有超过2000个助手被开发出来，并在IBM的市场上提供。
AI联盟（AI Alliance）是IBM与近100家公司（如Databricks、Meta、Oracle、AMD、学术界等）紧密合作的又一例子。这个联盟正在构建与AI相关的工具、安全和伦理政策及策略。其成员包括StarCoder2 LLM的创作者，该模型经过619种语言训练，包括由ServiceNow训练的3B参数模型、由Hugging Face训练的7B参数模型和由NVIDIA训练的15B参数模型。
IBM已经培养了一个超过一万家合作伙伴的生态系统。在Think 24大会上，数千名合作伙伴亲临现场，接受所有新公告并展示他们的产品。在众多合作伙伴中，IBM通过与Amazon SageMaker集成的Watsonx.governance展示了其与AWS的合作。
结束语
IBM的研究团队实力卓越，已打造了一系列令人瞩目的技术成果，但市场推广的步伐似乎稍显迟缓。Arvind Krishna在一次闭门分析师会议上提醒我们，早在1968年，IBM就推出了层次化IMS数据库，这堪称首个键值数据库，远早于该概念的命名。
如今，IBM正致力于解决市场推广的问题。企业文化自上而下地渗透至整个组织，Arvind正是这一变革的引领者。他强调，当人们在公共场合受到责备时，他们往往会停止尝试和冒险。他认为，“当人们敢于冒险时，速度将成倍提升。”
IBM的领导层始终强调，他们看中的是庞大的市场潜力，并坚信IBM将与业界同行共同繁荣发展。当然，在我们参与IBM Think 24大会的同时，Dell Technology World和Microsoft Build等其他重要会议也在如火如荼地进行中，每个会议都带来了诸多新动态。
AI正在引发巨大的变革——不仅限于技术领域，更触及了高层管理的层面。我们看到Snowflake和AWS在更换高管后焕发新生，三星也紧随其后，因为其在高内存带宽芯片领域的硬件性能稍显落后。
微软通过推出Copilot+PC重新点燃了PC市场的活力。同时，AI领域的融资热潮也持续不断。数据标注公司Scale AI成功筹集了10亿美元的F轮融资，法国初创公司H则获得了2.2亿美元的种子轮融资。此外，我们还见证了多起并购案例，如Snowflake收购了AI可观察性公司TruEra。
Source: Sanjeev Mohan; Inside IBM Think 2024: IBM Reboots the Future of Hybrid AI; 2024/5/31
--【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/单位/关注领域）