百度智能云技术站

其他

百度智能云新一代云原生产品加速 AI 原生应用落地

应用提供数据存储底座;云原生应用:面向开发者友好,建设云原生应用产品的企业级特性,提升应用部署管理效率。在云原生计算方向,发布全新一代的计算实例和一系列企业级能力的升级。在通用计算方面,结合新一代
10月11日 上午 11:41
其他

数据仓库 Palo 2.0 for Apache Doris 冷热分离原理分析

在数据分析的实际场景中,冷热数据往往面临着不同的查询频次及响应速度要求。例如在日志分析场景中,历史数据的访问频次很低,但需长时间备份以保证后续的审计和回溯的工作;在行为分析场景中,需支持近期流量数据的高频查询且时效性要求高,但为了保证历史数据随时可查,往往要求数据保存周期更为久远。通常来说,历史数据的应用价值会随着时间推移而降低,且需要应对的查询需求也会随之锐减。而随着历史数据的不断增多,如果我们将所有数据存储在本地,将造成大量的资源浪费。为了解决以上问题,冷热数据分层技术应运而生。顾名思义,冷热分离是将冷热数据分别存储在成本不同的存储介质上,这项技术目前被广泛用于各个数仓产品。百度智能云数据仓库
9月25日 下午 1:57
其他

HelixFold 3 全球首个完整复现 AlphaFold 3,百度智能云 CHPC 为人类生命探索提供算力平台支撑

的所有任务,其工作难度颇高,不仅需要研发团队在生物数据、模型训练层面有积累,更是对团队整体工程代码和产品架构能力的综合考验。百度螺旋桨团队凭借多年在生命科学领域的研发积累,于
9月12日 下午 2:47
其他

百度智能云向量数据库创新和应用实践分享

预处理主要的步骤是意图识别、同义词生成、专有名词生成等。召回主要就是向量数据库的工作,要支持向量检索、文本检索、多路召回能力、召回之后重排技术。最后是生成阶段。检索出来的结果在给大模型之前,还要
9月5日 下午 6:19
其他

大模型时代数据底座,百度智能云数据库 DTCC 2024 精彩汇总

极致成本与复杂查询加速技术实践随着云计算的不断深入发展,云数据库呈现云原生化的发展趋势。在「云原生数据库开发与实践」专场中,百度智能云云原生数据库负责人邱学达分享了《云原生数据库
8月28日 上午 11:52
其他

90 分钟带你玩转知识库应用

企业内部积累了大量有价值的文档,如何将这些文档中的知识精准应用到业务发展中来,充分发挥这些文档的价值?客服中心一直不懈追求能够为客户提供最及时准确的答复,如何能够紧随业务的速度发展,及时更新技术知识?百度智能云
8月15日 下午 7:05
其他

云高性能计算平台 CHPC 让企业的传统 HPC 玩出新花样

集群可以快速完成复杂计算,支撑模型仿真、数据分析等应用的高效运行,提高业务的创新速度,缩短产品上市时间。在很长的一段时间内,企业为了最大化提升市场竞争力,在传统的
8月12日 上午 11:33
其他

无需业务改造,一套数据库满足 OLTP 和 OLAP,GaiaDB 发布并行查询能力

并行查询技术的整体实现思想是对能够并行的查询算子(scan、gather等)进行并行化,在执行查询任务时将数据分片并启动若干个工作线程分别计算,最后将结果汇总返回给客户端。同时
7月17日 下午 5:45
其他

彻底解决网络哈希冲突,百度百舸的高性能网络 HPN 落地实践

的时候会根据链路的实际负载来进行转发,将报文送到相对空闲的物理链路上,从而保证两条链路上的流量相对均衡。在这种情况下,由于同一条流的不同报文走了不同的转发路径,自然会发生乱序,因此当
7月3日 下午 6:41
其他

基于 Native 技术加速 Spark 计算引擎

源码:https://github.com/databricks/spark-sql-perf/blob/master/src/main/resources/tpcds_2_4/q23b.sql-
6月24日 下午 12:02
其他

大模型时代数据库技术创新

预处理主要的步骤是意图识别,同义词生成,专有名词生成等。召回主要就是向量数据库的工作,要支持向量检索,文本检索,多路召回能力,召回之后重排技术。最后是生成阶段。检索出来的结果在给大模型之前,还要
6月21日 下午 3:23
其他

低代码组件扩展方案在复杂业务场景下的设计与实践

组件是爱速搭的前端页面可视化模块的核心能力之一,它将前端研发人员从无休止的页面样式微调和分辨率兼容工作中解放了出来。目前,爱速搭通过内置的上百种功能组件(120+),基本可以覆盖大部分中后台页面的可视化设计场景。组件的相关的设计理念和实现细节我们可以在前文面向复杂业务场景下的低代码平台组件设计与实践分享中看到。实际开发的过程中,前端研发人员往往会面临大量定制
6月4日 上午 11:30
其他

如何从 0 到 1 研发一款专用向量数据库产品?

体系、内存表、快照、Compaction、查询优化、异常恢复等等这些引擎层面的关键特性,这就需要我们自己在此基础上继续进行研发。面对这样的挑战,第一步,我们快速借调了一些比较懂
5月27日 下午 12:42
自由知乎 自由微博
其他

百度百舸 AIAK-LLM 的大模型训练和推理加速实践

60%。除了前面介绍的这两个非常重的功能外,为了能让开源模型高效的推理。我们还解决了大量功能和准确性上的问题。这里列出了几个点:第一个问题是精度方面的,也是我们遇到的最大的一个问题,sample
5月15日 上午 11:30
其他

大模型驱动的新一代 BI 平台,Sugar BI 开启智慧决策新模式

也支持数据查询完之后的二次表计算,甚至支持了特定场景下的一些特殊的计算,如留存分析、交叉透视、监控预警计算等,满足您在不同场景下各类数据计算的需求。另外,在跨越多数据源的联邦查询场景中,Sugar
5月8日 上午 11:30
其他

一次性讲明白,如何搞定一个可以支持多芯混合训练的 AI 集群

建立不同芯片集群的差异当前,在数据中心的多芯算力的运用方式上,主流仍然是采用一种芯片对应一个集群的思路,这需要根据每一种芯片的特点进行量身定制。参照上文提到的三个方面,一起来看看基于昆仑芯和昇腾
4月24日 下午 6:32
其他

多元 CPU 性能调优的技术挑战、产品设计和业务实践

性能调优,这不仅要求工程师对各个平台有着深入的理解,同时需要掌握各类性能分析工具和方法,并依据得到的观测数据,综合诊断出真正的瓶颈原因,并据此展开优化操作,最终提升业务表现。这种传统的
4月16日 下午 2:41
其他

云原生数据库下一站:像 MySQL 一样流行,让更多人受益于新技术的发展

等。这使得用户可以保留已有的使用习惯和相关技术栈,让大量的开发者和业务可以快速迁移到云原生数据库,降低技术门槛、迁移门槛和学习门槛。简化技术栈体系可以让用户更低门槛的使用。例如通过
3月28日 下午 5:25
其他

不再等待直接上答案,百度智能云推出数据库 Copilot

Copilot:智能领航员。智能领航员基于百度文心大模型构建,内置了各类高质量的数据库知识,包括云数据库帮助文档、数据库权威官方文档、百度多年来内部积累的数据库运维知识库等,能够覆盖云上
3月22日 上午 11:19
其他

百度智能云千帆,产业创新新引擎

等渠道。这里也特别说一下百度灵境矩阵,此次与灵境矩阵的打通,应用将有机会在百度强大的搜索场景中轻松实现分发和挂载,同时也能融入百度的信息流场景,吸引更多潜在用户的目光。下面,我们就来看一个从
3月21日 下午 7:39
其他

百度智能云加速「低代码+大模型」融合,爱速搭位居 2023 年 IDC 低代码/无代码领导者象限

与爱速搭中的关键设计向量检索在大模型应用场景的技术和实践低代码平台的流程引擎设计指南低代码平台中的数据连接方式(上)低代码平台中的数据连接方式(下)
3月15日 下午 4:09
其他

数据库运维工作量直接减少 50%,基于大模型构建智能问答系统的技术分享

本文源自百度智能云数据库运维团队的实践,深入探讨了基于大模型构建「知识库智能问答系统」的设计过程和应用。全文包括了总体的技术方案选型、各个模块的设计实现、重点难点问题的突破、以及目前的落地场景应用等。该系统自从内部上线以来,整体的回答准确率达到
1月31日 上午 11:30
其他

云上业务一键性能调优,应用程序性能诊断工具 Btune 上线

容器虚拟化新能力发布和全场景实践面向大模型的存储加速方案设计和实践向量检索在大模型应用场景的技术和实践大模型时代的异构计算平台高性能网络建设指南,《智算中心网络架构白皮书》开放下载
1月24日 上午 11:30
其他

如何实现一个百万亿规模的时序数据库,百度智能云 BTS 架构解析和实践分享

无人车自动训练是其中一个重要的场景。在此场景下,需要进行模型训练、仿真,按需获取多维度环境数据。这种类型的数具备如下特征:车端数据具有多源,包括位置数据、雷达数据、影像数据、红外数据等。单车单天
1月16日 上午 11:06
其他

AI 原生时代的云计算

可构建公有云延伸区域,为区域算力集群或产业基地提供强有力的架构支持,为传统行业数字化转型提供具备可信、弹性、易用特点的公有云路径。在分别介绍完云基础设施和智算基础设施后,我们再来看看上层的应用平台自
2023年12月26日
其他

大模型重构云计算

高性能网络的设计与实践高性能网络建设指南,《智算中心网络架构白皮书》开放下载面向大模型的存储加速方案设计和实践向量检索在大模型应用场景的技术和实践高性能和多级高可用,云原生数据库
2023年12月22日
其他

一站式数据库上云迁移、同步与集成平台 DTS 的设计实践

支持了该客户的数据库上云迁移和多活同步的需求。该客户的业务痛点主要包括三个方面:迁移规模大:在线服务数据库(MySQL/Redis/MongoDB)中,涉及到上百条业务线的
2023年12月12日
其他

分布式数据库 GaiaDB-X 金融应用实践

0。在具体执行上,监管的要求也越来越严格,比如同城双活,之前是只需要具备相关的技术方案即可,但现在每年人行的监管都会直接到现场,要求做机房级实战故障切换。第四是运维能力。系统下移到通用服务器并实现去
2023年12月4日
其他

高性能和多级高可用,云原生数据库 GaiaDB 架构设计解析

逐渐接入了手百、贴吧、文库等多个核心产品线,解决了业务在跨地域场景下的延迟与性能痛点。随着业务的逐渐上云,多可用区高可用的需求慢慢凸显,如何实现单机房故障不影响服务成为了很多业务上云的关注点。为此
2023年11月27日
其他

从互联网到云计算再到 AI 原生,百度智能云数据库的演进

模块的自适应就近访问策略可以感知元数据的变化,并根据这些变化及时切换访问路线。这种策略可以有效地应对各种故障和异常情况,确保数据的可靠性和可用性。第五个是使用通用硬件,对硬件要求低。GaiaDB
2023年11月20日
其他

从 MLOps 到 LMOps 的关键技术嬗变

等参数量较低,效果一般的模型会彻底沉寂。同时闭源模型会主攻多模态或更加智能的方向。行业大模型也会是一个短期繁荣的景象。未来新一代超强模型会覆盖行业大模型的能力,从而抑制其发展势头。标志性事件就是
2023年11月15日
其他

全新系列云智公开课 11 月上线,4 期数据库专题分享

作为计算机系统的三大核心基础软件之一,数据库技术的发展一直备受关注。随着云计算技术的发展,能够适合更大规模业务场景,有着高可用性、可扩展性和低成本等优势的云原生和分布式数据库逐渐成为主流。同时,AI
2023年11月9日
其他

大模型加持, SmartTerm 让服务器运维变简单

-我们相信,智能化将成为未来运维工作的重要特性,帮助运维同学从复杂的命令交互中解脱出来,提升业务全生命周期运维工作的效率。随着文心系列大模型能力的不断增强,云服务器智能管理终端工具
2023年11月2日
其他

BES 在大规模向量数据库场景的探索和实践

构图过程,每插入一个点需要检索计算,插入大量的点也是一笔很大的计算开销,因此导入数据会很慢,导致前台阻塞。因此我们将向量索引构建改造成后台异步构建的机制,数据写入落盘之后就可以直接返回;然后后台通过
2023年11月1日
其他

都说视频智能分析落地难,但是这次有了大模型!

视觉进行视频智能分析已经变得随处可见。在每一家零售门店,每一条生产流水线,每一处建筑工地,每一个港口码头……都能见到摄像头的身影。同时,每一位勇于创新的技术负责人正在尝试将更多业务引入
2023年10月25日
其他

云计算进入 AI 原生时代

写入进行异步写入。前向和反向计算阶段,可以采用跟推理阶段相同的计算优化方法,同时针对显存也有一些重计算和分组参数切片的方式来降低模型对显存容量的要求。梯度同步阶段,可以通过降低通信频率,让计算和通信
2023年10月18日
其他

《AI 大底座价值实现白皮书》开放下载,人工智能基础设施助力数字经济高质量发展

技术能力,通过实现自动化生产帮助地方经济产业释放更多劳动力。同时依托强示范效应,可以在行业内进行单点迭代,进而快速复制到整个区域产业,帮助地方经济实现整体的提质增效,提升区域的产业效力。第二,AI
2023年10月10日
其他

从研发域到量产域的自动驾驶工具链探索与实践

多个自动驾驶数据挖掘模型,完成上亿帧数据的高效处理,实现数据的价值提升和转化。第三个是数据标注。对自动驾驶的研发训练而言,高质量和大数量的数据集获取,在传统条件下一般是人工逐帧标注。百度自主研发的
2023年9月26日
其他

云智一体,构建汽车智能驾驶解决方案

倍以上。同时通过软硬一体的协同优化,能更好地发挥出集群的能力,提高模型迭代的速度。除此之外,很多车企研发模型的时候存在一些芯片在环的仿真需求和相关场景,百度智能云在云上支持了多款车载芯片的仿真方案。
2023年9月21日
其他

百度智能云千帆大模型平台 2.0 产品技术解析

年特斯拉发明了交流电发电机。交流电发电机使得电力传输的效率更高,因此能够被传输的更远,随着交流电的普及,大大加速了第二次工业革命的进程。最后一个问题,世界上第一台计算机叫什么?ENAIC,1946
2023年9月20日
其他

22H2 中国边缘公有云服务市场 Top2,百度智能云构建让智算无处不在的分布式云

云桌面服务,帮助客户将办公软件下沉到边缘云桌面,实现了工业设计的就近处理,保证并提高工业设计场景的办公效率,为客户提供弹性、高性价比的桌面资源。3.3
2023年9月18日
其他

百度智能云引领建设智能云标准生态,第十二届云计算标准和应用大会成功召开

普惠的到来。将智能云的各个参与方联合起来建立起标准生态,围绕行业发展和市场需求,研究智能云建设方法,制定相应评估标准,并推动标准化的落地。最终,通过行业共建的力量,实现智能云产业的不断进步。2
2023年9月14日
其他

大模型时代的 AI 原生云

真正走进实用时代。利用大模型的能力,百度智能云数据库发布新服务:数据库智能驾驶舱。数据库智能驾驶舱利用大模型能力实现数据库智能化的洞察、评估和优化。相比传统的机器学习的算法,在洞察、评估和
2023年9月8日
其他

大模型驱动云计算创新变革

原生云的产品全景图,大家可以看到我分享的内容只是其中一小部分,更多的产品分享会在下午的《智能计算&大模型技术》分论坛,欢迎大家到时莅临我们分论坛现场。7
2023年9月7日
其他

云磁带库存储架构的设计与实践

会周期性地,或在一个合适的时候,通知业务方所有的取回任务的进展;第八步,当业务方发现某个任务的目标数据已经完全准备好之后,就会启动一个/一批常规的从磁盘池读取数据过程;最后进入第九步,Aries
2023年9月4日
其他

百亿级向量检索的向量数据库是如何构建的?

这种就可以支持很多向量数据库类型,如果我要做数据的增删改查,单纯的向量引擎是搞不定的,但在数据库上加入向量的能力就可以搞定这个事情了。所以,单从场景和功能出发,我觉得在传统的数据库,或者是一些
2023年8月31日
其他

大规模块存储 EC 系统构建

倍。但是,纠删码也有自己缺点。多副本将数据无修改地复制到另外节点,不需要计算参与,数据恢复则是将数据重新复制一遍,方法比较简单。而纠删码则涉及到编码和解码,除了计算以外,编码和解码同样会带来额外的
2023年8月22日
其他

LMOps 工具链与千帆大模型平台

文字整理:蒋昕最近大模型特别是大语言模型引起了全社会的广泛关注,大模型到底在技术上带来了哪些变化和挑战?要掌握哪些关键的技术企业才能够驾驭大模型?百度智能云在这方面又能提供了哪些专业的产品?今天的课程内容会包含四个方面:人工智能的发展路径;LMOps
2023年8月8日
其他

千帆大模型平台最新升级:接入 Llama 2 等 33 个模型!

Tuning、LoRA)及强化学习(奖励模型学习、强化学习训练)等,同一模型可通过多种方式持续调优。此外,千帆大模型平台还支持数据回流功能,可在实际生产过程中持续微调,提升模型效果。上线国内最全
2023年8月4日
其他

高性能网络建设指南,《智算中心网络架构白皮书》开放下载

高性能网络的设计与实践⻜桨⼤模型推理部署⾼性能优化飞桨大模型分布式训练技术向量检索在大模型应用场景的技术和实践面向大模型的存储加速方案设计和实践GPU
2023年8月2日