DataPipeline数见科技

其他

DataPipeline完成B+轮1.2亿元人民币融资,定义基于DataOps理念的下一代数据基础设施

近日,下一代数据基础设施提供商DataPipeline宣布完成来自知名投资方的B+轮1.2亿元人民币融资。DataPipeline将持续深化核心人才队伍,拓宽DataOps产品矩阵构建,加速市场与生态建设,积极参与行业标准制定,推动DataOps理念在重点行业落地。截至目前,DataPipeline共获得来自金沙江创投、远翼投资、经纬创投、BV百度风投、峰瑞资本、清流资本等的共计五轮的投资,金额达数亿元人民币。数据是数字经济时代的核心生产要素,在数据量激增、时效性能力要求提升、数据种类日趋复杂等的大趋势下,企业自身的数字化建设尤其是对数据的高效管理,已成为企业战略及运营的关注重点。DataOps则是在这样的背景下诞生的重要理念。DataOps——企业通过聚焦于从数据需求输入到交付物输出的全链路过程,在理论方法、系统工具、组织模式、安全风险管理的支撑下,可快速高效地实现数据应用的“研发、运维、运营”的一体化、敏捷化、标准化、自动化、智能化、价值显性化,其正在成为企业中实现数据创新的关键能力。因此,DataPipeline将业务聚焦于组织的数据管理全景,基于DataOps理念打造下一代数据基础设施。当前,DataPipeline已经形成了清晰的产品线:构建核心自动化数据链路能力的数据融合产品、构建弹性系统资源管理和自动化的可观测性产品、构建基于算法的智能化数据发现和数据安全能力产品,覆盖了围绕“数据链路开发、管理、与安全”的一整套核心组件。该产品体系,已经持续引领金融、能源、电信、制造、地产、零售、互联网等各行业新型数据基础设施领域的最佳实践,获得包括多家世界五百强企业在内的数百家客户认可。
2022年5月23日
其他

吉利集团携手DataPipeline两周年,让实时数据管理平台“厚”起来

1月12日,国务院印发《“十四五”数字经济发展规划》(以下简称:规划)。规划指出,“要秉持‘坚持应用牵引、数据赋能’的基本原则,支持有条件的大型企业打造一体化数字平台,强化全流程数据贯通,加快全价值链业务协同。”数据要素价值和智能融合基础设施在规划中多次被重点提及,成为数字经济深化发展的核心引擎。显然,深谙其中之道的吉利集团已然在该方面走在绝对的前列。1月6日,吉利汽车控股有限公司(HK.0175)公布:连续五年蝉联中国品牌乘用车年度销量冠军,吉利汽车2021年总销量132.8万辆。这与其坚持以数据驱动智能决策能力,提升企业整体运行效率和产业链上下游协同效率密不可分。
2022年1月14日
其他

携手世界环境服务巨头!DataPipeline助力其亚洲区业务数据实时融合

强企业,自1853年成立以来,已经在一个半世纪的发展中成为全球环保及资源管理领域的领导者。目前企业业务已遍布五大洲77个国家,主要涵盖水务处理、废弃物管理、交通和能源服务,共有超过
2021年9月26日
其他

DataPipeline亮相2021世界计算大会!实时数据管理打造产业数字化升级加速器

9月17日上午,由工业和信息化部、湖南省人民政府主办的“2021世界计算大会”在湖南长沙国际会议中心开幕。大会以“计算万物·湘约未来——计算产业新格局”为主题,聚焦“计算”与“数字”,特设“计算创新与数字赋能”技术与产品应用成果展。DataPipeline企业级实时数据融合平台以其稳健的产品应用表现、引领性的技术实力成功入围。DataPipeline入围计算创新与数字赋能专题展“计算创新与数字赋能”专题展作为本次大会中计算产业创新成果集中展示区,囊括了华为、中国联通等计算产业生态企业的丰富方案案例,汇聚了国产计算产业的顶尖研发成果。DataPipeline以实时数据融合平台产品及面向企业级实时数据管理、数据订阅与分发、外部数据管理、多云数据传输等全面场景的技术解决方案及面向金融、零售、能源、制造等的多行业解决方案亮相本次专题展,成为展区核心亮点之一。
2021年9月24日
其他

DataPipeline助力国际知名物流服务商,打造供应链改革新样本!

近日,DataPipeline协助某国际知名物流服务商搭建的全渠道销量预测暨门店智能配补货系统正式投入使用!该系统基于DataPipeline企业级实时数据融合平台打造,服务于全球连锁咖啡品牌。系统通过考虑内部销售、天气、竞品、活动等信息,并结合SKU的特性差异,对商品进行深度分析、聚类分析预测,实现每日自动补货,打造出供应链改革新样本。该客户是国内头部、国际知名的综合物流服务商,同时致力于成为独立第三方行业解决方案的数据科技服务公司,以涵盖多行业、多场景、智能化、一体化的领先技术能力,向产业链上下游延伸,为零售等多行业提供贯穿采购、生产、流通、销售、售后的一体化供应链解决方案。全渠道销量预测暨门店智能配补货系统支持对算法参数的调整、自动追踪数据异常、及时提出预警,最终可实现超过80%的Core
2021年9月15日
其他

企业级数据融合平台上线,DataPipeline助力中国最大保险公司海外业务再创佳绩!

近日,DataPipeline协助某世界五百强金融企业搭建的企业级数据融合平台正式投入使用!该项目的实施对于推动企业实现数据集约化管理、激发业务活力、增强持久核心竞争力具有重要意义。
2021年9月10日
其他

共助数据自主创新生态|DataPipeline实时数据融合平台与华为云GaussDB数据库完成兼容互认证

在DataPipeline2021数据管理与创新大会上,DataPipeline数见科技与华为云正式宣布,双方已完成DataPipeline企业级实时数据融合平台与华为云GaussDB(for
其他

民生银行:入选国家级数字化转型百佳案例!DataPipeline助力构建实时数据管理体系

来源/民生银行总行科技大数据管理部转载自/中国电子信息产业发展研究院赛迪网近日,由中国电子信息产业发展研究院指导,赛迪传媒、大数据产业生态联盟主办的2021(第六届)中国大数据产业生态大会圆满闭幕。会上重磅发布了“《2021中国数字化转型生态建设百佳案例》(以下简称《百佳案例》)”,「DataPipeline助力民生银行构建实时数据管理体系」案例成功入榜。《2021中国数字化转型生态建设百佳案例》覆盖数字政府、金融科技、智能制造等多个行业,旨在甄选集结具有先进性、创新性和示范带头作用的企业数字化转型发展和应用优秀案例,凝练数字化转型的成功先进经验,树立行业典型。作为各地方政府深化数字化转型重点行业应用的备选库,此次选拔的《百佳案例》将呈报国家相关主管部门,为其提供决策参考依据,全力支撑地方政府数字化转型工作的推进。拥抱实时数据管理是数字化创新升级的必然选择诞生于
其他

数据库准实时数据同步平台成为新引擎,山西证券携手DataPipeline跑出加速度

近日,山西证券股份有限公司(以下简称:山西证券)和DataPipeline共同宣布,DataPipeline协助山西证券搭建的数据库准实时数据同步平台正式投入使用。该项目的实施对于推动山西证券实现数据规范化集约化管理、促进数字化赋能企业经营,进而增强其持久核心竞争力具有重要意义。01数字化转型,需构筑实时数据融合新通路山西证券成立于1988年,是全国首批证券公司之一。其经营范围基本涵盖了所有证券领域,为200余万客户提供全面优质的综合金融服务。近年来,在客户需求升级和市场的激烈竞争下,券商纷纷谋求经纪业务向财富管理的转型探索,期望解决传统模式服务覆盖率低的难题。智慧化的运营体系构筑差异化竞争优势成为共识。在此形势下,山西证券力求打造以“客户为中心”的全链条服务,为用户提供自动化个性化的财富管理类产品,并深切认识到该过程离不开实时数据的支撑。山西证券表示:“证券公司业务天然与数据紧密相关,数据已逐步成为券商最重要的无形资产。证券行业在新技术、新行情的驱动下,陆续开启以提升中后台运营支撑能力为核心的数字化转型发展,通过科技与金融的深度融合,进一步挖掘市场机会,提高服务能力和水平,从而全面提升客户体验。”为了实现数据赋能创新业务,确保做出及时、准确的业务决策,需实时打通公司交易数据、客户数据、风险数据、行为数据、产品数据等内部数据以及市场数据、工商数据、舆情舆论等外部数据。这就要求IT系统能够建立数据到业务应用的实时链路,为智能化服务平台提供丰富及时的数据,实现交叉分析。02牵手DataPipeline,打造灵活敏捷、智能高效实时数据平台山西证券经过32年经营,已设有分公司15家,营业部128家,期货营业网点25家,业务分布于财富管理、资产管理、投资管理、投融资、研究、期货、国际业务等多板块。为实现多套业务系统产生的海量数据实时融合的目标,高效支持智能营销、智能决策、智能服务、智能风控等业务部门取数需求,山西证券需要融合估值平台、业务投资系统、柜台系统、资讯系统、CRM系统等核心业务系统到实时计算平台及大数据业务系统的数十亿条数据的整合。面对需求紧急繁杂、数据来源异构、服务方式多样的状况,构建灵活、开放的技术架构,提升快速准确响应需求能力成为关键。该项目如果选择自研,需要付出高额的开发人力与时间成本。因此,山西证券选择牵手DataPipeline,打造灵活敏捷、智能高效实时数据融合平台。山西证券解决方案架构图DataPipeline实时数据融合产品通过多种实时数据技术,支持广泛的数据节点类型,协助山西证券构建以业务目标为导向的数据链路,按需快速定制、部署、执行数据任务,以支持从传统数据处理到实时数据应用的各类场景。产品具备以下特性:基于日志的实时增量数据获取技术保证实时数据全面、准确。使用分层管理、按需服务的配置型平台来提升
2021年8月24日
其他

干货!DataPipeline2021数据管理与创新大会全篇划重点

7月29日,以“万「向」更新”为主题,DataPipeline2021数据管理与创新大会在北京成功举行!中国信通院云计算与大数据研究所副所长魏凯、中信银行信息技术管理部架构管理处处长卫东、民生银行总行科技大数据管理部技术专家钟行、山东省城商行联盟核心运维组技术专家倪俊甜、中国信息协会专家范克峰、华为计算产品线openGauss数据库产品总经理胡正策与DataPipeline数见科技管理层及来自该领域的专家学者、用户代表、生态伙伴共聚一堂,共话产业机遇与挑战,共探数据管理与创新实践新模式。以期通过“万「向」汇聚,数据新生”的共识,创造行业新价值。
2021年8月17日
其他

DataPipeline正式成为信创工委会会员单位!致力于为世界级用户提供更优质产品和服务

日前,经由中国电子工业标准化技术协会信息技术应用创新工作委员会(以下简称“信创工委会”)理事会投票表决等层层审核,DataPipeline正式加入信创工委会,成为数据中间件领域率先一批入会的会员单位。这表明DataPipeline以自主创新践行科技自立的初心未改,也标志着DataPipeline在朝着“成为中国的世界级数据中间件厂商”目标道路上迈出新的步伐。信息技术应用创新工作委员会DataPipeline会员单位证书信创工委会成立于2016年3月,是引领我国工业和信息化领域发展方向的重要机构,一直发挥着产业组织、行业自律和政府支撑方面的作用,为我国信息技术的应用创新提供了技术、标准、人才等方面的支撑服务;促进企业间按市场规则开展合作,实现优势互补、资源共享、协同推进;共同营造产业良好的生态环境,带动产业链协同发展。积跬步行千里,全力构建信创体系近年来,在“新基建”等的大潮下,信创产业迎来发展的黄金机遇期,抢占数字经济产业链制高点成为必然选择。实时数据管理作为企业数字化创新基础设施,是信息技术应用创新中的关键一环。建立自主安全的数据基础架构,并形成丰富、包容的产业生态,对国内IT企业及以金融、制造、能源为代表的国民支柱型行业来说成为挑战。行之力则知愈进,知之深则行愈达。DataPipeline——国内实时数据管理领域「最早批布局者」,正在积极拥抱国产化布局,展开兼容适配助力完善信创产业链生态,推动金融等行业数字化转型创新。目前,除传统Oracle等主流关系型数据库,DataPipeline产品已与华为云、华为GaussDB、SequoiaDB巨杉数据库、TiDB、HashData、星环大数据平台等多个国产软硬件完成全面兼容认证,且性能优异,能够有力支持重点领域信息化水平领先的用户实现数据中间件自主可控。聚焦技术与应用场景,持续深耕企业服务2021年5月,DataPipeline企业级实时数据融合平台V3.0里程碑版发布。(点此回顾)产品通过多种实时数据技术协助用户构建以业务目标为导向的数据链路,支持广泛的数据节点类型,按需快速定制、部署、执行数据任务,满足企业对高可配、高可控、安全性的需求,可实现从传统数据处理到实时数据应用的各类场景。3.0版本因“数据全面准确、管理敏捷智能、链路稳定高容错”三大特性,在业界广受青睐,现已服务中国人寿(海外)、民生银行、山东城商行联盟、财通证券、山西证券、中国石油、吉利集团、星巴克、顺丰、龙湖集团等百余家行业领军企业。日前,DataPipeline实时数据融合平台V3.0通过信通院大数据产品能力评测,获权威认证。(点此回顾)DataPipeline部分用户展示在V3.0版本发布会上,DataPipeline创始人&CEO陈诚结合大数据产业形势,对中国企业发展、数据流动性管理等方面进行了阐述和勾画。陈诚表示,企业用户在“利用数据资产及实时数据相关技术,提升业务敏捷性和快速实现商业价值变现”方面具有无限想象空间。而DataPipeline通过稳健的产品表现、引领性的技术实力、体系化的用户服务,能较好地帮助企业实现全域实时数据的价值释放,赋能产业转型升级。构建国内信创生态体系,不仅是实现国家十四五规划发展目标的重要抓手,更是实现高质量发展和改革创新的核心内容。今后,DataPipeline将参与组织内与数据中间件相关的标准制定等工作,支持会员单位的国产化适配。同时,DataPipeline将更好地借助信创工委会在我国信息技术产业方面的平台资源,瞄准突破关键技术、提升产业协同能力,以实时数据管理能力贡献重塑数字中国底座的力量。-
2021年7月26日
自由知乎 自由微博
其他

再获权威认可!DataPipeline实时数据融合平台通过信通院大数据产品能力评测

近日,中国信息通信研究院(以下简称“中国信通院”)官方权威公布第十二批“大数据产品能力评测”结果。经过产品资料审核、测试报告审核、质询与答疑、集中评议等重重评审,DataPipeline企业级实时数据融合平台通过了信通院数据集成工具基础能力评测,并在刚刚结束的“2021大数据产业峰会”上获颁证书。2021大数据产业峰会颁发证书“中国信通院大数据产品能力评测”是国内首个大数据产品的评测体系,经过多年发展,其已经成为大数据领域权威的第三方评测品牌,是厂商产品研发和用户采购选型的风向标,为政府、金融、制造等行业用户选购大数据产品提供了权威参考。本次评测对产品的数据源配置、数据清洗/转换、目标源、作业管理、运维管理、安全保障共计6大部分、23个项目进行了全面严格的技术考核。评审组由来自中国信通院、清华大学、中国科学院、北京邮电大学、中央财经大学、北京交通大学、工商银行、邮储银行、招商银行、光大银行、北京银行、华夏银行、中国移动等单位的专家组成。DataPipeline企业级实时数据融合平台以优异成绩通过该评审。DataPipeline通过信通院大数据产品能力评测近年来,以数据驱动数字化营销、客户服务、风险控制和经营分析管理已成为金融等行业发展中的共识,因此各种底层技术——存储和计算的引擎、数据中台、数据湖、大数据平台、时序数据库、图数据库应运而生,这也带来了比较挑战的数据流动性管理问题,实时数据管理逐渐成为产业界关注的热点。
2021年6月24日
其他

一图读懂DataPipeline实时数据融合平台V3.0

-(点击图片阅读)点击“阅读原文”,了解更多关于DataPipeline!
2021年6月15日
其他

2021百度云智峰会|DataPipeline携手百度赋能实时数据资产构建与应用

2021百度云智峰会·智能计算峰会在北京举行,活动汇聚产业专家、行业大咖、生态合作伙伴及媒体人士等各界嘉宾,共同探讨AI原生云的新趋势新应用,分享产业智能化前沿实践案例。
其他

用好“实时数据管理”助推器,旭辉集团加快数字化转型步伐

近日,DataPipeline助力旭辉集团构建的实时数据融合平台顺利上线!近年来,地产行业对场景数字化的需求空前迫切。借助互联网、5G、IoT等技术的不断革新与推动,越来越多的地产企业已经加入到“智慧地产”的布局阵营,渴望通过数字化之路驱动地产的全场景智慧落地。
其他

万「向」更新|DataPipeline实时数据融合平台V3.0里程碑版发布!澎湃新动能

回望成长之路,DataPipeline作为一家企业级批流一体数据融合产品、解决方案及服务提供商,公司的技术随着用户需求驱动、应用场景锤炼,不断创新。DataPipeline
其他

「DataPipeline」完成数千万B轮融资,加速构建中国的世界级数据中间件产品

近日,「DataPipeline」宣布完成B轮数千万人民币融资,本轮融资由知名风险投资机构金沙江创投领投,百度风投和清流资本跟投。DataPipeline作为赛道中规模最大、覆盖优质客户最广的领军者,将一如既往,持续发力实时数据管理领域,坚持技术驱动、深耕企业服务,加速构建中国的世界级数据中间件产品。四年四轮融资
2021年5月24日
其他

万「向」更新|DataPipeline新品发布会5.27上海见!

共同见证DataPipeline重磅发布五年蓄力之作:DataPipeline企业级实时数据融合平台V3.0,展示一系列创新成果,让“易建,好用,性优”的产品触手可及。03
2021年5月20日
其他

实至名归!DataPipeline斩获“银行数字化科技创新大奖”

4月22日,「2021第六届亚太银行数字化创新博览会」在上海举行。本届论坛以“加速数字化,引领银行业务创新”为主题,吸引了中国人民银行、农业银行、国家开发银行等银行业代表及金融科技精英、学术咨询专家参会,旨在集结业界先锋,协力推动银行业科学高效、可持续地数字化转型发展。DataPipeline应邀参会并凭借全自主研发的“企业级实时数据融合平台”在金融领域持续的创新成果、丰富经验及口碑美誉度,在众企业中脱颖而出,斩获由亚太银行联盟颁发的科技创新大奖!△
2021年4月27日
其他

DataPipeline亮相“2021科技助力湾区数字金融发展峰会”,解锁“实时数据管理”密码

3月10日,由广东省粤港澳合作促进会金融专业委员会主办、DataPipeline协办的“2021年科技助力湾区数字金融发展峰会”在广州举行,来自银行、证券、保险、金融科技等领域的行业专家齐聚。大会紧抓“数字化转型和信创”契机,旨在通过交流,探索创新模式,推进大湾区金融与数字技术深度融合发展。△
2021年3月11日
其他

DataPipeline通过华为鲲鹏兼容性认证,以自主科技创新推动中国信息产业进步

近日,DataPipeline通过华为鲲鹏兼容性认证。经过功能测试、性能测试、安全测试三轮测试显示,DataPipeline与华为鲲鹏云服务兼容性良好,系统功能正常,运行稳定,获得鲲鹏技术认证书。此次通过鲲鹏技术认证,是DataPipeline继亚马逊AWS、微软云Azure之后,适配又一个混合云平台。这不仅为DataPipeline的客户提供了更加广泛的基础环境选择空间,也标志着DataPipeline通过自主创新的数据中间件产品对中国信创产业发展的投入将进一步深化。△
其他

数字化转型提速,DataPipeline助力中石油产业大数据实时共享能力再提升

DataPipeline企业级实时数据融合平台为中石油构建的实时数据融合平台顺利上线!为了实时融合中石油不同业务系统产生的地震、钻井、测井、化验、录井、生产、作业、空间等异构数据,高效支持勘探开发、生产运行、经营管理、安全环保等各领域的业务运营与管理,中石油打造了基于云计算并融合物联网、人工智能、大数据、移动应用的新一代信息技术平台——勘探开发梦想云平台。该平台实现了3
2021年2月26日
其他

IT168专访|DataPipeline 合伙人&CPO陈雷:我们致力于成为中国的世界级数据中间件厂商

IT168:很高兴有机会采访到您,请您介绍一下自己,所在公司及主打产品?陈雷:毕业之后去了方正,然后IBM11年,创业4年,一直从事数据领域的产品研发,系统交付工作。业务经验主要集中在金融、通信、能源等信息化领先行业,现在所在的公司DatePipeline是一家年轻的中国本土企业,我们致力于成为中国的世界级数据中间件厂商,产品也叫DataPipeline,是一款数据集成领域的下一代中间件产品,功能覆盖了实时数据采集、异构数据融合、实时数据处理等数据集成领域的主要场景。IT168:您是何时进入这个行业的?这其中有没有特别的原因或者契机?陈雷:中间件行业可能和互联网行业还不太一样,还是有一定门槛的,我相信从事软件行业的人大部分都和我一样,没有什么特别偶然的原因或者契机,就是从小喜欢计算机,根据兴趣选择了专业然后一路走过来,如果一定要说原因的话,我觉得可能是我们国家近几十年信息技术的高速发展为我们提供了一展拳脚的空间,没有让我们放弃自己的兴趣,这也是一个很幸福的事。IT168:国内的市场格局是怎样的?都有哪些玩家?DataPipeline处于怎样的位置?陈雷:主要分为三大类。第一类是传统的外企,比如IBM、Oracle、Informatica等,有很成熟的产品和服务体系,但面对中国市场的新技术要求的应对稍显缓慢,比如Informatica今年宣布解散了中国公司,IBM和Oracle对国内正在逐步兴起的数据库都无法提供支持。第二类是云厂商,特别是公有云厂商,在大规模数据管理和应用上有非常深入的探索和实践,比如OceanBase,也代表了未来的发展方向,但在数据集成这个领域还没有特别有力的产品,而且在面向重点行业企业信息化建设服务这一块还是有很多的工作要做。第三类是一些有技术实力的行业集成商也在做相关领域的工作,但大部分都是在项目实施过程中基于开源项目慢慢积累,从商业产品角度来说适应性还有待验证。DataPipeline从成立之初就坚持专业化、产品化发展的道路,坚持技术驱动,深耕企业服务,准确地讲在产品的适应性上已经超过了传统外企,但在产品成熟度上还有很多工作要做,我们现在也广泛的和云厂商与行业集成商合作,共同为企业客户提供更好的服务。IT168:据您所知,数据融合市场的规模大概是多少?陈雷:数据中间件的上下游市场正在快速增长,倒逼数据融合需求不断增长,可以说中间件和数据库及数据应用市场在同一量级,2018年全球市场320亿美元,预计到2022年,数据融合市场大概在120亿美元以上,符合增长率14%,数据融合是中间件增长最快的细分市场。IT168:对于企业来讲,在搭建数据管理平台过程中都会面临哪些挑战和问题?陈雷:这个内容就比较多了,讲最重要的三个挑战吧。第一,各类数据管理技术差异越来越大,全面、准确的实时数据获取困难。随着数据技术的不断发展,针对某些具体场景的特性在不断被增强,使得各类数据技术的差异性进一步扩大,但被纳入其中的数据本身不应该因技术栈不同而阻碍其价值释放。1、交易系统、账务系统、管理系统、分析系统、主数据、数据仓库与大数据平台采用的数据库管理技术都不尽相同,数据交换困难重重;2、数据价值不断凸显,业务创新需要数据支撑,但大量数据没有纳入主数据管理系统,数据仓库与大数据平台又无法满足时效性要求;3、数据时效性要求越来越高,批量数据交换无法满足需求,但针对不同数据库的增量数据实时采集需要大量的技术储备与研发成本;4、增量识别字段等方式无法获取准确完整的增量数据,经常为实时数据应用造成障碍,也提升了实时数据的使用成本;5、不同数据库管理技术在实例、库、模式、表等数据对象上,字段类型、精度、标度等语义模式上都有区别;6、对上游的结构变化感知与应对都需要针对不同数据库技术区别对待;7、传输过程中的一致性、冲突、特定类型的数据处理也需要区别对待。第二,如何快速响应实时数据需求,把握机会快速建立竞争优势。业务需要更高的敏捷性来应对外部环境的变化,这需要整个数字化组织可以体系化的进行多速、敏捷的业务场景支撑,以及对突发业务活动有更多的可见性,以确保可以利用新出现的机会并快速建立竞争优势。1、端到端实时数据链路的构建,往往是以月为单位交付的,甚至更多;2、新的数据需求需要大量的代码开发,交付周期也是以周为单位计算的;3、数十种数据库技术,多家供应商,十几个支持电话,感觉自己也是是集成商;4、实时数据处理技术栈门槛较高,人员流失率较高,刚刚用顺手的供应商总是换人;5、数据组的要求无法通过DBA的审核,应用研发对系统运维要求怨声载道;6、资源使用与研发人员水平紧密相关,无法准确评估,遇到关键业务需求时捉襟见肘。第三,实时数据链路兼具业务运营与管理支撑要求,稳定性与容错性问题重重。从客户行为分析到非交易类的触客业务到事件营销再到风控评分,实时数据链路逐渐成为业务运营的重要支撑,但作为打通各业务系统数据通道的中间层,受到的上下游的各类制约,对稳定性的影响尤其严重。1、上下游节点的业务连续性和服务级别均高于实时数据链路,实时数据链路需要遵循上下游节点的认证、加密、权限、日志等管理机制;2、上游数据对象结构变化与数据对象的处理机制对实时数据链路影响巨大,例如结构变化采用rename方式;3、实时数据流量不仅仅需要参考业务交易量,与上游系统的数据处理方式有很大的关系,经常出现一个语句百万行增量的情况;4、随着企业多中心及多云战略的执行,部署在不同网域或云环境的系统配置,网络连通性乃至专线供应商与带宽都对稳定性有影响;5、对计划、非计划的网络不可用,上下游系统维护,物理删除等非规操作及偶发的错误数据及主键冲突数据没有相应的容错性策略配置;6、出现系统故障时,无法保证各个组件的高可用,系统恢复困难,特别是实时数据链路的数据完整性与数据一致性很难恢复。IT168:在过去一年中,DataPipeline在产品功能、技术研发,有哪些创新和突破?陈雷:在过去的一年里,我们针对产品进行了一次较为彻底的改造,主要体现在几个方面。第一,进一步加强了基于日志的增量数据获取技术(Log-based
2021年1月21日
其他

吉利集团数字化转型提速,DataPipeline助力集团化实时数据采集同步平台建设

9月20日,吉利集团和DataPipeline公司共同宣布,DataPipeline协助吉利集团搭建的集团化实时数据采集同步平台正式投入使用。该项目的实施对于推动吉利集团实现企业数字化转型、数据规范化和集约化管理、增强其持久核心竞争力具有重要意义。1986年诞生的吉利集团,经过34年的发展,确立了其中国品牌汽车领袖的市场地位,进入全球汽车行业第一阵营。2019年,吉利集团旗下各品牌在全球累计销售汽车超217.8万辆,市占率从6.2%提升至6.5%,全年营收974亿元,净利润82.6亿元。在全球汽车市场遇冷的情况下,吉利集团实现逆势增长,这与吉利集团由上至下地坚持数字化转型策略密不可分。图片来源:浙江吉利控股集团官网为能最大化挖掘数据价值,赋能业务发展,大数据已经成为吉利集团的关键生命线。而数据融合作为大数据的基石,更是至关重要。为了支持实时营销、智能驾驶、智能制造等实时数据应用场景,就要求实时数据融合平台能够支持企业内各类数据管理技术秒级延迟的实时数据获取。而要实现营销系统、ERP系统、分析系统等系统产生的数十亿条数据的整合,打通Oracle、SQL
2020年10月9日
其他

太平鸟电商×DataPipeline丨实时数据融合助力数据精细化运营

2020年快时尚服装市场遭到新冠肺炎疫情冲击的服装企业多不胜数,然而也有部分企业受疫情影响有限,在寒潮中实现逆势增长。其中太平鸟当属佼佼者,4月26日发布的2020年一季报显示一季度末公司存货净值较2019年一季度末微增3.44%。在行业总体低迷的情况下,电商的稳健增长很大程度上弥补了线下门店无法正常营业带来的经济损失。数字背后,是太平鸟电商践行“聚焦时尚、数据驱动、全网零售”战略的结果。为让消费者方便、快捷、足不出户就能享受到时尚、高品质的服饰,借助数字化提高运营效率,改善消费体验成为太平鸟电商升级变革的重点。图片来源:太平鸟官网目前随着企业数字化建设程度的不断加深,不仅积累了内部的会员、商品、交易等数据,也包括了外部的平台、市场等数据资源。数据的数量、维度和粒度在原有基础上实现了进一步地增加、扩展和细化。为能使数据最大化地赋能从生产到交易的各个环节,太平鸟电商开始从数字化建设转向更高维度的精细化运营。在此过程中,需要将数据从生产环境传输落地至数据仓库,在经过一系列处理计算后回馈到生产应用或支持决策。鉴于数据使用方对数据实时性要求日益增高,全方位的实时数据收集和分析成为企业关注的重点。相较于后者,实时数据融合作为精细化运营的基础,更是不容忽视的环节。于是,越来越多的企业开始在数据消费过程中引入各种数据集成的工具,来解决数据融合的问题,并用于前端数据消费:如分析报表、数据查询和数据挖掘等工作。为随时随地了解经营状况,太平鸟电商需要实时构建大量的BI报表,基于报表进行分析,快速做出决策。然而传统的数据集成从取数任务的开发到能够用上数据,整个周期耗时较长,跨多个部门,很难敏捷响应。且一旦出现问题,难以及时精准地定位排查。不仅影响业务发展,也增加了运维难度和成本。为进一步优化数据融合任务的日常管理、运行监控及资源分配,保障取数用数的实时性、易用性和稳定性,太平鸟电商选择通过DataPipeline批流一体数据融合平台统一管理数据融合任务。DataPipeline作为商业化数据融合平台,支持Oracle
2020年5月11日
其他

浙江大学医学院附属邵逸夫医院×DataPipeline丨实时数据共享,促进医疗信息互联互通

2018年4月,国务院办公厅发布《关于促进“互联网+医疗健康”发展的意见》,提出要协调推进统一权威、互联互通的全民健康信息平台建设,逐步实现与国家数据共享交换平台的对接联通,强化人口、公共卫生、医疗服务、医疗保障、药品供应、综合管理等数据采集,畅通部门、区域、行业之间的数据共享通道,促进全民健康信息共享应用。
2019年11月12日
其他

贝发集团×DataPipeline丨数据驱动传统企业数字化转型

2015年,李克强总理在出席瑞士达沃斯世界经济论坛期间发现,组织方提供的笔很好用。回国后总理向有关部门打听,能否造和外国一样好用的笔。“中国什么时候能造出和德国一样的好笔?”这句总理之问,在经过贝发集团五年的努力,上万次实验下得到了完美的答案。从第29届北京奥运会文具独家供应商到第十一届杭州G20峰会官方指定签字笔供应商,从“中国制造”到“中国智造”。背后是贝发集团不断探索、持续创新的结果。然而对贝发而言,从制造到文创供应链再到平台,这条战略发展之路可谓任重而道远。如何帮助生产部门高效地制造产品?如何保证畅销款不会缺货?如何最大化解决滞销款库存?考虑到企业的可持续发展,贝发已经着手全力推进公司平台化、全员创客化、价值共享化进程,这中间离不开数据的驱动和加持。贝发集团CIO曹广红表示,目前业务数据分别来自于线下门店、电商平台、社交电商、ERP、供应链、OA、生产制造等各专业业务子系统。为能最大化挖掘既有数据的价值,支持业务部门及时响应市场变化,传统的BI架构已经不能满足业务大规模并发数据的及时更新及报表的迭代。考虑到产品的易用性、稳定性、实时性以及投资的实效性,选择流行的数据中台架构自行建设需要投入太多资源。综合以上因素,决定选择通过DataPipeline批流一体的数据融合平台,打通内外部信息孤岛,秒级实时传输数据支持BI分析。进而在满足数据分析人员日常统计与分析需求的同时,为企业高管提供数字化的决策支持及风险监控。关于贝发集团贝发集团股份有限公司始创于1994年,是一家集研发、生产、销售以及国际商贸服务于一体的大型文具集团,是国内首家从事文具供应链运营服务的企业,产品涵盖办公文仪、办公耗材、办公日用、学生用品、包袋产品、环保产品、商务礼品、办公设备、办公家具等九大系列、上万个种类的产品。并形成了以“BEIFA”为主,“A
2019年10月31日
其他

阳光城×DataPipeline丨实时同步数据,共享数据光芒

由之前靠土地资源和资本资源驱动业绩,到关注品牌、质量和服务,中国的房地产企业已然进入了深耕式发展阶段。该阶段的显著特征是迫切需要创新性资源的驱动,数据资产随之成为了地产行业最关键的“重资产”。阳光城作为中国房地产开发企业的TOP15,面对竞争激烈且不确定的市场环境,在延伸探索新兴业务的同时,力图借助挖掘数据价值,加快实现转型升级。为此,随着业务部门对数据认识和需求的不断提升,信息部门希望用更加智能化、平台化、柔性化的方式赋能业务。但在此过程中,面对大大小小几十个系统,传统的T+1数据集成模式已经渐渐不能满足各种实时查询、实时计算的需求。图片来源:阳光城集团官网为保障业务部门能随时随地获取数据,阳光城信息部门携手DataPipeline,力图通过批流一体的数据融合平台,打造一条实时的数据供应链。具体情况如下:第一,打造实时同步的主数据系统通过DataPipeline监听主数据源头系统,数据发生变化时,DataPipeline实时采集异动数据,放入消息队列。主数据系统监听消息队列,对异动数据进行清洗、处理、存储。进而再通过DataPipeline实时分发至下游业务系统。例如,员工信息作为公司最重要的主数据,其源头系统为HR系统。通过引入DataPipeline搭建的新数据同步框架预计将在5-10s内,HR系统中的员工异动数据将分发至全部下游业务系统,较之原数据同步框架同步速度提高数十倍。第二,实时同步数据到数据湖,实施敏捷BI通过DataPipeline的配置简易,实时同步,支持多类型数据库、消息队列、API对接,快速将散落在各系统中的关键业务数据实时同步至阳光城集团数据湖,达到在数据层面上,集团各板块各系统数据完全流通。之后在数据湖上搭建阳光城数据模型,引用流计算,打造阳光城即时报表中心。摆脱过往传统BI数据交互不及时,T+1模式,打破技术限制,满足现业务部门对数据及时性越来越高的要求。第三,基于一个平台统一管理分散的数据同步引入DataPipeline之前,阳光城异构系统间的数据交互都是交由各业务系统自行负责建设,建设标准规范各不一致,无法形成统一的数据同步任务、性能、状态监控,加之因人员更换、系统持续更新等因素,管理工作和运维工作都较为困难。通过引入DataPipeline,阳光城集团将规划统一数据同步建设标准规范,将之前散落的数据同步任务进行统一管理,形成统一的数据同步管理监控平台,将极大降低建设成本和运维难度。例:阳光城集团最近两个业务系统因业务开展需进行数据交互,供应商数据同步报价3人天。按照新数据同步建设标准规范,使用DataPipeline进行数据同步,配置任务仅花3分钟左右即完成。在新的时期,企业的竞争一定是运营效率、管理能力等各方面综合实力的竞争,而这一切都离不开发挥数据的作用。数据不仅让我们洞见当下,更为我们开启了一扇洞悉未来的窗。新地产时代,是否能借助数据重塑商业管理模式对地产企业的信息技术人员提出了更高要求。DataPipeline作为一款新型的批流一体数据融合平台,将发挥实时性、稳定性的核心优势,助力阳光城在即将到来的行业新秩序中抢占先机!关于阳光城集团匠心筑梦,
其他

DataPipeline携手正保,共建智慧教育

2019年3月8日,对正保远程教育来说,是一个极其特殊的日子:既是“三八节”,也是公司成立十九周年纪念日!十九年,无论是对一个人还是对一家企业来说,都是具有里程碑意义的时间,它足以让一个人和一家企业从青葱走向成熟。十年树木,百年树人。正保在十九年间,始终扎根于教育,灵活调整、与时俱进,在聚焦内容和服务中坚守住了教育质量。随着“互联网+教育”时代的来临,教育已经打破了时间、地域的界限,借助科技,实现了线上线下相结合的服务模式,朝着更加公平的方向发展。不同于基础教育,正保所在的职业教育肩负着培养多样化人才、传承技术技能、促进就业创业的重要职责。作为一家远程教育机构,正保目前旗下拥有20个品牌网站,覆盖了会计、建设工程、医药卫生、法律、创业实训等13个不同行业。为了更好地赋能、服务学生,正保一直紧跟技术发展趋势。其中表现在:为能帮助业务部门基于数据分析优化决策、及时响应学生需求,正保技术团队需要打通各部门、各系统间的数据孤岛。当前,数据存在于多个系统中,如客服类、运营类、内容产出类等,数据源繁多且复杂。这就导致企业在打通异构数据源时,需要使用多套产品来解决异构数据源打通的问题。尽管业务部门(如市场部、客服部等)想基于实时数据进行分析决策,但数据传输速度难以满足其取数要求。除此之外,中间还涉及人力物力的投入成本。为能灵活满足业务部门的数据消费需求,及时响应学生反馈,正保远程教育将携手DataPipeline基于批流一体的数据融合服务展开合作,共同推进智慧教育的发展。关于正保远程教育正保远程教育(China
2019年7月18日
其他

快数据时代下,Moka携手DataPipeline提升招聘效能

随着业务的开展和渠道的多样化,业务和决策部门对于数据及时性的要求越来越高,这给数据部门带来了越来越多的压力。为此,技术部门希望用智能化、平台化、柔性化的方式更好地赋能业务,帮助HR实现数据驱动。
2019年5月27日
其他

智慧图携手DataPipeline,让实体商业更智慧

近日,国内领先的实体商业数字化运营服务商智慧图携手DataPipeline,基于专业的数据集成与应用基础展开了合作。未来DataPipeline将通过不断提升自身产品和服务实力,与智慧图一道致力于帮助实体商业实现场内场外、线上线下数字化营运的高效融合,加速实体商业快速完成数字化转型。当下,新的科技和应用正在重塑零售业,越来越多的企业认识到必须不断变化,才能取得未来的主动权。以商超零售行业为例,如何通过线上传播引导实现线下交易额持续增长,成为当前亟需解决的诉求。为此,作为智慧商业时代的推动者,智慧图借助物联网,人工智能,大数据技术,从数据资产、商业智能、流量共享等维度帮助实体商业打造了适合自身需求的数字化经营平台。其中,为更好地发挥数据资产的价值,需要打通企业内外部的数据壁垒,运营管理数据。未来智慧图将与DataPipeline一起,致力于帮助实体商业客户更敏捷、高效地实现商业数据的融合与贯通,满足客户灵活的数据消费需求。关于智慧图北京智慧图科技有限责任公司,成立于2011年,技术和研发实力雄厚。是国家科技部“羲和计划”成员单位,拥有自主知识产权的全球领先的室内引擎,各类发明专利49项。创立至今始终坚持以“让实体商业更智慧、让消费体验更美好’为使命,为全国的购物中心、百货、机场、医疗系统等大型实体商业,提供完整的智慧商业解决方案,助力其快速实现数字化转型。目前,智慧图已服务数千家购物中心、百货商超、机场等商业综合体,并成功助力西单大悦城、王府中環、爱融荟城等知名购物中心实现数字化转型和业绩增长。
2019年4月30日
其他

融资6亿的叮当快药携手DataPipeline,打通医药零售供应链

近日,医药新零售企业叮当快药携手DataPipeline,基于专业的数据集成与应用基础展开了合作。未来DataPipeline将通过不断优化自身产品和服务,切实保障用户在业务上实现健康高速发展。对零售企业而言,重要的是专注于增强顾客体验以及端到端的顾客旅程。而消费者在就医用药中存在五大痛点:“急”、“懒”、“夜”、“专”、“私”。在如今唯快不破的时代,精准快速地满足顾客需求,是企业占据竞争制高点的关键所在。为此,叮当快药通过自营药房(已实现北京、上海、广州、深圳、成都、郑州、杭州等城市的全城覆盖)、自建配送团队,实现了“网订店送,网订店取”,为消费者提供7*24小时,28分钟到家的专业服务。客户体验并非仅仅是直接的顾客体验,在消费过程中所有可能与消费者接触的点都属于该范畴,这其中包括了时间、产品质量、顾客互动服务等。叮当快药非常重视这些隐藏的商业流程,通过借助DataPipeline实现了无缝实时整合客户、
2019年3月28日
其他

在人工智能时代下,如何让券商的数据做到“快准稳”

Meetup,我们在上海等你~点击“阅读原文”,申请DataPipeline
2018年10月18日
其他

邀请函 | DataPipeline & Confluent Kafka Meetup,我们在上海等你~

一、活动介绍Confluent作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据。DataPipeline作为国内首家原生支持Kafka解决方案的“iPaaS+AI”一站式大数据融合服务提供商,在零售、金融、互联网和制造等行业拥有着丰富实践经验和解决方案能力。10月21日,DataPipeline联合Confluent在上海举办Kafka
2018年9月26日
其他

打造实时数据集成平台——DataPipeline基于Kafka Connect的应用实践

Server、MySQL等。根据业务的需要和现有的基础设施情况,这些数据源分别需要同步到不同的目的端,类型主要包括MySQL、HDFS、Kafka等。基于以上背景,G公司的具体要求如下:1.
2018年4月26日