安第斯智能云

其他

Glacier:OPPO智能湖仓服务底座

Version,我们的智能湖仓数据版本管控技术。提到版本管理技术,不得不提代码管理工具git,但是在大数据场景下,git在技术设计本身存在天然的缺陷,下面通过表4介绍对比一下Git和Glacier
2022年12月15日
其他

InnerEye低代码大屏——低代码思源与实践

低代码思想的一般指导过程当前低代码的实践场景十分丰富,技术的实现跨度也很大,难有一招鲜吃遍天的技术银弹。但是在方法论层面,我们确实可以抽象出具有指导意义的一般过程,以下是个人的浅薄总结。4.1
2022年11月18日
其他

OPPO小布助手主导的首个数字人ITU-T国际标准成功立项

元宇宙概念的刺激下,智能助手、电商虚拟主播、智能客服、数字员工等数字人纷纷走进大众的视线,并逐渐在智能移动终端设备上落地应用。“栩栩如生”的3D数字人凭借语音、表情、手势、动作等多模态交互,给用户带来了全新感官体验。然而,当前国内外智能移动终端的3D数字人标准尚处空白,出现技术要求和评估方法不明确,服务能力和产品质量良莠不齐的状况。基于此,OPPO研究院标准研究部联合小布助手技术团队,基于数字人产品及业务布局,在充分调研国内外数字人技术的基础上,提出智能移动终端3D数字人标准的立项需求。牵头ITU-T国际标准立项促进国内智能移动终端数字人标准化在日前的国际电信联盟第十六研究组(简称ITU-T
2022年11月17日
其他

本周五 | OPPO 将带来两场重磅技术分享,火热报名中!

机器学习平台的技术实践》分享,感兴趣的开发者们记得Mark一下~注意事项因响应国家防疫号召,故参会人员需注意以下相关事项:1.参会人员请提前在四川天府健康通小程序内登记信息,持
2022年11月14日
其他

福利丨小布送你CCF学科前沿讲习班3600元门票

本期ADL讲习班邀请到了本领域9位来自于著名高校与企业科研机构的重量级专家学者做主题报告。他们将对智能语音交互方面的最新进展进行深入浅出的讲解,为听众展示在语音领域的实践案例,
2022年11月4日
其他

OPPO VPC 实践探索

VPC系统组件图Cloud控制台提供统一业务入口和便捷的界面操作,业务操作可视化,关键数据存于数据库中,便于维护和使用。vnCenter用于给控制器VPC
2022年11月1日
其他

InnerEye低代码大屏——响应式布局实现

前言在大数据时代,企业信息化得到井喷式发展。作为数据链条的终端环节,数据的可视化呈现和分析,也越来越得到业务分析师和企业决策者的认可、重视。数据可视化辅助决策02
2022年10月27日
其他

OPPO实时计算平台基于云原生的作业弹性伸缩设计与实践

jobgraph,不满足会一直等待。快速失败。当有外部资源减少的时候,依赖于Kubernetes的watch机制可以快速感知资源的变化,无需等待资源超时。此处我们以pod名字作为Resource
2022年9月16日
其他

基于ark框架实现推荐策略jar包热更新

OPPO高级后端工程师主要负责OPPO推荐系统在线推荐引擎架构的开发和迭代,也同时负责OPPO包括游戏中心、主题商店、锁屏等多业务的推荐服务。对java相关技术和推荐业务有5年以上经验推荐阅读|
2022年8月29日
其他

小布助手入选信通院首批大模型优秀应用案例

近日,由中国信息通信研究院、深度学习技术及应用国家工程研究中心、人工智能关键技术和应用评测工信部重点实验室共同发起的2022可信AI峰会圆满落下帷幕,峰会发布了大规模预训练模型技术与应用评测标准体系,并公布了2022大模型优秀应用案例名单。作为OPPO
2022年8月29日
其他

图数据库平台建设及业务落地

除了事实性问答,小布助手还可以利用图谱的推理能力实现一些复杂问答:例如:xxx和xxx是什么关系?OPPO发布的第一款手机是什么?xxx和xxx共同参演的电影有哪些?出生在xx的双子座明星有哪些?
2021年10月4日
其他

OPPO数据湖统一存储技术实践

简称EC),简单介绍一下纠删码原理:将k份原始数据,通过编码计算得到新的m份数据,当k+m份数据丢失任意的不多于m份时,通过解码可还原出原始数据(原理有点像磁盘raid);相比传统的多副本存储,
2021年8月16日
其他

中间件运维之故障自愈

目前在OPPO负责中间件自动化运维的研发,关注分布式调度、消息队列、Redis等中间件技术。
2021年8月9日
其他

一例智能网卡(mellanox)的网卡故障分析

"mlx5_cmd\000\217\364{\236\217\377\377\300\217\364{\236\217\377\377\200\234>\250\217\217\377\377",
2021年7月26日
其他

Realtime DB技术详解

缓存的数据库中间件,远程修改Serverless数据库,实现脱离服务端接口的目的。为满足以上需求,而设计实现了Realtime
2021年7月19日
其他

如何识别并解决复杂的dcache问题

目前在oppo混合云负责linux内核及容器,虚拟机等虚拟化方面的工作。
2021年6月28日
其他

10分钟掌握Java性能分析诀窍

主要负责Java性能平台和JDK支持,对缺陷检查和编译器也有深入研究。
2021年6月21日
其他

统一预估引擎的设计与实现

10+年的广告系统工程落地经验,在oppo主要负责模型的特征提取、推理的工程落地工作。
2021年6月14日
其他

oCPX简介——广告界的“无人驾驶”技术

8年互联网算法工作经历,2016年加入OPPO负责信息流广告算法,2020年负责推荐/广告机器学习基础设施建设工作。
2021年6月7日
其他

jbd2的一种死锁分析

-12/usr/src/debug/kernel-3.10.0-957.27.2.el7/linux-3.10.0-957.27.2.el7.x86_64/kernel/mutex.c:
2021年5月14日
其他

关于java单线程经常占用cpu 100%的分析

/rootfs/proc/stat/proc/stat------------这个挂载点,由于fd未关闭,所以卸载肯定失败,可以看到super_block是重启前的ffff887795a8f600
2021年5月8日
其他

一例ubuntu 16内核crash分析:radix tree相关(下)

NULL做防护,导致了后续执行clear_shadow_entry()->__radix_tree_replace()->delete_sibling_entries()函数时,发生内核crash。
2021年4月23日
其他

一例ubuntu 16内核crash分析:radix tree相关(上)

tree的保存位置。如图所以,page0指针的page->index是0,故page0保存在slots[0],page63的page->index是63,故page63指针保存在slot[63]。
2021年4月15日
其他

约定式路由的菜单数据生成方案

约定式路由,也叫文件路由,就是不需要手写配置,文件系统即路由,通过目录和文件及其命名分析出路由配置。目前许多开源框架都支持,比如:UmiJS、Nuxt.js、vue-auto-routing等等。
2021年3月31日
其他

对话交互:封闭域任务型与开放域闲聊算法技术

开放域对话技术方面,检索式聊天技术能解决高频头部query问题,但解决不了长尾问题以及开放域多轮对话问题。融合知识问答、闲聊、对话推荐为一体的端到端多轮生成式,是未来ChatBot的关键技术方向。
2021年3月18日
其他

小布助手算法系统的探索、实践与思考

对话交互是继传统PC、PC互联网及移动互联网之后,下一个时代非常有想象力的关键技术方向,无论是学术界还是工业界都有极高的关注度,同时作为OPPO万物互融战略的关键节点之一,承载着伟大而艰巨的使命。
2021年3月10日
其他

对话系统简介与小布助手的工程实践

由对话管理器、移情计算模块、核心聊天和对话技能组成。对话管理器由DST和DP组成。移情计算通过用户数据、小冰人设等数据输入,计算特征作为DM和技能的输入。闲聊和技能融合生成式和检索式两种不同方案
2021年3月5日
其他

OPPO在A/B实验分析平台的建设与实践

A/B实验是很多公司的标配,在OPPO也不例。它是提供科学的数据决策的方式,帮助深入分析用户行为,支持个性化策略,同时降低产品迭代风险,达到业务快速验证、快速迭代的效果。但在Galileo实验分析平台建设完成前,公司A/B实验的平台能力处在发展初期,功能不完善,制约业务发展,主要存在以下问题:不支持分层实验,目前仅支持单层分桶不支持全流程实验,多数仅支持服务端没有统一的实验平台,流量不统一,人力浪费缺乏灵活性,操作不方便,没有专门的分析平台,需要通过人力做各种实验指标的报表开发结果置信度低、周期长基于此,OPPO拉通各业务关于A/B实验方面的需求,进行抽象化和通用化,构建出了内部的Galileo
2021年2月25日
其他

基于深度学习的短文本相似度学习与行业测评

最简单有效的无监督学习方案就是预训练的方式,使用word2vec或者bert等预训练模型,对任务领域内的无标签数据进行预训练。使用得到的预训练模型,获取每个词以及句子的语义表示,用于相似度的计算。
2021年2月5日
其他

数据库查询性能优化指南

软件环境虽然不像硬件一样,各种参数看的见摸得着,但仍然影响着我们的查询性能。没一套系统实际上都在特定的场景有着各自的优势。我们的查询系统是什么样的架构,适合什么样的query,在线还是离线,
2021年1月28日
其他

Osql:一个大统一的SQL查询引擎

小O是新来OPPO不久的分析师同学,在公司遇到了许多志趣相投的同事,这让他很开心。可是最近有一件事让他很烦恼,因为查数据的时候,他一般使用Hive查询,但很多时候他的查询都运行的很慢,甚至查不出来。导师听说后告诉他,Hive运行有问题可以用Spark试试,Spark如果运行也慢,在交互式查询时还可以用Presto。因此,小O又掌握了两个新的查询引擎神器。可是用了一段时间,他又发愁了,因为某些查询中,Spark运行的还没Hive查询时快,那到底应该选择用哪个引擎呢?而且不同引擎的语法往往还不一样,让他头大。一天下班后,小O遇到了同事小Q,小Q知道小O的烦恼后说:“这个好解决,你可以用用公司开发的南天门交互式查询和自助取数,我用了大半年,查询数据这方面省了不少麻烦。”小Q详细解说道:“南天门的底层的引擎Osql,会自动帮我们选择合适的查询引擎,我们把SQL写好,就能得到查询结果数据,不用再管不同引擎之间的区别,无论是用ANSI
2021年1月8日
其他

观察 | 漫话docker的衰落与kubernetes的兴起

本文来自OPPO云平台团队高级工程师徐工,他自2014年开始从事容器化相关工作,目前负责OPPO云平台的编排与调度方向的工作,主要关注技术领域为超大规模的集群管理与调度,混合云平台建设与融合计算。伴随着kubernetes
2020年12月8日
其他

如何用 CI (持续集成) 保证研发质量

Plugin覆盖率展示的一个插件。单测跑完,需要有手段知道覆盖率的情况,并且需要能方便的闭环处理。显示覆盖率的情况;代码的覆盖详情,方便开发人员闭环处理(细化到每一行代码);GitLab我们的演示以
2020年11月12日
其他

如何设计并实现存储QoS?

“车道”,比如业务流量的车道我们划分宽一些,而内部压缩流量的车道相对来说可以窄一些,由此引入了QoS中一个比较重要的概览就是流量分类,根据分类结果可以进行更加精准个性化的限流控制。2.2
2020年11月5日
其他

Docker hung住问题解析系列(一):pipe容量不够

pwd/sys/fs/cgroup/pids/docker/8bebfd8a7b59748da6bcb154ec2ce428d1f21376b16c3915d962ec4149484e5c3、
2020年11月3日
其他

云原生Service Mesh探索与实践

但是早年间这层网络细节仍然是需要人们人为的去管理网络连接等细节,直到计算机开始变得不是那么的昂贵,开始逐渐普及,计算机与计算机之间的连接需求开始了爆发式的增长,如何让计算机能发现其他的计算机,
2020年9月3日
其他

数据同步一致性保障:OPPO自研JinS数据同步框架实践

在store中实现relay的机制,同时在上层读取时,用ringbuffer来做读取的缓存,提高读取效率。因为ABQ性能虽然高,但是ABQ在读写时,会有锁的竞争,因此两者性能差异较大,性能对比如下:
2020年8月21日
其他

微服务全链路异步化实践

同步和异步关注的是消息通信机制;同步就是在发起调用后就得到返回结果(未必是完整结果),也就是由调用者主动等待结果;异步则是调用在发出之后直接返回,通过信号通知、回调函数处理来通知结果。
2020年8月14日
其他

Dubbo协议解析与ESA RPC实践

RPC对于gRPC协议的支持具有天然的优势,即服务的提供者可以不接入任何sdk,甚至可以是其他非java语言,只需要通过公司发布平台发布应用后,就可以注册至注册中心,消费者也就可以进行订阅消费。
2020年8月7日
其他

OPPO内核性能追踪平台技术实践——记一次奇怪的IO 100%忙问题定位过程

RAID卡,大体工作原理是,业务程序把文件写入磁盘,是把文件数据写入RAID卡缓存,就认为文件数据写入磁盘了,然后RAID卡控制器在适当时机再把缓存中的文件数据真正写入磁盘,这样可以提高效率。
2020年6月5日
其他

推荐系统中不得不说的DSSM双塔模型

点击关注“OPPO互联网技术”,阅读更多技术干货本文主要介绍项目中用于商业兴趣建模的DSSM双塔模型。作为推荐领域中大火的双塔模型,因为效果不错并且对工业界十分友好,所以被各大厂广泛应用于推荐系统中。通过构建user和item两个独立的子网络,将训练好的两个“塔”中的user
2020年5月14日
其他

详解BERT模型中分类器源码

点击关注“OPPO互联网技术”,阅读更多技术干货BERT是近几年NLP领域中具有里程碑意义的存在,因为效果好和应用范围广所以被广泛应用于科学研究和工程项目中。本篇文章从源码的角度,从整体到局部分析BERT模型中分类器部分的源码。1.
2020年4月10日
其他

如何进行 kubernetes 问题的排障

stack.txt因为卡住了,所以有非常多的goroutine信息。堆栈信息太长,这里就不全部拉取了,这里只截取我们关心的,就是relist卡在了哪里。我们搜索relist,可以看到这样的信息。
2020年3月19日
其他

一例 centos7.6 内核 hardlock 的解析

cfs_b->runtime);//防止变成负数}}因为第二个循环受限于一种条件,也就是当前被限流的task_group不为空,同时还有时间没有分发完毕,同时没有在并发分发,否则则会break。
2020年3月13日
其他

OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移

OPPO互联网基础技术团队招聘一大波岗位,涵盖C++、Go、OpenJDK、Java、DevOps、Android、ElasticSearch等多个方向,请点击这里查看详细信息及JD。
2020年3月9日
其他

OPPO自研代码审查系统火眼Code Review实践

Review能解决业务人工评审问题,但部分代码bug或smell(代码臭味)可以通过代码扫描工具提前发现,因此后续我们将引入自研的自动化扫描工具,并在评审流程中嵌入此过程,以辅助评审。
2020年3月3日
其他

客户端IPV6迁移适配——连接竞速算法Happy Eyeballs探索实践(一)

connect方法就给我们的IP协议栈确认提供了可能。因为在UDP发生真实网络数据请求和数据响应之前,他的connect方法本身只是用于检测端口是否可用,地址是否准确,并记录这些信息,返回给调用者。
2020年2月26日
其他

互联网广告拍卖的数学描述及最优拍卖机制设计

点击关注“OPPO互联网技术”,阅读更多技术干货拍卖对大多数人来说并不陌生,且形式简单。拍卖活动产生于古代奴隶社会,最早可追溯至公元前500年古希腊的新娘拍卖。然而拍卖又是一个较为复杂的问题,主要体现在对拍卖本质的认识与研究上,对拍卖理论的研究有利于拍卖机制的有效设计,进而促进资源的合理有效配置。就互联网广告来说,从本质上讲也是一种特殊资源(流量)的拍卖形式,对拍卖理论的理解将有助于设计和修正实践中的广告竞价机制,获得更为长远的收益。本文将从单物品拍卖视角,从数学角度对拍卖理论进行相关介绍,并给出最优拍卖机制的设计。1.
2020年2月21日
其他

【招聘】OPPO互联网基础技术团队招聘啦!

基础技术团队涵盖了基础框架、中间件、研发协作平台、客户端等多个方向,覆盖多个服务端、客户端领域的公共技术产品,形成了完善的基础技术产品体系,未来将持续为业务团队提供更加优质的产品和服务。
2020年2月17日