京东科技技术说

其他

京东科技隐私合规检测系统设计最佳实战

信息安全作者:熊俊漉京东科技移动平台团队原创,转载请获得授权一、隐私合规检测系统的产生背景随着科技互联网与社会各领域的深度融合,移动互联网产业正呈现垂直化、专业化和平台化趋势,对社会经济发展的基础性作用日益突显。移动应用(APP)的种类和数量也呈现爆发式增长,并且越来越多地渗透到人们生活、工作的各个方面,正逐渐成为用户个人信息数据的主要入口和核心载体。近年来,由于侵害用户权益的事件层出不穷,个人信息安全和用户权益保护态势愈加严峻,受到国家和社会公众的高度关注。各大互联网企业在面临国家监管和社会监督的双重压力下,需要进一步推进和完善自身移动应用在个人信息保护方面的工作,但在缺乏有效手段和工具的情况下无法具体开展。二、行业隐私合规检测常见问题在上述背景下,针对移动应用APP隐私合规检测问题,企业和个人主要面临以下痛点:第一,移动应用APP在发布前的产研阶段,由于不了解相关隐私合规的风险点,非常容易在无意识无感知的情况下,设计开发存在隐私合规问题的功能或流程。在应用发布前无法通过有效方式和机制对相关问题进行检测排查;对某些特定场景的隐私侵权行为,也无手段进行有效甄别和准确判断,促使APP应用埋下隐私合规隐患。第二,目前行业内企业检测APP的主要措施是通过阅读源码的方式将有关API标记为敏感,虽然这种方式能够起到一定作用,但由于大多依赖于人工、研发人员或分析师手动对敏感内容进行标记,这就需要大量的人工干预,并且可能存在无法全面覆盖的情况。因此这种方式从效率,成本,风险性考虑显然是不合理的。第三,在排查过程中,潜在的风险不仅仅存在于研发人员编写的APP程序代码中,也可能来自于多个方面。例如:除源程序之外的第三方SDK引用,多方协同开发的业务应用,基于开源的第三方程序等等。这些外部程序均有可能存在对个人信息过度获取、泄露、滥用等安全问题。另外,由于引用第三方SDK、外部程序的安全审查过程缺乏,安全意识薄弱,这就容易导致最终的APP应用存在未知的风险漏洞。第四,大部分APP在手机上对于用户隐私的定义主要集中在操作系统预定义的敏感API上,比如设备标识符、电话号码、IMEI、MAC、GPS位置信息、通讯录、短信、浏览器信息等,这些操作系统敏感API主要采取了权限控制的手段进行保护,除此之外依然存在用户隐私和敏感数据被侵犯的场景没有被覆盖。例如,当用户在使用APP期间,部分界面会要求用户输入个人信息,这些信息包括登录凭证、财务信息、医疗信息、行程信息等敏感数据。因此这些在APP使用期间需要用户动态操作并输入的隐私数据也应该采取有效措施进行保护,但是对于这种情况行业内也没有完善的机制进行检测。三、隐私合规检测系统的设计思路为解决上述痛点,本文提出并设计了一种APP隐私合规风险检测系统,能够将移动应用个人信息安全问题进行多方位的全面检测,对应用APP中收集个人信息行为是否违法违规进行认定,并形成专业且易理解的检测报告,为移动应用运营者提供专业的合规、安全整改依据。主要构建思路分为以下四部分:1、扫描引擎能力建设京东科技隐私合规检测系统的引擎能力需要同时支持静态扫描和动态扫描两种检测方式,其中静态扫描通过解压和反编译工具获取Android应用程序包中的相关文件内容,从而进一步与隐私合规知识库进行规则匹配,得出静态分析结果。2、客户端动态劫持程序动态扫描则是通过在定制的客户端程序下运行应用APP,并对运行过程中的APP状态进行数据采集和扫描分析,挖掘可能存在的漏洞隐患,同时借助云端控制技术实现相关操作功能。3、操作平台架构搭建操作平台需要向用户提供待检测应用的上传及扫描入口,对扫描引擎输出的检测结果进行多维度多类别统计分析及管理,并形成专业性的检测报告,为APP运营团队自查自纠提供指引。4、多应用多团队协同管理机制为支持企业内部各团队及成员以不同角色在不同场景下协同使用,需要建设团队及应用的协同管理机制,不仅利于各团队内部对自身app产品的历史检测情况进行统计分析,也便于信息安全和法律合规部门快速了解各APP应用的风险等级,降低监管难度,为推动隐私整改工作提供有效手段。四、隐私合规检测系统的架构设计与核心能力1、系统能力图谱京东科技隐私合规检测系统的能力图谱如下所示,主要包括:APK/SDK静态扫描,APK动态扫描,隐私政策检测,自查合规评估,检测报告,应用协同,系统功能,外部系统服务等。(1)APK/SDK静态扫描:静态扫描对Android应用程序APK包文件进行解压和反编译,获取APP基础信息、权限调用及源码程序等重要数据。基于隐私合规信息库进行规则匹配,分析是否存在隐私合规风险点,主要功能包括:分析APK基础信息,签名及加密数据解析,权限调用信息统计,权限申请及使用分析,权限调用源码定位,SDK使用统计,权限敏感调用匹配,before模式检测,自启动模式检测,静态检测结果对比等。(2)APK动态扫描:动态扫描主要用于对应用程序在运行时状态下的行为进行实时监控及动态检测,分为流量检测和场景检测两个部分。其中APP流量检测是针对APP在运行期间的网络流量内容进行捕获拦截,分析风险点及敏感词,功能包括:网络流量包过滤分析、系统/人工风险项定位标注、消息体数据敏感词定位、境外IP传输检测等。场景检测是针对特定流量及场景进行截图,并对特定权限函数调用栈链路进行捕获分析。(3)隐私政策检测:对APP内的隐私政策文件进行内容扫描,检测是否存在符合监管标准的相关声明信息,主要包括:系统权限使用声明、三方SDK集成声明、个人信息使用声明等。(4)自查合规:在对应用APP检测前,隐私合规检测系统也向APP管理团队提供了自查预检入口,收集整理重点排查的检测项与检测点,方便团队提前发现风险点,先行修改,一方面提升检测排查过程中的整改效率,另一方面也能提高产研侧在隐私合规及信息安全方面的设计与研发意识。主要包括:隐私合规检测项知识库、检测项及检测点管理发布平台、自查任务监察子系统等。(5)检测报告:静态扫描、动态扫描、隐私政策检测结束后,需要将分析数据进行统计归类,标注出调用权限风险等级与具体风险点,并形成直观量化的报表以供APP运营团队自查整改,同时根据检测结果给出专业性整改意见。对于单个APP的多次检测结果也会进行统一管理,形成历史检测记录,针对屡次出现风险标注的功能或模块,进行重点排查,提升整改效率。(6)应用协同:由于企业内部存在多个移动应用产品,每个产品都拥有自己的产研团队,在检测期间往往需要团队内部多人协同参与整改,这就需要建立完善的协同管理机制,以支持不同团队在系统内部对不同APP的检测需求。隐私合规检测系统为每一类APP产品建立独立的检测空间,空间内部设立管理员与成员角色,并赋予各自权限。(7)系统功能:系统基础功能模块,提供基础服务能力,主要包括邮件服务、定时任务、UAS权限系统、bPaaS鉴权服务等。(8)外部系统服务:主要向外部应用构建平台输出应用检测能力,完善构建流程。2、系统架构设计(1)Web
2021年12月31日
其他

防止源视频被盗用?这样改进HLS帮你搞定

HLS设计人:杨健京东科技移动平台团队原创,转载请获得授权一、背景公司以提升潜在用户规模、提升用户价值、提升收入规模、契合企业战略定位为目标,通过视频课程(财商课)的形式帮助用户建立理财意识和用户对平台的基础信任感,在通过实践课中技术型指导内容解决用户不知道如何实操投资的情况,建立用户的交易信任、提升用户对平台专业度的认可,同时社群全链路植入交易转化手段,带动用户金融交易转化,在链路中视频课程是个重要的节点,那么对视频的保护就尤为重要。二、前言目前网络上最常见的视频加密应用,可能就是教育培训机构的视频文件加密了,因为这样的机构如果不做加密不做版权方面的保护,最容易被人盗用,这就是为什么有些机构的视频,在某某平台可以花几块钱买到,因此,市面上出现了很多种视屏加密的方案。
2021年11月3日
其他

将AI算法模型作为资产交易!京东科技是如何做的?(上篇)

作者:黄绿君京东科技视觉算法团队原创,转载请获得授权一、AI算法模型交易平台的提出背景随着社会发展进入数字经济与实体经济融合发展的关键时期,人工智能正日益成为驱动产业转型发展的核心引擎。近年来,在人工智能相关政策和先进技术的双重推动下,各大企业及资本纷纷加大布局人工智能产业的力度,使得AI领域的人才需求井喷,而AI人才的培育相对滞后。企业、个人面临以下痛点:1、企业需快速构建多场景AI模型以满足业务发展,需大量具备AI专业知识的人才,而大量雇佣合适AI人才困难、成本高昂,且不一定是能够很好解决特定问题的专家,导致AI产品落地慢,难以满足敏捷化业务需求。2、当前企业“一对一”雇佣模式,即专业人才受雇于某个公司并全职投入,阻碍了在特定方向有技术专长和丰富经验的人才充分复用其专业技能和经验为多个公司解决类似问题,使得AI专业人才投入较多时间产出的AI算法模型仅为解决单个业务具体问题,复用范围和次数受限。二、当前AI算法模型共享遇到的问题为解决上述痛点问题,业界探索和尝试了以下技术方法,但仍存在一些问题:1、将AI算法模型开发过程中的常用基础技术、方法抽象化和组件化,封装成公共的工具包,主要局限在企业内部较小规模团队和部门内部使用。首先,抽象化和组件化AI算法模型开发过程中的常用基础技术、方法需要对大范围内的常用基础技术有充分的了解,如果缺乏规范的统一管理、协作和反馈机制,在较大范围难以推广实施,复用的范围和次数有限。其次,AI算法模型公共的工具包无偿在企业内部使用,开发团队缺乏驱动力和反馈,难以闭环迭代升级,而公开到Github上,又会涉及知识产权保护问题。2、将开发好的AI算法模型封装、部署为在线服务API接口或小程序,按调用次数或使用时长等计费方式提供服务。(1)这只是AI算法模型复用的一种形式,需求方可能存在将AI算法模型私有化部署、结合自己的数据继续训练更新模型、批量离线部署等多种形式。(2)这往往是一种单向服务,即只是AI算法模型团队主动的将自己的算法模型服务展示出去,功能单一,难以收集市场真实需求,不能充分满足市场需求,也不方便需求方找到适合自己的AI算法模型或服务。(3)目前一般仅限于单个企业将自己的AI算法模型通过在线服务API接口或小程序的形式在企业网站上或公有云上展示,未能有效管理单个企业范围之外的需求的提出、难以产生规模效应,连接需求方和供给方的能力较弱,推广的范围和复用的次数受限,而且大部分沟通、交易环节需转移至线下人工处理,效率低、运营成本高。3、基于某个场景中AI算法模型和相关的数据基础,计算出结果,将结果用于可能的多个下游任务的方式一般只适用于企业内部,因为对外提供数据涉及数据安全问题,使用范围严重受限。三、AI算法模型交易平台的构建思路本文提出一种有效连接AI算法模型供给方和需求方的AI算法模型交易平台,将AI算法模型作为一种资产进行交易。1、通过AI算法模型交易市场与一站式AI服务平台结合的方式,为算法模型的开发、训练、部署提供基础环境,同时需求方在购买算法模型商品之前也可基于AI服务平台进行算法模型推理效果和运行性能的测试、验证。2、通过将AI服务商或个人将AI算法模型SDK、AI算法模型API、AI解决方案发布至AI交易市场、进行展示/推荐,撮合与需求方的连接、交易,使AI算法模型最大限度复用;3、通过将对AI算法模型SDK、AI算法模型API、AI解决方案的多维度分类和管理查询或需求发布和模型推荐的方式,使需求方更便捷的找到适合自己的AI算法模型。4、通过对需求广场上发布的AI算法模型需求和交易市场上的历史成交情况,分析AI算法模型的需求热点趋势、算法模型的效果性能及算法模型商品的定价情况,为AI模型服务商和个人提供方向指导。四、AI算法模型交易平台的架构设计本文提出了一种有效连接AI算法模型供给方和需求方的AI模型交易平台的完整技术方案。一方面,便于更多的AI模型服务商或个人开发者将AI算法模型售卖给更多用户;另一方面,便于更多有业务需求的客户,在市场中找到解决自己业务问题的AI算法模型或解决方案。AI模型交易平台架构设计图如下所示:图1
2021年8月3日
其他

京东金融App崩溃治理实践

作者:吴欣宇京东科技业务中台-移动研发团队原创一、前言在2020年初,京东金融App的用户规模已远超几年前,日活也是成倍的增长,同时我们也注意到App崩溃率随着版本迭代一直在小幅度升高。当我们意识到App的崩溃已经伤害到用户日常的使用体验时,崩溃率已达到千分之几。崩溃率是衡量App质量的重要指标,不仅影响App的稳定性,还会直接影响用户体验和业务增长。如果启动时发生崩溃可能导致App直接被卸载,进一步造成口碑变差、品牌价值下降等影响。所以金融App在业务高速发展的同时也更加的注重质量建设。京东金融App的崩溃率上升与App业务的高速发展是分不开的。越来越复杂的业务场景、多个业务之间的逻辑耦合以及App功能的扩展都使程序更容易出现错误。一些古董代码在多次业务迭代之后慢慢受到了影响,在某些特殊场景下出现的错误需要很长时间并且是大量的用户使用时才会出现,这些都使得错误的修复变得不那么及时。灰度中出现的崩溃问题在查找无果后就变成了待观察状态,在上线后用户量大增的情况下就凸显出来。崩溃的慢慢累积,使得崩溃率在某个版本变成了很刺眼的数字。基于此情况,团队内部决定对当时的情况做彻底的治理、找到维护的方式方法。京东金融App的崩溃治理持续了几个版本,崩溃数量前二十的问题基本修复完成。然而崩溃的修复并非是一帆风顺的,一些难以复现的问题经过修复观察再修复最终将问题解决。在修复原有问题期间App业务也在持续更新并带来了一些新的问题,对于新出现的问题研发团队格外关注,利用灰度发布阶段将问题消灭在萌芽之中。最终金融App将崩溃率稳定在万分之一以下。根据2020年度移动行业性能体验报告,App行业平均崩溃在0.29%,Android端行业平均崩溃率在0.32%,而iOS端应用行业平均崩溃率在0.10%。京东金融App经过高质量的持续修复,崩溃率远低于行业平均水平两个数量级,长期稳定在0.007%水平。用户崩溃率数据来源于APM性能监控系统。京东金融App的崩溃率远优于行业水平与研发团队的深入技术探索是分不开的,崩溃基础知识是技术探索的前提条件。本篇文章将由浅入深的讲解崩溃基本知识并分享典型崩溃案例的解决过程。一、崩溃的定义1、崩溃发生的原因崩溃是CPU对发生异常的一种显式反应,CPU的异常处理是基于中断来完成的。中断是CPU暂停正在执行的程序,保留现场后转去执行相应的处理程序,处理完该事件后再返回断点继续执行被“打断”的程序。在操作系统相关资料中介绍:中断(interrupt)和异常(exception)在不同的CPU架构里有不同的含义。比如在Intel架构中,中断处理的入口由操作系统内核中的中断分配表定义(interrupt
2021年7月29日
其他

活动可视化怎么做?看京东乐高架构设计

)2、乐高楼层模板开发debugdebug工具可以建立可视化画布和模板开发server之间的链接,使模板开发效果在可视化画布中实时预览,极大的提升了模板开发体验和开发效率。启动命令$
2021年7月7日
其他

京东科技Redis跨数据中心双向同步优化实践

Redis作者:罗明京东科技云产研团队原创,转载请获得授权一、背景公司基于业务发展以及战略部署,需要实现在多个数据中心单元化部署,一方面可以实现多数据中心容灾,另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话,需要各个数据中心拥有一致的全量数据,如果真正实现用户就近读写,也就是实现真正的业务异地多活,数据同步是异地多活的基础,这就需要多数据中心间数据能够双向同步。二、原生redis遇到的问题1、不支持双主同步原生redis并没有提供跨机房的主主同步机制,仅支持主从同步;如果仅利用redis的主从数据同步机制,只能将主节点与从节点部署在不同的机房。当主节点所在机房出现故障时,从节点可以升级为主节点,应用可以持续对外提供服务。但这种模式下,若要写数据,则只能通过主节点写,异地机房无法实现就近写入,所以不能做到真正的异地多活,只能做到备份容灾。而且机房故障切换时,需要运维手动介入。因此,想要实现主主同步机制,需要同步工具模拟从节点方式,将本地机房中数据同步到其他机房,其他机房亦如此。同时,使用同步工具实现跨数据中心数据同步,会遇到以下一些问题。(1)数据回环数据回环的意思是,A机房就近写入的数据,通过同步工具同步到B机房后,然后又通过B机房同步工具同步回A机房了。所以在同步的过程中需要识别本地就近写入的数据还是其他数据中心同步过来的数据,只有本地就近写入的数据需要同步到其他数据中心。(2)幂等性同步过程中的命令可能因断点续传等原因导致重复同步了,此时需要保证同一命令多次执行保证幂等。(3)多写冲突以双写冲突为例,如下图所示:DC1写入set
2021年5月17日
其他

轻量级工作流引擎的设计与实现

作者:刘洋京东科技基础平台部原创,转载请获得授权一、什么是工作流引擎工作流引擎是驱动工作流执行的一套代码。至于什么是工作流、为什么要有工作流、工作流的应用场景,同学们可以看一看网上的资料,在此处不在展开。二、为什么要重复造轮子开源的工作流引擎很多,比如
2021年3月29日
其他

ClickHouse在京东能源管理平台的应用实践

OLAP作者:樊思国京东科技IoT团队原创,转载请获得授权ClickHouse是一款面向大数据场景下的OLAP数据库,相比于传统的基于Hadoop生态圈的OLAP大数据分析系统,ClickHouse具有极致的查询性能、轻量级的架构设计及维护简单等优势。目前社区活跃度高,业界应用实践日趋广泛。一、业务介绍京东能源管理平台是京东科技IoT产品部面向政企客户推出的一款利用物联网、大数据和AI技术实现用能企事业单位对能源大数据进行采集、监测、分析和告警的能耗分析产品,旨在帮助客户实现节能减排,降低单位产品能耗。能源指标包括用电量、用水量和用天然气量,维度有时间维度(年、月、周、日、时)、厂家、车间、生产线类型、生产线、设备。针对这些指标和维度,提供了实时的数据多维分析与诊断服务。二、技术选型对于数据指标的多维度分析场景,上世纪业界就提出了BI(商业智能)的概念。相较于OLTP(联机事务)系统,业界把此类面向BI的系统统称为OLAP(联机分析)系统。伴随着计算机软件技术的发展、从单机工具的少量数据分析(如Excel),到中等规模数据通过分析型关系数据库构建(如微软的SSAS)的OLAP,再到今日的大数据时代,海量数据的实时OLAP分析引擎,技术上的推陈出新,工具系统上百花齐放百家争鸣,各有优势,但大体上可以将它们从架构模式上划分为两大类:1.
2021年2月5日
其他

京东支付SDK重构设计与实现

SDK作者:王超京东科技支付团队原创,转载请获得授权众所周知,软件开发效率、维护成本与自身复杂度成正比,而客户端软件复杂度则主要体现在业务规模上。京东支付Android
2021年2月1日
其他

16篇论文入选AAAI 2021,京东数科AI都在关注什么?(附论文下载)

近日,国际人工智能领域顶级学术会议AAAI2021(第35届AAAI)论文收录结果出炉。在国内AI阵营前列的京东数科以高达16篇论文的入选量成为本届AAAI的一大黑马。其研究方向包含了联邦学习、对抗学习、深度学习、序列推荐、社交推荐、图神经网络、风险管理的反因果推断,以及智能城市领域的时空AI等尖端技术领域。在AAAI今年整体录取率仅为21%的激烈竞争中,京东数科的高入选量极为难得。一系列研发成果的集中爆发,也充分显示了京东数科在以AI驱动产业数字化的实践中,在人工智能领域具备的国际顶尖技术实力,以及高科技人才储备方面的领先布局。不仅如此,京东数科的系列研发能力已走出了单纯实验室阶段,转化为在智能城市、农业、大宗商品、零售、以及AI机器人等产业场景的落地应用,助力整个行业的产业数字化进程。AAAI(Association
2021年1月15日
其他

运维数智化时代——京东数科AIOps落地实践(一)

AIOps作者:张宪波&张静&李彪京东数科智能运维团队原创,转载请获得授权一、背景自从2016年Gartner提出AIOps概念以来,平台化和智能化已经成为了运维体系发展的大趋势。从整体来看,运维发展可以分为5个阶段,分别为手工及脚本运维、工具标准化运维、平台自动化运维、DevOps和AIOps。自动化运维给手工及脚本运维的效率带来了很大提升,但是系统软件只能预置和按照我们制定的流程运行工作,不能自主适应,不能够处理相似的“新”问题,AI的种种特质给运维当前的一些痛点提供了良好的解决方案,AIOps应运而生,以AI的能力,赋能IT运维领域。智能运维(ArtificialIntelligence
2021年1月8日
其他

京东数科统一接入网关JDDLB性能优化之QAT加速卡

JDDLB作者:戚丁元京东数科基础云平台团队原创,转载请获得授权京东数科JDDLB作为京东数科最重要的公网流量入口,承接了很多重要业务的公网流量。目前,已成功接替商业设备F5所承载的流量,并在数次618、11.11大促中体现出优越的功能、性能优势。本文作为京东数科七层负载
2021年1月6日
其他

京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)

受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远博士在第十一届中国数据库技术大会(DTCC2020)中的演讲全文:各位朋友们大家好!非常感谢大家参加本次的汇报,也非常感谢大会的举办方对我的邀请。我叫李瑞远,来自于京东智能城市研究院,大家可以通过百度直接搜索我的名字,第一个链接应该就是我。今天给大家带来一个小众但又非常普遍的数据库——京东城市时空数据引擎JUST。说它小众,是因为大家可能没有听过时空数据库,在此我做一个调研,大家知道有哪些厂商都在做时空数据库吗?(现场只有一两人举手)其实,一些GIS厂商在做时空数据库,一些互联网厂商也在做时空数据库。说它普遍,是因为它的的确确能够解决我们身边的很多问题,与每个人的生活息息相关。严格意义上讲,JUST目前还不能叫时空数据库,因此我们称之为时空数据引擎。我的汇报将从以下四个方面进行展开。随着5G、IoT技术的发展,产生了海量的时空数据。时空数据简而言之,就是具有时间属性和空间属性的数据。这些时空数据大体可分成三类。第一类是我们打开手机地图看得到的地图矢量数据;第二类是卫星遥感影像的数据;第三类就是城市的感知数据,包括车上的GPS数据、手机跟基站进行交互的信令数据、以及我们在社交媒体上的签到数据。大家进入咱们的会议中心时,使用北京健康宝扫描了二维码,其实也是一种签到数据。这些时空数据能够应用到很多城市应用中。由于时间关系,我只举一个例子。在疫情防控中,如果某地发现了新冠确诊病例,我们就可以通过北京健康宝的签到数据,找到所有在这段时间范围内到过该地的那些人,并重点对这些人进行排查,实行保护措施,防止疫情的扩散。时空数据具有以下四个特点:首先,时空数据的体量非常大。大家都说,现在是大数据时代,而现实世界中,80%的数据都与地理位置相关。这就要求咱们的时空数据引擎具有很强的扩展性。第二,时空数据的数据结构非常复杂。这表现在两方面。1)时空数据的类型是多种多样的,像北京国际会议中心,在地图上就是以点的形式存在;道路是以线的形式存在;而一个小区,在地图上是以面的形式存在;还有以时序的形式存在,比如空气质量站点,每隔一小时就会有一个读数;甚至还有以网状的形式存在,比如一个车联网,两辆车之间很近就能形成一条边。2)时空数据是一个高维的数据,它至少有3维:时间,经度和纬度。这就要求咱们的时空数据引擎能够支持各种类型的时空数据。第三,时空数据的查询模式非常独特。不同于关系型数据库很多查询是以值作为过滤条件那样,时空数据的查询模式通常是空间范围查询,例如,找到过去一个小时经过北京国际会议中心周围1公里范围内的那些车;或者是最近邻查询,例如,找到离我最近的出租车。这就要求咱们的时空数据引擎拥有特殊的索引结构。第四,时空数据的更新频率很高。例如,GPS点每隔2秒就可能产生一个新的读数,手机信令也是连续不断地产生数据。这就要求咱们的时空数据引擎能够实时接入数据,并且能够支持数据更新。现在其实涌现了很多时空数据平台。第一类是现有关系型数据库的扩展,例如PostGIS、OracleSpatial、MySQL
2020年12月30日
自由知乎 自由微博
其他

Apache顶级项目ShardingSphere — SQL Parser的设计与实现

MySQL优化器设计:https://dev.mysql.com/doc/refman/8.0/en/cost-model.html本文作者陆敬尚,京东数科软件工程师,Apache
2020年12月16日
其他

ITest:京东数科接口自动化测试实践

ITest作者:郑琳京东数科平台开发团队原创,转载请获得授权导读:你是否为每天“点点点”的工作而感到索然无味?你是否苦于没有合适的工具而对复杂的测试任务望而却步?频繁变动的接口,重复的功能测试,你,疲惫么?京东数科运维部平台开发组基于日常接口测试经验,开发了接口测试平台——ITest。通过此平台让研发流程更高效,让测试回归测试本身,做适配数科场景的通用接口测试平台。本文将从需求背景、平台特性、架构设计、未来规划几方面详细阐述ITest助力接口自动化测试在京东数科的最佳实践与探索。一、需求背景接口测试位于测试金字塔的中间层,与业务关联度较高,测试及运行成本适中,同时能够覆盖到端对端测试所不能覆盖的并发,安全等,在测试过程中占据重要地位。接口自动化测试因其能够降低回归成本,提高回归效率,在回归测试及冒烟测试阶段应用较为广泛。但面对日益复杂的软件设计,做好接口自动化工作并非易事,在此针对其中两个痛点进行阐述:1、复杂场景的接口自动化编码耗时多,接口测试工具无法满足个性化需求自动化测试能够稳定执行的前提是,单个测试用例必须能够重复成功运行。这意味着完整的自动化用例中必须包含测试数据准备,测试调用,数据校验及数据清理工作等。在应用逐渐微服务化的今天,A服务接口的数据准备工作可能会依赖多个B服务的接口,接口测试用例的设计本身对于测试同学的业务能力就是不小的挑战,要完成高质量的稳定可重复运行的自动化用例的编码,更是一件耗时的事情。而目前通用的接口测试工具能解决的多是通用性的需求,当用户的接口请求中包含自定义算法,加解密信息等情况时,接口测试工具无法给予友好的支持。2、团队协作不易,开发和测试对齐用例有沟通成本在自动化编码的过程中,测试代码维护在代码仓库中,测试用例的管理也依赖于代码仓库。项目中不同模块的测试情况没有一个总体的入口,较难对测试的情况进行度量和总体评估,不同模块间的用例复用也变得比较困难。同时因开发同学对测试情况了解不足,在冒烟阶段,bug验证及测试回归阶段,往往需要测试和开发同学对代码仓库中的用例进行对齐,有一定的沟通成本。为提高测试效率,简化沟通成本,让测试同学专注于测试策略选择,测试用例设计、codeReview等更重要的工作,笔者所在团队研发了接口自动化测试平台ITest,
2020年12月9日
其他

2020 ICDM 知识图谱竞赛获奖技术方案

Decoder在2020年的ICDM竞赛中,该任务增加了对多种行为类型的判断,这很难用阅读理解框架来解决。竞赛的目标是为每个文本text和
2020年12月3日
其他

自动化测试在京东数科的实践与探索

一、了解什么是DevOpsDevOps的目标是实现软件系统的快速交付、并且提升系统稳定性和获得用户良好的反馈。不知道是不是有些同学和我一样,仅仅靠单纯概念性的描述比较难以理解什么是DevOps。就好像我们常常说要养成“良好的生活习惯”,那这个“良好的生活习惯”可能会包含:早睡早起、健康饮食和合理锻炼锻炼等等具体的行为。其实DevOps这个有点抽象的概念也是由一系列具体的行为和软件工程实践组成的。包含:基础设施即代码、CI/CD、自动化测试、容器化、服务编排、自动化部署和软件度量等。CI/CD流水线是决定系统能否实现快速交付的关键所在,也是DevOps实践中关键的一环。图1:DevOps模式二、自动化测试的困境而在研发团队的实践过程中,自动化测试往往是一个比较难啃的硬骨头。我列出其中两个困难点:自动化测试需要持续不断投入,自动化测试脚本和代码的开发工作量不小于实际业务代码的开发工作量;构建CI/CD流水线系统的团队往往是独立于业务研发团队而存在的,而其中自动化测试环节却需要业务研发团队的配合才能够良好实施。在众多的研发团队中,有一些负责质量效能的团队是自动化测试的先行者。他们能够抽出专门的资源来编写自动化测试用例;并通过自己搭建Jenkins来实现自动化测试用例的夜间定时执行;还有些团队自己开发了测试平台实现自动化测试用例管理、执行和度量等功能。但是这种各自独立的自动化测试平台又存在以下问题:按照各自平台标准开发的自动化测试用例,由于技术框架不同等原因,并不能实现资源共享和重用。自动化测试相关数据都是存在各自的平台中,当需要在更大范围内对不同应用或系统的自动化测试程序进行度量和评估时,由于标准不统一和数据不互通而导致难以实现。自动化测试的机器资源有限,常常由于执行资源受限而影响自动化测试的运行效率。而且不时会由于执行机器的偶发性故障影响自动化测试执行的稳定性。自动化测试常常通过手动触发或者定时触发执行,并没有与实际的研发流程结合起来。研发在进行日常特性功能开发、变更的提测、合并主干和发布上线等操作的时候,并没有实现实时触发自动化测试的执行,三、破局之道笔者所在的团队已经为公司内部提供了一套完整的DevOps工具方案,从迭代管理、代码仓库、分支策略、编译构建、静态代码分析、单元测试、测试环境部署、自动化测试到线上发布,贯穿了整个研发过程。下面重点介绍下自动化测试子系统如何结合实际业务场景来解决研发过程中的痛点。说起自动化测试的实现方式,笔者以目前通用的实现方案为例,从是否需要写代码的角度来分析下其优劣:1、需要写代码的自动化测试优点:灵活性强,可以基于不同的XUnit测试框架(例如基于Java语言的Junit、TestNG;基于Python的Pytest、Unittest等)来实现自动化测试代码的编写。对于测试开发工程师来说,使用原生的框架来通过写代码的方式实现自动化测试,有利于自身的技能提升,能够学到更多的东西。缺点:有一定门槛,有些测试同学缺乏编码能力,要想写自动化测试代码,需要首先学习基本的编程语言语法,还需要学习测试框架的基本使用。2.
2020年11月26日
其他

只看这三点就够:快速了解联邦学习框架!

京东数科mPaaS:深度解读京东金融App(Android)的秒开优化实践>
2020年11月16日
其他

京东数科mPaaS:深度解读京东金融App(Android)的秒开优化实践

mPaaS作者:薛亚斌京东数科mPaaS团队原创,转载请获得授权一、启动优化项目背景2018年京东数科成立中台部门,要求将公司各种技术沉淀复用,实现降本增效提质,京东数科mPaaS应运而生,解耦、组件化、能力提升改造等成为重要的工作之一,启动速度正是在中台大战略的背景下被提上日程。本文主要分享京东金融移动端Android启动速度优化的实践。在App功能日益增加和用户体验不断改良的今天,App启动速度,已然成为影响用户体验的第一道门槛。所谓快,其实是在用户感官上的一种反应,如果能够使用以上的手段对App的启动速度优化,虽然实际上启动时的总操作量可能并没有真正减少,但经过合理的先后顺序安排,可以使得某些不必要的任务,延后再执行,起到在App启动时,更轻量、更灵敏的作用,这样能够比较快的响应用户从Launcher点击Icon的操作,提升用户体验,让用户感觉到『快』。二、启动流程详细过程分析2.1
2020年11月13日
其他

从技术到应用实践 揭秘京东区块链布局全景

从提出到现在,国内外的科技巨头都在加紧布局产业区块链,并在区块链的场景化应用落地方面不断加速。目前看来,区块链技术毫无疑问在未来拥有广阔的发展前景,但在与各产业深度结合之后,其可能碰撞出怎样的火花还充满了未知。
2020年11月5日
其他

京东数科2020双十一备战实录

我们用百分之百的热忱之心百分之百的专业精神力保大促如磐石稳定
2020年11月2日
其他

京东数科七层负载 | HTTPS硬件加速 (Freescale加速卡篇)

JDDLB作者:庞成京东数科基础云平台团队原创,转载请获得授权京东数科JDDLB作为京东数科最重要的公网流量入口,承接了很多重要业务的公网流量。目前,已完全接替商业设备F5承载所有的流量,并在数次618、11.11大促中体现出优越的功能、性能优势。京东数科JDDLB
2020年10月28日
其他

由一次slow-request浅谈Ceph scrub原理

false不会执行;(2)如果osd_scrub_max_interval配置的不合理,则会导致scrub任务的deadline超出,那么就会导致在规定时间外的任意时间出现scrub/deep
2020年9月21日
其他

KuAI平台 | 模型在线推理系统的高可用设计

04-AutoML系统中的元知识迁移应用面对黑客攻击,京东数科WAF建设这样做!京东金融云测平台方案揭秘业务与系统的傲慢与偏见关注技术说,我们只凭技术说话!点在看会少个bug哦👇
2020年9月17日
其他

独家解密:数科智能反欺诈平台如何为您保驾护航?

引导那个默默藏在背后守护您安全的Ta,今天为您揭开神秘面纱~“兵来将挡,水来土掩”。随着科技发展,利用智能反欺诈技术对黑产党进行有效防范,做到防患于未然已非难事。数科风险团队基于机器学习、大数据、实时计算、图计算等技术,打造了完整的智能反欺诈平台,一站式解决营销拉新、广告投放、账户安全、支付安全、资产安全等场景欺诈问题。平台覆盖600多个业务场景,采用高可用性AI集群保证业务正常运转,目前每日超过1000亿次复杂计算,计算速度达到毫秒级,更是经历了数次618、双11的大促考验,为广大用户安全提供了坚强的后盾保障。与此同时,数科风险团队智能反欺诈平台利用积累的经验、系统及人工智能模型能力,对外提供反欺诈综合解决方案,科技赋能数十家银行和金融机构,提升金融业的反欺诈管理能力。图1
2020年8月25日
其他

数字中国创新大赛-算法赛道冠军技术方案曝光!

海洋画像与知识图谱渔船作业种类繁多,分布差异巨大,对渔船进行大数据画像,描绘知识图谱,以便于政府部门掌握渔船的
2020年8月4日
其他

他们凭什么成为京东数科最强研发战队?

最强研发战队,在此集结!京东数科“探索杯”第三届专利评审会于2020年7月10日顺利举办。来自九个部门的十件优质专利在评审中脱颖而出,获得奖项。另外来自机器人产品部、智能城市部和资管科技部的三个项目获特别殊荣。为响应防疫要求,本次评审会首次采用线下会场与线上直播同步进行的方式。本次评审会共有400余件符合申报条件的专利,其中60余件专利报名参与评选。法律合规部知识产权部对申报参赛的专利,从专利技术优势、专利质量、专利市场效益等多个维度进行了打分筛选,共有10件专利进入最终答辩环节。经过精彩角逐,机器人产品部的【一种仿生手指、仿生机械手及仿生机器人】发明专利获得一等奖;风险管理中心的【用于确定用户社群信息的方法和装置】和智能城市部的【妥投时间确定方法、装置、存储介质与电子设备】发明专利获得二等奖。(完整获奖名单见文末)获奖团队合影我们可以看到,很多新技术的诞生都是基于社会各行业的需求。如本次获得一等奖的【一种仿生手指、仿生机械手及仿生机器人】便是基于残障人士就业、特殊作业等问题而研发的。仿生手拥有灵活的仿生关节,可快速准确地识别和响应肌电信号,实现多关节协同控制,同时也可通过内置智能感知模块和AI算法进行自动操作,可应用于上肢伤残、高危处置、精密制造等场景;获得优秀奖的【用于分析图像素材的方法和装置】则基于大量版权侵权问题应运而生。通过比现有技术更智能化的图像相似处理算法,能够实现旋转图像、截图、文字图像,角度拍摄的变形图像等全部或局部图像筛查,匹配更多更广泛的侵权图片,保护著作权人利益。←发明人代表在对仿生手进行现场展示发明人代表在对图像分析方法进行现场展示↓本次评审会设置了三个特殊的奖项,以表彰对战疫抗疫、对公司知识产权成果保护有突出贡献的项目和团队。来自智能城市部的【战疫金盾系统】、机器人产品部的【室内运送AI机器人】项目获“战疫防疫知识产权特别奖”,来自资管科技部的【智能投顾项目】获“研发项目知识产权特别奖”。01战疫金盾系统战疫金盾系统项目团队
2020年7月16日
其他

从0-1开发Java性能剖析工具

支持包配置,可以轻松的对所有属于包内的类的方法调用都会自动进行监控不同的业务线,肯定包名都是不一致的,不同的业务线使用可以根据自己的诉求进行包名的填加。以对不同的类的方法进行跟踪监控。
2020年7月9日
其他

联邦学习VS区块链:相似王牌技术谁才是最强可信媒介?

▼业务与系统的傲慢与偏见京东金融云测平台方案揭秘揭秘京东数科618背后的技术密码面对黑客攻击,京东数科WAF建设这样做!听说算法工程师80%的时间都在做特征工程?京东第一位博士后出站
2020年7月7日
其他

AutoML系列 | 04-AutoML系统中的元知识迁移应用

选定超参数组合后,(E)自动机器学习引擎将模型的训练/评估任务分发到(F)模型训练/评估引擎中,进行模型的迭代训练和评估,并将结果反馈给(E)自动机器学习引擎,以指导下一轮的超参数组合搜索。⑦
2020年7月6日
其他

揭秘京东数科618背后的技术密码

今年618,我们给用户提供了数十万件免息商品以及20亿金贴等优惠活动。在你剁手买买买的背后,是各种安全与技术默默为你保驾护航。我们采访了几位京东数科的小伙伴,让他们给大家分享618背后的技术故事。▲
2020年6月18日
其他

京东第一位博士后出站 看看他研究的是什么“黑科技”

“技术大牛”、“京东第一位出站博士后”、“网络黑产斗士”……林元晟身上有很多标签。但当他出现在眼前时,你很难将这位一身运动服、谈吐随和的年轻人跟这些标签联系起来。林元晟并不是普通人想象中的神秘、高冷的黑客形象,却是货真价实的技术高手。找到科研落地的快速通道
2020年6月5日
其他

听说算法工程师80%的时间都在做特征工程?

想象一下,当今社会备受瞩目的人工智能和数据挖掘算法工程师每天大部分时间都在做什么呢?是花大量时间手推公式,还是思考各种trick对算法调参,还是一遍遍清洗数据和加工特征?实际上,大部分的数据挖掘/算法工程师在日常的工作流程中,80%以上的时间用于研究特征工程,而他们在算法设计和模型优化上分配的时间不到20%。特征工程为何如此重要,以至于数据挖掘/算法工程师甘愿把如此之多时间都花在这上面呢?机器学习界普遍认为:“数据和特征决定了机器学习算法的上限,而模型和算法只是不断逼近这个上限而已。”
2020年6月4日
其他

面对黑客攻击,京东数科WAF建设这样做!

会作为一个token=88就是str的进行SQL解析且不会命中SQL注入。第一、二行词法都会将字符串解析为88但第三行词法分析后的结果为:token=125
2020年5月21日
其他

面对4大瓶颈,前端开发的未来在哪里?

Webpack也是一家独大,虽然被很多人诟病,但是社区生态起来了,想改变就很难。跨端应用Electron也不用想了,VSCode能做好你做不好那就不是选型的问题了。2D游戏/绘图方面PixiJS
2020年5月15日
其他

AutoML系列 | 03-神经网络架构搜索(NAS)综述

利用权衡(exploration-exploitationtrade-off)。因为一方面,需要快速找到性能良好的神经网络结构,另一方面,应避免过早收敛到次优结构区域。常见的搜索方法包括:Grid
2020年4月29日
其他

AutoML系列 | 02-自动化机器学习系统设计

从容器镜像仓库(B)中选择自动化机器学习任务运行的容器镜像,例如安装好Scikit-learn、XGBoost、LightGBM、CatBoost等基础算法库及依赖包的容器镜像;▷▷▷
2020年4月24日
其他

构建一套互联网黄金投资系统竟如此简单

soccer构建项目管理思维互联网财富管理平台应该怎么做?(上篇)互联网财富管理平台应该怎么做?(下篇)关于机器学习全流程溯源管理的思考AutoML系列
2020年4月7日
其他

京东金融云测平台方案揭秘

soccer构建项目管理思维互联网财富管理平台应该怎么做?(上篇)互联网财富管理平台应该怎么做?(下篇)关于机器学习全流程溯源管理的思考AutoML系列
2020年3月31日
其他

人工智能新技术:联邦学习的前世今生(上)

Learning)作为人工智能的一个新分支,为机器学习的新时代打开了大门。JDD风控算法团队将通过联邦学习白话三部曲,为大家揭秘联邦学习的前世今生。本期为您解读:
2020年3月27日
其他

project X soccer构建项目管理思维

项目管理项目管理是什么呢?项目管理是对工作的一种严谨的思维方式,适用于所有的项目,无论其内容、规模或复杂性如何。这是引用詹姆斯-刘易斯,美国著名项目管理专家的一句话。其中提到了“适用于所有项目”,大多数人都会把这句话中“项目”两个字理解为我们工作中开展的项目,但其实广义上讲它可以是你身边开展的任何事物,其中也包括像足球,这个世界第一运动。下面我会通过项目管理的相关概念以及具体场景,与大家分享下我对项目管理的理解与收获,希望能让大家能更快的了解项目管理,以及将项目管理思想应用到自己的工作中,让团队之间配合更简单,就像在足球运动中通过完美的团队配合才能获得进球。关于团队在这个世界上,任何一个人的力量都是渺小的,只有融入团队,与团队一起奋斗,你才能实现个人价值的最大化,你才能成就自己的卓越。团队,是为了实现一个共同的目标而集合起来的团体,需要的是心往一处想,劲往一处使,分工协作。在京东商城研发部门,项目由业务人员、项目经理、产品经理、研发人员、测试人员等组成,且分别都来自不同的部门。项目在进行过程中往往会遇到些问题,需要大家共同努力去解决,从而实现项目制定的目标,并体现大家的价值。关于界限在多部门参与的项目中,大家喜欢划清界限,不属于我的范畴我不做,这会造成很多事情难以去划分谁去负责,从而使项目处于风险或停滞。这就这好比在球场上后卫告诉你我只负责防守,不去做组织、助攻、射门一样。这些虽然都不是后卫的本职工作,但我们却经常在球场上看到后卫在组织、在助攻、在射门甚至进球。这不是和与后卫的职责相矛盾吗?其实很简单,他们想赢球,想帮助球队获得胜利,这个取胜也就是团队成员的共同目标。同样在项目中,如果大家在项目开始时明确并统一的目标,并且根据团队精神去执行,就会减少因为界限造成对项目的不利影响。从项目开始到项目收尾过程中,项目经理需要与项目成员明确并共同肩负项目目标,并让团队精神贯彻始终,引导项目成员换位思考。不要局限在自身,需要多站在项目整体的角度。关于沟通想成为一名出色的项目经理,首先需要明白应具备什么样的能力。要学习什么样的能力。很多人都认为会赞同沟通能力很重要,但项目成员之间的有效沟通更重要,而不是项目经理不应该每天在项目中机械的沟通,最后终只是起到一个信息传递员的作用。如果这么做这样做的话,项目经理很容易成为沟通瓶颈。怎么做到有效沟通?第一,项目经理需要有效沟通能力,如清晰的语意表达,准确的需求传递,并引导人们的表现朝你的期望发展,从而引导项目成员更有效的沟通。这就好比足球场上,不是每一次进攻都应该通过守门员-后卫-中场-前锋才能开始,而是团队中每个人之前的传递都可以形成进攻目的,每个球员都可以成为发起进攻的起点。第二,项目经理有必要将交流的内容明确化、易于沟通,常用的是量化和名词解释。重点说名词解释,在互联网公司需要了解这个行业的术语,有一部分沟通不顺利是对专业术语不熟悉造成的,做为项目经理需要对这些名词进行学习并深度掌握。比如球场上有很多进攻术语,长传冲吊、边路进攻、短传渗透、外围远射、定位球争抢等。如果在与团队成员交流不懂这些,是会阻碍有效的沟通。第三,项目经理也需要与项目成员之间来建立起非正式沟通渠道。团队成员之间可以交流各自的兴趣爱好,侃一侃时事新闻、聊一聊体育、玩一玩游戏等,有助于让成员间相互了解及信任。这种非正式沟通的积累往往会促进大家在项目中的有效沟通和高效的执行。足球比赛也一样,球员通过训练建立起来的沟通机制,就会了解各自的踢法与跑位,赛前准备会大家沟通制定的打法,都是为了帮助在比赛中球员有效的沟通战术并执行。沟通不仅仅是信息传递,而是需要有目的、有条理、有态度的清晰表达。沟通中的信息的专属名词需要理解,并不断学习更新。非正式的沟通可以影响正式沟通后的有效执行。项目过程还需要保障对等沟通,不同部门的沟通要产品对产品、研发对研发,避免将产品方案与研发方案交织在一起,而产生界限分歧。关于风险美国项目管理大师马克思·怀德曼将其定义为某一事件发生给项目目标带来不利影响的可能性。项目经理经常遇到的风险有两种,一种是已知风险,就是在风险发生前已经识别出来的,并有解决方案;另一种是未知风险,在项目执行过程中,不知道会发生什么样的事件从而影响到项目的进行。对于已知风险,需要项目经理多方面的获取信息,比如风险描述是否准确,不同团队的成员之前对同一风险认知是否一致,这样才能采取有效的解决办法。比如在项目联调过程中有的系统没有测试环境、有的系统没有预发环境,这样联调中就会出现问题。首先确认不能进行联调是否真是环境影响,有的时候需要测试人员沟通下,只需要个别系统必须有测试或者预发环境,然后就能让测试环境连接预发环境进行测试,数据也是可以流转的。如果只是看到表面信息从而去协调各个系统的测试、预发环境也是很困难,并且这个风险肯定是影响项目进度的。这就好比足球场上教练要改变战术,可以通过换人调整,可以通过改变阵型调整,哪种方式更能应对当下的改变是需要考虑清楚的。比如球场上有球员受伤,给人的第一想法就是通过换人调整,但其实可以先选择让队医检查队员的伤情确认信息具体情况后,再决定自己的应对措施是通过代价比较小的短暂治疗、还是通过代价比较大的替换队员来解决。对于未知风险,大概有两种类型,一种是受到外界影响比较多的大多数不可控的风险。比如有的项目需要业务与合作公司签约合同后才能使用,但系统已经完成上线,但是合同尚未签署。这就是个典型的例子。关于业务什么时间能完成跟合作公司的谈判并签约,时间上是不可控的。例如足球比赛中,有疯狂的球迷闯入场地内,影响干扰了比赛,关于这个处理时间恢复比赛是不太可控的,有的可以在一定时间内解决,有的甚至会造成比赛无限期中断。另一种是突发的情况,比如项目上线过程中,遇到自动部署系统问题没办法发布、或者服务器的问题没办法运行等,这种风险的出现肯定会影响项目进行,但时间上也是不可控的。比如比赛进行中,受到天气的印象,造成了中断,照明系统的问题照的的中断等。对应这类的风险只能接受并不能马上有应对措施,需要从新评估影响并规划相应的解决方案。对于风险的发生,不能逃避风险,需要大家积极面对风险,接受风险,解决风险。对应已知可控的风险,要明确风险信息内容,再采取有效的应对措施。关于未知的风险的发生、需要先详细评估对项目的影响,再制定相关的解决方案。关于配合每一个项目的管理过程,就像足球比赛一样,过程不同,但我们追求的目标是永远不变的赢得比赛。有人会把项目经理比作足球场上的教练,但我认为我们更像是场上队长。我们要有担当,对比赛负责,引领并协调成员共同努力,共同交流,共同成长。按照既定的战术,克服场上问题,运用项目管理知识积极帮助每个人在自己的位置上都发挥最大的作用,并赢得比赛。
2020年3月24日
其他

互联网财富管理平台应该怎么做?(下篇)

「术小科导读」上篇作者从“什么样的理财产品才是用户最喜欢的?”问题引出账户,并从支付到支付体验深度推演了得账号者得天下的原因。且例举了不同账号类型财富管理平台对应的发展方向。本篇内容承接上篇,将从四个方面详细阐述系统如何助力业务发展。系统如何助力业务发展?天下武功,唯快不破。按照上篇的分析,只有给用户提供了“快”这种核心体验,则可以征服用户的心,从而获得市场。所以问题细分为如下问题:如何得到账户?怎么样构造让用户感觉很快的业务形态?信息系统如何快速的实现目标?信息系统如何稳定的实现目标?01如何得到账户?这个问题是基础,因为有了账户才能建设“快”的账户。前面提到,关键的账户通常掌握在银行等金融机构手中,那么,对于互联网机构来说,怎么得到账户呢?他们通常会采用如下一些方法来持有账户:▷
2020年3月19日
其他

保护你的钱袋子!京东数科是如何用AI反欺诈的?

来源:南方都市报·南都经济金融诈骗在“智能化升级”,为了帮用户抵挡“看不见”的风险,315前夕京东金融宣布为用户提供100万元账户安全保障;而京东数科自研的智能反欺诈平台更先行一步,对黑产攻击防患于未然。这样的账户安全“双保险”在消费者的每一次交易中都在激烈作战,但普通用户却无法感知到,这些“无感知”安全守护是如何达成的呢?背后的AI黑科技究竟如何运作?京东数科风险管理中心和智能风控技术相关负责人,带你走近智能风控背后的故事。Part
2020年3月16日
其他

互联网财富管理平台应该怎么做?(上篇)

从大品牌来说,强者恒强嘛,头部基金公司的产品,头部保险公司的产品就是好的产品,问题是越是大品牌恐怕收益更加低,而且这些所谓的头部产品轮换的速度又很快,基金就是很好的例子;▷
2020年3月13日
其他

关于机器学习全流程溯源管理的思考

点击「京东数科技术说」可快速关注「摘要」人工智能和机器学习是挖掘、利用海量数据价值的关键技术。近年来,越来越多的企业、机构借助人工智能和机器学习技术,从大数据中提炼商业见解,辅助商业决策,创造了巨大价值。但机器学习模型的构建和上线服务是一个快速试验和多次探索研究的复杂过程,如何对机器学习全流程进行溯源管理,是减轻模型构建和服务维护人员负担,提升模型构建和服务的效率和质量的重要基础。本文梳理了机器学习流程管理面临的挑战,回顾了当前机器学习全流程溯源管理的方法及其优缺点,提出了为实现机器学习从模型构建到上线服务的全流程管理亟待解决的技术问题。同时,探讨了从模型训练、模型预测、模型线上服务三个环节对机器学习进行全流程溯源管理的方法和技术方案,以及为模型开发平台类产品的规划、设计提供参考。01背
2020年2月13日
其他

AutoML系列 | 01-自动化机器学习技术原理

确定适应值以判断目前的位置好坏。每一个粒子必须赋予记忆功能,能记住所搜寻到的最佳位置。每一个粒子还有一个速度以决定飞行的距离和方向。这个速度根据它本身的飞行经验以及同伴的飞行经验进行动态调整。3.5
2019年12月5日
其他

算法实践 | CCL“中国法研杯”三等奖技术模型

1、法律文本本身在一定程度上具有结构相似性,且事实描述部分存在很多通用词语,如何对法律文本进行预处理非常重要,这里我没有详细说明如何对法律文本进行预测。2、
2019年11月15日
其他

算法实践 | 面向中文地址的预训练语言模型GeoBERT

推荐阅读1、算法实践|绝对语义识别挑战大赛方案分享2、首次公开:京东数科强一致、高性能分布式事务中间件JDTX3、DifSci科学数据挖掘大赛亚军|完整技术方案揭密京东数科技术说&技术课堂
2019年11月5日
其他

DigSci科学数据挖掘大赛亚军|完整技术方案揭秘

点击「京东数科技术说」可快速关注「引言」本文将基于在中国计算机大会方案宣讲PPT中的内容,给出此次比赛的完整方案,主要从赛题理解、建模核心思路、算法核心思想等角度阐述,同时对相关细节进行了适当的拓展讲解。涉及SIF
2019年10月30日