华中科技大学金海等 | 运用GPU计算面向非规则应用的非合并内存访问优化

内容介绍

中文摘要：

通用图形处理器（GPGPU）可大大提升规则应用的计算性能。然而，很多应用中存在非规则内存访问模式，大大限制了GPU的性能优势。近年来，一些研究提出解决方案来移除静态非规则内存访问。然而，利用软件消除动态非规则内存访问仍然面临严峻挑战。本文提出一种纯软件解决方案用于消除动态非规则内存访问，尤其是间接内存访问，无需硬件扩展和离线分析。提出数据重组和索引重定向以减少内存访问次数，从而提高GPU内核性能。为提高数据重组效率，卸载重组数据操作至GPU以降低开销并传输数据。通过并发执行数据重组和数据处理内核的统一计算设备架构（CUDA）流，可降低数据重组开销。完成这些优化后，相比于CUSPARSE基准测试，使用该方法GPU内核的内存数据传输减少了16.7%–50%；同时，NVIDIA Tesla P4 GPU上的内核性能提高了9.64%–34.9%。

关键词：

通用图形处理器；内存合并；非合并内存访问；数据重组

作者：
郑然^1,2,3,4，刘元栋^1,2,3,4，金海^1,2,3,4

单位：

¹华中科技大学大数据技术与系统国家地方联合工程研究中心，中国武汉市，430074

²华中科技大学服务计算技术与系统实验室，中国武汉市，430074

³华中科技大学集群与网格计算实验室，中国武汉市，430074

⁴华中科技大学计算机科学与技术学院，中国武汉市，430074

本文引用格式：

Ran ZHENG, Yuan-dong LIU, Hai JIN, 2020. Optimizing non-coalesced memory access for irregular applications with GPU computing. Frontiers of Information Technology & Electronic Engineering, 21(9):1285-1301. https://doi.org/10.1631/FITEE.1900262

本文精要导读：

点击下方“阅读全文”，下载全文PDF

关于本刊

Frontiers of Information Technology & Electronic Engineering（简称FITEE，中文名《信息与电子工程前沿（英文）》，ISSN 2095-9184，CN 33-1389/TP）是信息电子类综合性英文学术月刊，SCI-E、EI收录，最新影响因子1.604，进入JCR Q2分区。前身为2010年创办的《浙江大学学报英文版C辑：计算机与电子》，2015年更为现名，现为中国工程院信息与电子工程学部唯一院刊。覆盖计算机、信息与通信、控制、电子、光学等领域。文章类型包括研究论文、综述、个人视点、评述等。现任主编为中国工程院院士潘云鹤、卢锡城。实行国际同行评审制，初次转达意见一般在2~3个月内。文章一经录用将快速在线。

2019年，荣获中国科协等七部委推出的中国科技期刊卓越行动计划项目资助（梯队期刊）。

官网：http://www.jzus.zju.edu.cn

期刊Springer主页：

http://www.springer.com/computer/journal/11714

在线投稿：

http://www.editorialmanager.com/zusc

更多信息，请见：FITEE影响因子提升55%，首次跨入Q2区

微信加群

---

为方便广大科研人员交流讨论，本平台建有以下学科微信群。有需要加群的用户，请加小编个人微信号fitee_xb，并留言想要加入的群，小编会拉您进群。营销广告人员请勿扰。

计算机科学与技术学术群	光学工程与技术学术群
控制科学与技术学术群	信息与通信学术群
电力电子学术群	人工智能学术

加关注  ID: fitee_cae

本公众号为中国工程院院刊《信息与电子工程前沿（英文）》（SCI-E、EI检索期刊）官方微信，功能包括：传播期刊的学术文章；为刊物关联学人（读者、作者、评审人、编委，等）提供便捷服务；发布学术写作、评审、编辑、出版等相关资讯；介绍信息与电子工程领域学术人物、学术思想、学术成果，展示该领域科学研究前沿进展；为该领域海内外学者提供友好互动平台。