全闪存储已经成为当前存储的新贵，从存储架构的演变角度，软件定义的分布式存储系统替代传统控制器架构的磁盘阵列已是大势所趋。采用分布式架构的全闪存储系统能充分发挥闪存介质的性能，并构建具备云属性的弹性基础设施，是未来全闪存储系统的发展方向。分布式存储系统以其软件定义模式以及高并发性能、弹性扩展能力和易维护性等特性受到越来越多客户认可。

　　目前市场主流产品按实现方式可分为两大类：一、以开源软件为Ceph的存储系统，二、厂商完全自主开发、针对块存储等场景设计的分布式存储系统（如 ScaleFlash分布式块存储系统NVMatrix）。 本文介绍采用RDMA技术的ScaleFlash 分布式全闪块存储产品NVMatrix与Ceph优化过的全闪块存储的性能对比。

　　测试目标与方法

　　本次测试使用的ScaleFlash 分布式块存储NVMatrix和优化过的Ceph全闪分布式存储产品都使用了全闪存储介质，NVMatrix在所有工作负载测试中，实现的性能均大幅优于Ceph。 实现性能大幅领先的底层技术是NVMatrix采用了全链路RDMA技术， RDMA是一种新的直接内存访问技术，RDMA让计算机可以直接存取其他计算机的内存，而不需要经过处理器的处理。RDMA将数据从一个系统快速移动到远程系统的内存中，而不对操作系统造成任何影响。在实现上，RDMA实际上是一种网卡与软件架构充分优化的远端内存直接高速访问技术，通过将RDMA协议固化于硬件(即网卡)上，以及支持Zero-copy和Kernel bypass这两种途径来达到其高性能的远程直接数据存取的目标。 使用RDMA的优势如下：

　　零拷贝(Zero-copy) - 应用程序能够直接执行数据传输，在不涉及到网络软件栈的情况下。数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收，而不需要被复制到网络层。

　　内核旁路(Kernel bypass) - 应用程序可以直接在用户态执行数据传输，不需要在内核态与用户态之间做上下文切换。

　　测试网络拓扑：

　　测试环境信息：

　　计算节点 * 1 ：

　　●  系统版本：Red Hat Enterprise Linux release 8.3

　　●  内核版本：4.18.0-240.el8.x86_64

　　●  CPU型号：Intel(R) Xeon(R) Gold 6348 CPU @ 2.60GHz  * 2

　　●  内存： 512 G  

　　●  RDMA网卡：Mellanox 100gb [ConnectX-6 Dx] * 1

　　存储节点 * 3 ：

　　● 系统版本：CentOS Linux release 8.4

　　● 内核版本：4.18.0-305.25.1.el8_4.x86_64

　　● CPU型号：Intel(R) Xeon(R) Gold 6346 CPU @ 3.10GHz * 2   

　　● 内存： 512G

　　● NVMe ssd：INTEL P4510 * 8；

　　● RDMA网卡：Mellanox  100gb [ConnectX-6 Dx] * 1

　　● RDMA分布式存储软件： ScaleFlash分布式存储软件(NVMatrix) v3.0 (双副本数据保护）

比Ceph全闪存储性能提高200倍IOPS

比Ceph全闪存储性能提高200倍带宽

比Ceph全闪存储写延迟降低35倍

　　Ceph全闪集群的性能详情请从下面的链接详细了解

　　https://ceph.com/community/bluestore-default-vs-tuned-performance-comparison/

　　北京极客天成科技有限公司以高通量分布式集群存储为先锋，围绕软件定义、智能化、安全可靠，全链路RDMA技术构建了完全自主可控的高通量分布式集群存储产品线和解决方案，可为用户的混合云数据中心提供创新和高效的存储及数据管理方案。 极客天成以研发、推广和销售软件定义存储产品为主营业务，重点产品包括高通量分布式统一集群存储系统，DPU云原生存储，分布式全国产化存储系统，分布式全闪存储系统, 超融合容器存储等系统解决方案和技术服务。极客天成聚焦国产化细分战略市场，围绕软件定义、全闪化、国产化产品战略，打造完全自主可控的存储产品线。