Ceph开发每周谈 Vol 104 | NFS Ganesha VS Kernel Client

2017年12月 · 麦子迈

这是Ceph开发每周谈的第一百零四篇文章，记录从17年12月18号到17年12月25号的社区开发情况。

  •  一句话消息

圣诞到元旦大部分开发者都已经休假了

  • NFS Ganesha VS Kernel Client On CephFS

有 NFS Ganesha 用户比较了通过 Ganesha 吐出的 NFS 跟 CephFS Kernel Client 的性能，主要基于以下版本和配置:
  • NFS-Ganesha2.5.2
  • Ceph version 12.2.1-383-gaf9ea5e715(af9ea5e71523250936836ac9ded7019b8c8eeab2) luminous (stable)
  • Single nfs-ganesha server
  • NFS-Ganesha was mounted using nfs version4.0

Ceph setup on 8 nodes:

  • 5 OSD nodes – 24 cores – 128 GB RAM
  • 3 MON/MDS nodes – 24 cores – 128 GB RAM
  • 6 OSD daemons per node
    • Bluestore – SSD/NVME journals
  • 10 client nodes
    • 16 cores – 16 GB RAM
  • Network interconnect
    • Public network 10Gbit/s
    • Cluster network 100Gbit/s

Aggregated Bandwidth over 10 clients

可以看到在单线程情况下，Ganesha 大约是 Kernel Client 的 80% 性能，随着线程增加，Ganesha 明显成为了瓶颈。

 NFS-Ganesha vs CephFS: Single thread Latency

NFS-Ganesha vs CephFS: 4 thread latency

NFS-Ganesha vs CephFS: 8 threads latency

NFS-Ganesha vs CephFS: 16 threads latency

从线程的压力增加，可以看出 NFS-Ganehsa 存在明显的延迟瓶颈。