Skip to content

Latest commit

 

History

History
34 lines (17 loc) · 2 KB

data-processing-at-the-speed-of-100gbps-using-apache-crail.org

File metadata and controls

34 lines (17 loc) · 2 KB
Raw

Data Processing at the Speed of 100 Gbps using Apache Crail

目标是高效地存储大量临时数据，比如MapReduce Job的中间数据，Pipeline中的临时数据等。

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-0.png

使用的硬件必须是高性能硬件， 网卡200Gbps 1us延迟， NVMe 10GB/s 10us延迟，可以看到使用了这么牛逼的硬件， TeraSort的性能也上去了。

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-1.png

如果把Terasort的性能拆解来看，如果网络是1Gbps，那么有48%的时间在等待网络数据；如果网络到了10Gbps的话，那么Reduce占用整体时间的92%. 另外可以看到IO/Linux也占用了很大部分时间。如果eph storage可以提供很高性能和带宽的话，那么整体时间可以更进一步缩短，并且还需要减少Linux开销。

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-2.png

Crail结构如下，通过高速网络提供100Gbps, 10us的延迟，为了不拖硬件的后腿， 最好使用kernel bypassing技术，API上提供的也是non-blocking/future接口。主要使用的硬件/软件是DRAM/RDMA, 和NVMe/NVMeF

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-3.png

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-4.png

下面两张图是用户获取Metadata和Data的交互流程，Metadata似乎也依赖于TCP，Data也依赖于RDMA和NVMf技术，没有context switch以及zero-copy.

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-5.png

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-6.png

另外一个类似的Slide里面介绍了RDMA技术，One-Sided和Two-Sides操作是不同的。

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-7.png

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-8.png

../images/data-processing-at-the-speed-of-100gbps-using-apache-crail-9.png