向东,网易杭州研究院架构师,网易杭州研究院服务端架构师,有10年的存储系统架构经验,专注于对象存储/块存储/视频云等方面,申请过相关专利。任职于网易。
演讲摘要:
在CURVE的选型初期由于CEPH代码量大,框架与架构复杂以及性能方面也不太符合应用的需求导致我们选择自行研发CURVE分布式存储系统,CURVE是一个分布式的存储系统,它包含两部分 CurveBS分布式块存储系统和CurveFS分布式文件存储系统,目前CurveBS已经在公司内部广泛应用,CurveFS在开发演进当中。
CurveBS使用RAFT协议来维持一致性,数据和副本以copyset为单位来分布在不同的存储服务器上,并由元数据来集中管理数据分布。CurveBS采用了ChunkFilePool,DataStrip,改进的RAFT协议来实现高性能,在性能/易运维方面相对ceph而言有优势。
CurveFS开发目标是为了支持底层多种存储设备(块设备,S3存储等),目前在开发中,内部版本大概在11月份可以完成。目前Curve系统在网易内部大量应用于生产环境。未来我们会继续在性能/云原生/CurveFS来进行迭代,不停提升CURVE的性能和对云原生的支持。
演讲大纲:
1. CURVE简介
a) CURVE是什么?
i. CurveBS 分布式块存储
ii. CurveFS 分布式文件存储
b) 为什么不选择CEPH
i. CEPH的劣势(代码量大/结构复杂)完全掌握比较难,不可控因素多
ii. CEPH使用与运维的劣势
c) CURVE目前进展
2. CurveBS
a) CurveBS的框架
b) CurveBS的特点/设计目标
i. 高性能
1. Chunk File Pool降低元数据开销
2. DataStrip 提升吞吐率
3. 无锁队列设计
4. 零拷贝
5. RAFT 并行提交
ii. 易运维与CEPH的对比
iii. 云原生进展及目标
c) 与CEPH的性能对比
3. CurveFS设计目标
a) CurveFS框架底层支持多底层设备(S3/CurveBS/块设备)
b) POSIX兼容
c) 目前进展
4. 目前在网易的应用
5. Roadmap
a) 性能
i. Multi RAFT I/O并发
ii. 进一步提升zero copy程度
iii. 降低写放大
b) 云原生
c) CurveFS
i. Cache 模块
ii. 云原生支持
听众收益
1. 分布式存储的架构及发展
2. 存储优化的细节
3. CURVE的发展方向及演进
4. CURVE系统的特点/研发目标
5. CURVE系统的应用前景


电话咨询