面向存算分離架構(gòu)的混合粒度緩存策略

摘要： 存儲計算分離方案已成為一種提高大規(guī)模數(shù)據(jù)處理性能及效率的系統(tǒng)架構(gòu),但其存儲層的訪問效率低、網(wǎng)絡開銷大、對小文件不友好,存在著極大的性能瓶頸.基于MergeTree的數(shù)據(jù)庫ClickHouse在數(shù)據(jù)存儲過程中會產(chǎn)生很多小文件. ClickHouse和S3存算分離方案中文件粒度固定的SSD (solid state driver)緩存區(qū)不僅和內(nèi)存數(shù)據(jù)不匹配,還會造成緩存區(qū)空間浪費....