分布式環(huán)境下大規(guī)模維表關(guān)聯(lián)技術(shù)優(yōu)化

摘要： 分布式環(huán)境下大規(guī)模維表關(guān)聯(lián)技術(shù)是當前在線大數(shù)據(jù)分析的關(guān)鍵技術(shù)之一,其廣泛應用于實時推薦、實時分析等領(lǐng)域。
維表關(guān)聯(lián)是指將流數(shù)據(jù)和離線存儲的維表數(shù)據(jù)進行關(guān)聯(lián),并根據(jù)這種關(guān)聯(lián)進行數(shù)據(jù)處理。
首先,對已有的維表連接技術(shù)方案進行了研究,調(diào)研了相關(guān)的優(yōu)化技術(shù)和主流分布式引擎的設(shè)計路線,主要通過優(yōu)化維表數(shù)據(jù)查詢提高性能,但傳統(tǒng)的優(yōu)化方式受到維表規(guī)模和數(shù)據(jù)流速的限制。