Scrapy框架下分布式網(wǎng)絡(luò)爬蟲數(shù)據(jù)采集算法仿真

摘要： 為提高數(shù)據(jù)采集速度、避免重復(fù)采集，提出Scrapy框架下分布式網(wǎng)絡(luò)爬蟲數(shù)據(jù)采集算法。利用搜索引擎、調(diào)度器、下載器、數(shù)據(jù)解析等模塊建立Scrapy框架，明確爬蟲體系內(nèi)包括分布式計(jì)算與儲(chǔ)存兩部分；為確保爬蟲過程負(fù)載均衡，將爬蟲速度作為評(píng)價(jià)指標(biāo)，計(jì)算節(jié)點(diǎn)權(quán)重；使用蟻群優(yōu)化算法，采用偽隨機(jī)規(guī)則，獲取智能體的網(wǎng)頁轉(zhuǎn)移概率，確定爬取路徑，更新每條路徑的信息素濃度，根據(jù)目標(biāo)函數(shù)距離選取目標(biāo)解...