搜索引擎蜘蛛簡稱網(wǎng)絡爬蟲(webcrawler)，網(wǎng)絡爬蟲(又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡機器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者)，是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的…