網絡爬蟲有哪些分類？
來源：
奇酷教育 發表于：
網絡爬蟲有哪些分類？
通用網絡爬蟲：爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商采集數據。 通用網絡爬蟲的爬取范圍和數量巨大，對于爬行速度和存儲空間要求較高，對于爬行頁面的順序要求較低，通常采用并行工作方式，有較強的應用價值。
聚焦網絡爬蟲: 又稱為主題網絡爬蟲：是指選擇性地爬行那些與預先定義好的主題相關的頁面，和通用爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬件和網絡資源，保存的頁面也由于數量少而更新快，可以很好地滿足一些特定人群對特定領域信息的需求。
增量網絡爬蟲：對已下載網頁采取增量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面，歷史已經采集過的頁面不重復采集。增量網絡爬蟲避免了重復采集數據，可以減小時間和空間上的耗費。通常在設計網絡爬蟲時，需要在數據庫中，加入時間戳，基于時間戳上的先后，判斷程序是否繼續執行。 常見的案例有：論壇帖子評論數據的采集（如論壇的帖子，它包含400多頁，每次啟動爬蟲時，只需爬取最近幾天用戶所發的帖子)；天氣數據的采集；新聞數據的采集；股票數據的采集等。
Deep Web 爬蟲：指大部分內容不能通過靜態鏈接獲取，只有用戶提交一些表單信息才能獲取的 Web 頁面。例如，需要模擬登陸的網絡爬蟲便屬于這類網絡爬蟲。另外，還有一些需要用戶提交關鍵詞才能獲取的內容，如京東淘寶提交關鍵字、價格區間獲取產品的相關信息。
