1.Jsoup簡述
Java中支持的爬蟲框架有很多，比如WebMagic、Spider、Jsoup等。今天我們使用Jsoup來實現(xiàn)一個簡單的爬蟲程序。
Jsoup擁有十分方便的api來處理html文檔，比如參考了DOM對象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁面數(shù)據(jù)的技巧。
2.快速開始
1)編寫HTML頁面
頁面中表格的商品信息是我們要爬取的數(shù)據(jù)。其中屬性pname類的商品名稱，以及屬于pimg類的商品圖片。
2)使用HttpClient讀取HTML頁面
HttpClient是一個處理Http協(xié)議數(shù)據(jù)的工具，使用它可以將HTML頁面作為輸入流讀進(jìn)java程序中?？梢詮?/p>
http://hc.apache.org/ 下載HttpClient的jar包。
3)使用Jsoup解析html字符串
通過引入Jsoup工具，直接調(diào)用parse方法來解析一個描述html頁面內(nèi)容的字符串來獲得一個document對象。該document對象以操作DOM樹的方式來獲得html頁面上指定的內(nèi)容。
下面我們使用Jsoup來獲取上述html中指定的商品名稱和價格的信息。
至此，我們已經(jīng)實現(xiàn)使用HttpClient+Jsoup爬取HTML頁面數(shù)據(jù)的功能。接下來，我們讓效果更直觀一些，比如將爬取的數(shù)據(jù)存到數(shù)據(jù)庫中，將圖片存到服務(wù)器上。
3.保存爬取的頁面數(shù)據(jù)
1)保存普通數(shù)據(jù)到數(shù)據(jù)庫中
將爬取的數(shù)據(jù)封裝進(jìn)實體Bean中，并存到數(shù)據(jù)庫內(nèi)。
2)保存圖片到服務(wù)器上
直接通過下載圖片的方式將圖片保存到服務(wù)器本地。
4.總結(jié)
本案簡單實現(xiàn)了使用HttpClient+Jsoup爬取網(wǎng)絡(luò)數(shù)據(jù)，對于爬蟲技術(shù)本身，還有很多值得深挖的地方，以后再為大家講解。
以上就是深圳達(dá)內(nèi)教育java培訓(xùn)機(jī)構(gòu)的小編針對“Java爬蟲視頻教程，Jsoup實現(xiàn)爬蟲技術(shù)”的內(nèi)容進(jìn)行的回答，希望對大家有所幫助，如有疑問，請在線咨詢，有專業(yè)老師隨時為你服務(wù)。
