Ads 468x60px

##EasyReadMore##

25 12月, 2014

curl 解決 wget 無法下載完整網頁

用wget下載 “http://list.hunantv.com/3/---------1-1---.html

下載的結果竟然只有一半

但網頁卻可以有完整的內容

原因是該網頁是採”分塊傳輸編碼”

分塊傳輸編碼(Chunked transfer encoding)是超文本傳輸協議(HTTP)中的一種數據傳輸機制

而為什為要採用這個機制

可能跟 HTTP分塊傳輸編碼允許伺服器為動態生成的內容維持HTTP持久連結 有關

http://goo.gl/SMYp6

而wget 不支援 js/AJAX 動態產生的網頁

且需要支援 gzip

而 curl 可支援 gzip

所以只要下

curl –compress “http://list.hunantv.com/3/---------1-1---.html

就可以有完整的內容了

一些有關 curl 的用法

cURL 指令教學 (cURL command how-to)

http://www.v2ex.com/t/100031

0 意見:

張貼留言

 
Blogger Templates