最新消息，日前，宜家的控股企業Interogo Holding AG斥資17億瑞典克朗(約1.90億美元)買入海恩斯莫里斯(H&M)集團0.6%的股份，并擁持有了后者0.3%的投票權。這是Interogo Holding AG第一次擁有快時尚企業的股份。

為完成一個小型爬蟲項目，在并未操作該網站提供的API情況下，細致分析了國內某著名電商網站商品屬性的獲取思路和方法，茲此記錄分享，學習交流。

靜態頁面部分

為了獲取靜態頁面部分的內容，需要操作firefox的搭建者功能禁用javascript，如圖

勾選"Disable JavaScript"。刷新頁面后可見。通過靜態頁面可獲取標題，商品ID，分類號，商品URL，圖片url等內容。可直接操作正則表達式或xpath等工具分析獲得，這里不再贅述。

動態內容部分

該網站大部分商品屬性都是通過ajax動態獲取的。還是通過瀏覽器來分析。取消勾選"Disable JavaScript"后，操作"Network"工具可對服務器響應的包進行抓包和分類。為避免反復重新加載頁面時緩存的影響，勾選"Disable Cache"選項。先打開"Network"界面，然后刷新頁面，可獲得加載過程的抓包內容。ajax請求返回的數據為json或js類型。

例如：某json數據，url為

可在network工具箱內查看其response內容為

對照頁面內容后發現其中p字段正是商品費用數據！

通過直接打開鏈接得到json串為

此response中帶有回調函數名"cnp"，觀察在url中也有一個相同字段。遂嘗試在url中去掉該字段，重新請求后

獲得json：

繼續嘗試刪除請求中的get參數，最終發現可用

正常獲取到相同的數據。

獲取到費用數據，方便了自動化生成。其余不能通過靜態內容獲取的屬性均可類比分析嘗試獲得。

<HiShop（www.gstsqh.com.cn）是國內知名公司級電商網站提供商，為公司級商家提供最佳的軟件搭建（多種商業模式電商網站開發：B2B/B2B2C/B2C/O2O/新零售等）、供應鏈軟件開發及電商行業解決規劃服務>

<本文由himall原創，商業轉載請聯系作者獲得授權，非商業轉載請標明：himall原創>