電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個(gè)過程分別講解

SEP技術(shù)支持 | 2020/5/19 13:51:54

推薦使用：Excel數(shù)據(jù)采集軟件(免費(fèi)下載，像Excel一樣極速上手，可靈活自定義的企業(yè)管理軟件)

大家好，我是電子商務(wù)數(shù)據(jù)分析專家，讓我們從一則廣告開始。我是做最權(quán)威的電子商務(wù)數(shù)據(jù)分析社群，每周原創(chuàng)藍(lán)海產(chǎn)品信息開始幫助企業(yè)了解商業(yè)機(jī)會(huì)，并歡迎感興趣的人。
進(jìn)入主題，用Excel收集數(shù)據(jù)并不難，可以用VBA或Power ?Query實(shí)現(xiàn)。從淘寶，收集100頁的搜索數(shù)據(jù)并不難，但要指定Excel就有點(diǎn)困難了。因?yàn)樵谔詫毞磁老x機(jī)制的作用下，100頁，即連續(xù)100次訪問搜索結(jié)果頁面，并不像想象中那么簡單，但也不像想象中那么困難。理解這兩個(gè)重要的操作并不難。
那么，我最好從頭開始，否則文章會(huì)沉下去(每個(gè)人都無法理解)。
簡而言之，收集數(shù)據(jù)的三個(gè)過程是找數(shù)、采數(shù)和洗數(shù)。

“查找號(hào)碼”是指從網(wǎng)頁或軟件包的源代碼中查找數(shù)據(jù)，并且只有在找到數(shù)據(jù)時(shí)才查找目標(biāo)網(wǎng)址。
以淘寶搜索為例，在瀏覽器的網(wǎng)址上搜索到關(guān)鍵詞茶煙后。
https://s.taobao.com/search?q=tea ?smoke ?img ?file=comment=all ?ssid=S5-esearch ?_ type=items ?ourceid=TB ?. indexspm=a21bo ?. 2017.201856-obao-item ?. 1ie=utf ?8 initiative ?_ id=tbindexz ?_ 2017 0306
點(diǎn)擊頁面上的鼠標(biāo)右鍵，查看源代碼或在菜單中查看源代碼等。只要是表達(dá)這個(gè)意思，因?yàn)椴煌臑g覽器有不同的名稱。
一個(gè)重要的步驟是，源代碼頁搜索前景看到的目標(biāo)信息，如標(biāo)題或價(jià)格。
從搜索中獲得的描述數(shù)據(jù)在這個(gè)網(wǎng)址中，所以上面的網(wǎng)址是目標(biāo)地址。
但是，此時(shí)只有一頁數(shù)據(jù)，目標(biāo)是100頁。這將如何構(gòu)建？
s=44
s=88
s=132
通過觀察2-4頁的網(wǎng)址之間的差異，不難發(fā)現(xiàn)該頁是一個(gè)從0開始的44步的算術(shù)級(jí)數(shù)。因此，Excel是非常好的實(shí)現(xiàn)，生成一個(gè)100頁的網(wǎng)址。

這樣，下一步可以使用目標(biāo)網(wǎng)址進(jìn)入。
取樣編號(hào)是下載文件的目標(biāo)網(wǎng)址。
將鏈接加載到超級(jí)查詢(查詢編輯器)

有兩個(gè)關(guān)鍵操作。首先是添加餅干。如果沒有cookie，將需要登錄。
在開發(fā)人員模式下找到文檔的cookie(在網(wǎng)頁上按F12)，并復(fù)制cookie的內(nèi)容。

將cookie的內(nèi)容添加到超級(jí)查詢。

之后，是時(shí)候下載數(shù)據(jù)了。下載數(shù)據(jù)使用網(wǎng)絡(luò)。內(nèi)容，文本。從二進(jìn)制文件轉(zhuǎn)換成文本，這是我們在前臺(tái)看到的HTML。
短信。從二進(jìn)制(網(wǎng)絡(luò)。內(nèi)容([網(wǎng)址)，[標(biāo)題=[#'cookie'=[cookie]]))
但還沒有。即使使用cookie，在一定時(shí)間內(nèi)過于頻繁地訪問淘寶搜索頁面也會(huì)受到限制。因此，操作的第二個(gè)關(guān)鍵點(diǎn)是增加延遲。
功能。InvokeAfter(()=采集過程，持續(xù)時(shí)間. fromtext ?('003360336005 '))
顯然，延遲設(shè)置為5秒。正常人每頁至少要停留20秒。5秒的設(shè)置是為了避免cookie過期。
總的來說，整個(gè)功能是
功能。invokeAfter(()=文本。從二進(jìn)制(網(wǎng)絡(luò)。內(nèi)容([網(wǎng)址)，[標(biāo)題=[#'cookie'=[cookie]]))，持續(xù)時(shí)間。從文本(' 00:00:05 '))

這樣，可以下載100個(gè)網(wǎng)頁文件，每個(gè)文件都以文本的形式存在。

清洗號(hào)是從下載的文件中提取目標(biāo)數(shù)據(jù)。
這不是我今天要討論的。提取數(shù)據(jù)的過程可能比下載網(wǎng)頁更困難，而且可能需要兩倍的時(shí)間。

上一篇：excel抓取數(shù)據(jù)方法分享（附詳細(xì)案例和操作步驟），有需要的小伙伴可以一起學(xué)習(xí) 下一篇：「伙伴云」伙伴云免費(fèi)版和標(biāo)準(zhǔn)版功能有哪些區(qū)別？

相關(guān)主題

日本天堂影院在线播放_亚洲综合精品香蕉久久网97_无码人妻丰满熟妇区毛片18_一区二区日韩国产精品

Excel表格共享

電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個(gè)過程分別講解

日本天堂影院在线播放_亚洲综合精品香蕉久久网97_无码人妻丰满熟妇区毛片18_一区二区日韩国产精品

Excel表格共享

電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個(gè)過程分別講解

電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個(gè)過程分別講解