為了先填充好數(shù)據(jù)在上線，在本地搭建了一個(gè)網(wǎng)站，并用火車頭采集數(shù)據(jù)填充到里面。
開(kāi)始很上手，因?yàn)檎业木W(wǎng)站的分類中是有分頁(yè)的。很快捷的找到頁(yè)面標(biāo)識(shí)。
但是問(wèn)題來(lái)了，如今很多網(wǎng)站都是采用的Ajax加載數(shù)據(jù)，根本沒(méi)有分頁(yè)的URL。比如：CSDN，IT168等等，都是采用下拉到一定程度，自動(dòng)加載數(shù)據(jù)出來(lái)。
在沒(méi)有頁(yè)碼的情況下，直接采集當(dāng)前首頁(yè)的20-30篇文章，后面的都無(wú)法采集到。
經(jīng)過(guò)在網(wǎng)上查找教程，總算有了方法，但是相對(duì)直接加入頁(yè)碼采集，多了一個(gè)步驟。
應(yīng)該如何做？
1. 獲取目標(biāo)站API地址
在目標(biāo)頁(yè)面按F12或Ctrl+Shift+C打開(kāi)審查元素，然后點(diǎn)Network選項(xiàng)卡，通過(guò)下滑的操作實(shí)時(shí)監(jiān)控Network中出現(xiàn)的鏈接。
然后點(diǎn)擊這個(gè)鏈接，查看規(guī)律后將他復(fù)制下來(lái)。
2.利用火車頭采集這個(gè)API中的文章鏈接
這里做一個(gè)假設(shè)，實(shí)際填寫(xiě)的是上面的API地址。
采集內(nèi)容規(guī)則的設(shè)置
從上圖可以指導(dǎo)鏈接地址在：linkurl:"" 里，然后進(jìn)入第二部采集內(nèi)容
這里選擇循環(huán)匹配，不然只會(huì)采集到一個(gè)鏈接。
數(shù)據(jù)處理一下編碼和斜杠（因?yàn)椴杉膗rl有很多 \ 的轉(zhuǎn)義，直接將這個(gè)剔除）
測(cè)試一下頁(yè)面就可以獲取到文章的URL鏈接。
獲取到文章的鏈接后，如何采集它們？
當(dāng)采集到這些文章的URL后，我們先要在 第三步：發(fā)布內(nèi)容設(shè)置 ，將連接保存在桌面處理。
我將他保存在Excel文件（主要是我導(dǎo)出的TXT不完整），然后在Excel中處理好在復(fù)制到TXT中。
這個(gè)時(shí)候我們就要采集這些文字的鏈接了。
新建一個(gè)采集任務(wù)，然后將保存的TXT導(dǎo)入，然后依次進(jìn)行采集，后面的工序就不說(shuō)了，和分頁(yè)采集的步驟是一樣的。
本文由2號(hào)站長(zhǎng)網(wǎng) 五車二原創(chuàng)，原文地址：https://www.zz2zz.com/19852.html 轉(zhuǎn)載請(qǐng)注明出處。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
