干貨丨大數(shù)據(jù)是如何被采集及應(yīng)用的

　 域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

盡管“大數(shù)據(jù)”一詞近年來(lái)屢遭熱捧

但很多人都還不知道什么是大數(shù)據(jù)

更不知道大數(shù)據(jù)有甚卵用

這兩年，發(fā)現(xiàn)“大數(shù)據(jù)”這個(gè)詞出現(xiàn)的越來(lái)越頻繁了

不僅企業(yè)，連國(guó)家都在部署大數(shù)據(jù)戰(zhàn)略

一番百度了之后

Oh~ emmmmmmmmm~ +_+

還是沒搞懂大數(shù)據(jù)到底是個(gè)什么玩意兒

直到有一天

我發(fā)現(xiàn)一個(gè)秘密

不管我在網(wǎng)上搜索什么

頁(yè)面都會(huì)跳出我要搜索的相關(guān)產(chǎn)品或關(guān)聯(lián)事物

然后，我恍然大悟!

所謂大數(shù)據(jù)，就是算法!

它能夠“算”出我們“心中所想”

那么問題來(lái)了

大數(shù)據(jù)技術(shù)是如何采集到我們的信息的呢?

數(shù)據(jù)采集，又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。在互聯(lián)網(wǎng)行業(yè)快速發(fā)展的今天，數(shù)據(jù)采集已經(jīng)被廣泛應(yīng)用于互聯(lián)網(wǎng)及分布式領(lǐng)域，比如攝像頭，麥克風(fēng)，都是數(shù)據(jù)采集工具。

數(shù)據(jù)采集系統(tǒng)整合了信號(hào)、傳感器、激勵(lì)器、信號(hào)調(diào)理、數(shù)據(jù)采集設(shè)備和應(yīng)用軟件。在數(shù)據(jù)大爆炸的互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)的類型也是復(fù)雜多樣的，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化最常見，就是具有模式的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，包括所有格式的辦公文檔、文本、圖片、XML, HTML、各類報(bào)表、圖像和音頻/視頻信息等等。大數(shù)據(jù)采集，是大數(shù)據(jù)分析的入口，所以是相當(dāng)重要的一個(gè)環(huán)節(jié)。

我們首先來(lái)了解一下數(shù)據(jù)采集的三大要點(diǎn)：

一、數(shù)據(jù)采集的三大要點(diǎn)

(1)全面性

數(shù)據(jù)量足夠具有分析價(jià)值、數(shù)據(jù)面足夠支撐分析需求。

比如對(duì)于“查看商品詳情”這一行為，需要采集用戶觸發(fā)時(shí)的環(huán)境信息、會(huì)話、以及背后的用戶id，最后需要統(tǒng)計(jì)這一行為在某一時(shí)段觸發(fā)的人數(shù)、次數(shù)、人均次數(shù)、活躍比等。

(2)多維性

數(shù)據(jù)更重要的是能滿足分析需求。靈活、快速自定義數(shù)據(jù)的多種屬性和不同類型，從而滿足不同的分析目標(biāo)。

比如“查看商品詳情”這一行為，通過(guò)埋點(diǎn)，我們才能知道用戶查看的商品是什么、價(jià)格、類型、商品id等多個(gè)屬性。從而知道用戶看過(guò)哪些商品、什么類型的商品被查看的多、某一個(gè)商品被查看了多少次。而不僅僅是知道用戶進(jìn)入了商品詳情頁(yè)。

(3)高效性

高效性包含技術(shù)執(zhí)行的高效性、團(tuán)隊(duì)內(nèi)部成員協(xié)同的高效性以及數(shù)據(jù)分析需求和目標(biāo)實(shí)現(xiàn)的高效性。也就是說(shuō)采集數(shù)據(jù)一定要明確采集目的，帶著問題搜集信息，使信息采集更高效、更有針對(duì)性。此外，還要考慮數(shù)據(jù)的及時(shí)性。

不同應(yīng)用領(lǐng)域的大數(shù)據(jù)其特點(diǎn)、數(shù)據(jù)量、用戶群體均不相同。不同領(lǐng)域根據(jù)數(shù)據(jù)源的物理性質(zhì)及數(shù)據(jù)分析的目標(biāo)采取不同的數(shù)據(jù)采集方法。

那么，接下來(lái)我們?cè)賮?lái)了解一下常用的數(shù)據(jù)采集的方法。

常用的數(shù)據(jù)采集方法歸結(jié)為以下三類：傳感器、日志文件、網(wǎng)絡(luò)爬蟲。

(1)傳感器

傳感器通常用于測(cè)量物理變量，一般包括聲音、溫濕度、距離、電流等，將測(cè)量值轉(zhuǎn)化為數(shù)字信號(hào)，傳送到數(shù)據(jù)采集點(diǎn)，讓物體有了觸覺、味覺和嗅覺等感官，讓物體慢慢變得活了起來(lái)。

(2)系統(tǒng)日志采集方法

日志文件數(shù)據(jù)一般由數(shù)據(jù)源系統(tǒng)產(chǎn)生，用于記錄數(shù)據(jù)源的執(zhí)行的各種操作活動(dòng)，比如網(wǎng)絡(luò)監(jiān)控的流量管理、金融應(yīng)用的股票記賬和 web 服務(wù)器記錄的用戶訪問行為。

很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。

(3)Web 爬蟲

網(wǎng)絡(luò)爬蟲是指為搜索引擎下載并存儲(chǔ)網(wǎng)頁(yè)的程序，它是搜索引擎和 web 緩存的主要的數(shù)據(jù)采集方式。通過(guò)網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來(lái)，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動(dòng)關(guān)聯(lián)。

此外，對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)上的客戶數(shù)據(jù)，財(cái)務(wù)數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過(guò)與數(shù)據(jù)技術(shù)服務(wù)商合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。比如八度云計(jì)算的數(shù)企BDSaaS，無(wú)論是數(shù)據(jù)采集技術(shù)、BI數(shù)據(jù)分析，還是數(shù)據(jù)的安全性和保密性，都做的很好。

數(shù)據(jù)的采集是挖掘數(shù)據(jù)價(jià)值的第一步，當(dāng)數(shù)據(jù)量越來(lái)越大時(shí)，可提取出來(lái)的有用數(shù)據(jù)必然也就更多。只要善用數(shù)據(jù)化處理平臺(tái)，便能夠保證數(shù)據(jù)分析結(jié)果的有效性，助力企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！