互聯(lián)網(wǎng)時(shí)代,PC、Pad、智能手機(jī)等設(shè)備無(wú)處不在,數(shù)以?xún)|計(jì)的用戶(hù)通過(guò)微博、微信、SNS、博客等途徑產(chǎn)生大量的自媒體數(shù)據(jù),電商、新聞?lì)惥W(wǎng)站、 搜索引擎每時(shí)每刻都在記錄著豐富的用戶(hù)行為信息,海量的數(shù)據(jù)促進(jìn)了云計(jì)算,分布式技術(shù)的發(fā)展,而這些技術(shù)反過(guò)來(lái)不僅推動(dòng)了Web和移動(dòng)互聯(lián)網(wǎng)的革新,也推動(dòng)了物聯(lián)網(wǎng)的飛速前進(jìn)?,F(xiàn)在,我們正逐漸邁入物聯(lián)網(wǎng)時(shí)代,實(shí)現(xiàn)萬(wàn)物互聯(lián)的愿景,如果說(shuō)之前人是信息生產(chǎn)的主體,那么或許不久的將來(lái)設(shè)備將成為主角,它們將 源源不斷地產(chǎn)生與人相關(guān)的衣食住行信息,這些信息會(huì)通過(guò)云計(jì)算、數(shù)據(jù)挖掘等技術(shù)實(shí)現(xiàn)價(jià)值的升華從而為用戶(hù)提供更優(yōu)質(zhì)、貼心的服務(wù)。那么物聯(lián)網(wǎng)時(shí)代會(huì)產(chǎn)生什 么樣的數(shù)據(jù),應(yīng)該采用什么樣的大數(shù)據(jù)策略呢?
THINKstrategies的總經(jīng)理Jeff Kaplan在自己的博文《當(dāng)物聯(lián)網(wǎng)遇見(jiàn)大數(shù)據(jù)》中寫(xiě)道:“你不能使用現(xiàn)在的策略,因?yàn)榭梢员徊东@、管理并利用的數(shù)據(jù)將更加多樣化,同時(shí)用例也會(huì)更加豐富。附加到各種設(shè)備和對(duì)象上的傳感器會(huì)產(chǎn)生各種類(lèi)型的數(shù)據(jù)。這些數(shù)據(jù)將會(huì)用于各種響應(yīng)式的、主動(dòng)的或者創(chuàng)造性的目的。IT部門(mén)的任務(wù)就是與業(yè)務(wù)部門(mén)一起工作,完全理解物聯(lián)網(wǎng)方面的用例,然后尋找滿(mǎn)足業(yè)務(wù)需求的技術(shù)。特別是,IT部門(mén)必須識(shí)別出最優(yōu)的分析平臺(tái)和工具,讓業(yè)務(wù)用戶(hù)能夠獲取到需要的數(shù)據(jù),分析數(shù)據(jù)的含義并快速地做出響應(yīng)。”
Gartner公司的副總裁、著名分析師Joe Skorupa認(rèn)為:“分布在世界各地的物聯(lián)網(wǎng)設(shè)備將產(chǎn)生大量的輸入數(shù)據(jù),將所有的數(shù)據(jù)傳送到一個(gè)位置進(jìn)行處理無(wú)論從技術(shù)上還是從經(jīng)濟(jì)上都是無(wú)法實(shí)現(xiàn)的。最近的趨勢(shì)—— 將應(yīng)用程序集中起來(lái)以便于降低成本并增強(qiáng)安全性——并不適合物聯(lián)網(wǎng)。組織必須將數(shù)據(jù)集中到多個(gè)分布式的小型數(shù)據(jù)中心中,在此對(duì)數(shù)據(jù)進(jìn)行初步的處理并發(fā)送到 一個(gè)中心站點(diǎn)進(jìn)行額外的處理。數(shù)據(jù)中心管理員需要在這些區(qū)域部署更加具有前瞻性的容量以滿(mǎn)足業(yè)務(wù)發(fā)展的需要。”
Patrick McFadin則在自己的博文《物聯(lián)網(wǎng):數(shù)據(jù)都去了哪里?》中闡述了一個(gè)具體的數(shù)據(jù)策略解決方案。他認(rèn)為整個(gè)過(guò)程可以分為三個(gè)階段:產(chǎn)生數(shù)據(jù)并通過(guò)Internet傳遞、中央系統(tǒng)收集并組織數(shù)據(jù)、持續(xù)的數(shù)據(jù)分析與使用。
第一階段需要決定數(shù)據(jù)創(chuàng)建的標(biāo)準(zhǔn)以及如何通過(guò)網(wǎng)絡(luò)進(jìn)行傳遞。Patrick McFadin認(rèn)為可以通過(guò)HTTP、MQTT和CoAP三種常用的標(biāo)準(zhǔn)協(xié)議傳遞數(shù)據(jù)。HTTP通用程度高,但是它的頭中包含大量冗余信息,不太適合帶寬 比較低的場(chǎng)景。MQTT基于發(fā)布/訂閱模型,新的設(shè)備或者服務(wù)能夠非常容易地連到中央系統(tǒng)上消費(fèi)消息。另外,它在消息大小上比HTTP更輕量,但是缺點(diǎn)是 不包含加密標(biāo)準(zhǔn)。CoAP適合于低功耗、低帶寬的場(chǎng)景,與MQTT的訂閱模式相比它更側(cè)重于一對(duì)一的連接。
第二階段則需要根據(jù)設(shè)備、網(wǎng)絡(luò)以及功耗的限制決定是實(shí)時(shí)地收集數(shù)據(jù)還是在某個(gè)時(shí)間批量收集,同時(shí)還需要決定如何存儲(chǔ)數(shù)據(jù)。如果是實(shí)時(shí)收集,那么必須要考慮數(shù)據(jù)庫(kù)的寫(xiě)入速度,這對(duì)于傳統(tǒng)的數(shù)據(jù)庫(kù)而言可能是一個(gè)挑戰(zhàn),但是像Cassandra這樣的NoSQL數(shù)據(jù)庫(kù)卻能夠輕松應(yīng)對(duì)。
一旦完成了數(shù)據(jù)的收集與存儲(chǔ),接下來(lái)就是分析了,這才是整個(gè)過(guò)程最核心的部分。此時(shí)需要考慮需要何時(shí)使用分析結(jié)果,是否需要立即或近乎實(shí)時(shí) 的分析,還是僅僅需要對(duì)歷史數(shù)據(jù)進(jìn)行處理。越來(lái)越多的人在使用Apache Spark分析大數(shù)據(jù),使用Spark Streaming滿(mǎn)足近乎實(shí)時(shí)的要求,如果將這些技術(shù)與Cassandra這樣的NoSQL數(shù)據(jù)庫(kù)結(jié)合在一起使用,那么開(kāi)發(fā)者就能夠處理并分析大規(guī)模、 快速移動(dòng)的數(shù)據(jù)集。
那么是不是所有的物聯(lián)網(wǎng)廠(chǎng)商都需要自己去構(gòu)建相關(guān)的數(shù)據(jù)解決方案呢?也不盡然,在云計(jì)算的時(shí)代大可以利用云服務(wù)提供商的資源,以降低相關(guān)的成本,對(duì)小公司或初創(chuàng)公司更是如此。Mike Kavis最近在自己的博文《物聯(lián)網(wǎng)將徹底改變你的大數(shù)據(jù)策略》中闡述了自己的方案,他認(rèn)為:“在物聯(lián)網(wǎng)時(shí)代,面對(duì)PB級(jí)的數(shù)據(jù),企業(yè)將難以以一己之力完成基礎(chǔ)設(shè)施的建設(shè)。物聯(lián)網(wǎng)所產(chǎn)生的大量數(shù)據(jù)不僅會(huì)驅(qū)動(dòng)現(xiàn)在的數(shù)據(jù)中心發(fā)生根本性的變化, 同時(shí)也會(huì)驅(qū)動(dòng)相關(guān)企業(yè)采用新的大數(shù)據(jù)策略。由于缺乏相關(guān)技能以及持續(xù)增長(zhǎng)的數(shù)據(jù)對(duì)基礎(chǔ)設(shè)施采購(gòu)的需求,企業(yè)將逐步放棄DIY模式,轉(zhuǎn)而使用PaaS和托管 的解決方案,借助于數(shù)據(jù)庫(kù)即服務(wù)(例如Amazon的Redshift、Hortonworks和Cloudera的企業(yè)級(jí)Hadoop)、托管的大數(shù)據(jù) 服務(wù)(例如Treasure Data)以及矩陣式的數(shù)據(jù)中心服務(wù)(例如GoGrid)實(shí)現(xiàn)自己的物聯(lián)網(wǎng)數(shù)據(jù)分析方案。
總之,物聯(lián)網(wǎng)的價(jià)值在于數(shù)據(jù)。企業(yè)對(duì)數(shù)據(jù)的分析工作啟動(dòng)地越快,挖掘出的業(yè)務(wù)價(jià)值就越多。而云服務(wù)提供商的目的就是通過(guò)加大相關(guān)的投入,消除數(shù)據(jù)收集、管理的風(fēng)險(xiǎn)以及復(fù)雜性,讓客戶(hù)能夠?qū)W⒂诜治觥?rdquo;