壓縮式感應(yīng) 處理巨量「大數(shù)據(jù)」
莊開(kāi)仁
數(shù)據(jù)不斷急速增長(zhǎng),特別是採(cǎi)自互聯(lián)網(wǎng)及各種傳感器的數(shù)據(jù),由此產(chǎn)生了「大數(shù)據(jù)」,亦即數(shù)據(jù)集的組合體,其內(nèi)容巨大而又複雜,無(wú)法用傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)去處理。
不過(guò),「如果沒(méi)有工具去使用數(shù)據(jù),數(shù)據(jù)就毫無(wú)意義,」哈佛大學(xué)的孔祥重教授12月6日在香港城市大學(xué)(城大)發(fā)表演講,一開(kāi)始就這麼說(shuō)。孔教授是哈佛大學(xué)的威廉˙H蓋茨電腦科學(xué)及電機(jī)工程學(xué)講座教授。
這場(chǎng)演講題為「大數(shù)據(jù)與壓縮式感應(yīng)」,是城大「大學(xué)傑出講座系列」最近一場(chǎng)演講。孔教授回顧了「大數(shù)據(jù)」的背景及其應(yīng)用,描述了一些通常用來(lái)分析大數(shù)據(jù)的技術(shù),但演講的重點(diǎn)是如何運(yùn)用「壓縮式感應(yīng)」這種新工具來(lái)應(yīng)對(duì)數(shù)據(jù)量龐大的問(wèn)題。
孔教授說(shuō),近年來(lái),數(shù)據(jù)採(cǎi)集的速度一直在加快,因?yàn)榛ヂ?lián)網(wǎng)一直承載大量的流通信息,例如網(wǎng)誌、電郵、文字短訊、推文、電子商務(wù)交易資料等等,而各類傳感器或儀表、照相機(jī)、麥克風(fēng)、移動(dòng)通訊設(shè)備等輸入工具,也不停生成大量信號(hào)和圖像。
孔教授指出,由此形成的大數(shù)據(jù)具有「三個(gè)V」的特色:Volume(容量極大)、Variety(種類繁雜,包含結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù))、Velocity(變化迅速)。要應(yīng)付這樣的大數(shù)據(jù),顯然要有不同於傳統(tǒng)的數(shù)據(jù)管理方法,而「雲(yún)端運(yùn)算」就是一種新技術(shù),在數(shù)據(jù)分析方面已發(fā)揮巨大作用。
但是,運(yùn)算能力強(qiáng)大,能否跟得上快速增長(zhǎng)的需求?孔教授指出,人類對(duì)數(shù)據(jù)分析的需求永無(wú)窮盡,例如用於預(yù)測(cè)社會(huì)趨勢(shì)及消費(fèi)者行為的分析,以及用於其他用途的分析。他還說(shuō),建基於數(shù)據(jù)分析的決策,需要有精密的數(shù)學(xué)工具與嚴(yán)謹(jǐn)?shù)?a name="OLE_LINK11">推理。
孔教授強(qiáng)調(diào)指出,歸根結(jié)底,我們必須將數(shù)據(jù)大量而快速地壓縮,同時(shí)保留其中的關(guān)鍵信息,並認(rèn)為這是當(dāng)今信息處理的一個(gè)基本要求。他隨即又指出,幸好我們通常可以把待分析的數(shù)據(jù)樣本分為「常規(guī)」與「創(chuàng)新」兩類,然後運(yùn)用已知的、學(xué)得的、特製的模型去處理「常規(guī)」數(shù)據(jù),而運(yùn)用「壓縮式感應(yīng)」去分析「創(chuàng)新」類數(shù)據(jù)。
孔教授總論道,有了這樣的壓縮式取樣分析,我們就能夠在壓縮後的數(shù)據(jù)範(fàn)圍內(nèi),把「大數(shù)據(jù)」的分析轉(zhuǎn)化為小量數(shù)據(jù)的分析,從而使巨量數(shù)據(jù)集的處理、傳輸、存儲(chǔ)變得大為簡(jiǎn)易。他還說(shuō),如此一來(lái),即使是移動(dòng)電話等價(jià)格低廉的用戶設(shè)備,也能直接參與大數(shù)據(jù)的分析。
城大校長(zhǎng)郭位教授為聽(tīng)眾介紹孔教授時(shí),讚揚(yáng)他在電腦科學(xué)領(lǐng)域的傑出成就,並表示這場(chǎng)演講定能令城大師生受益。
孔教授曾在卡內(nèi)基—梅隆大學(xué)任教19年,然後在1992年加入哈佛大學(xué)。他以學(xué)術(shù)研究與多方實(shí)踐相促進(jìn),一直與業(yè)界保持緊密聯(lián)繫,並為多家公司及政府機(jī)構(gòu)擔(dān)任顧問(wèn)。孔教授是美國(guó)國(guó)家工程院院士、臺(tái)灣中央研究院院士,曾獲古根海姆獎(jiǎng)。
?