大數據與區塊鏈的聯系 總算搞懂了
- 時間:2018-03-23
- 來源:全球大數據峰會
今天,很多人還沒弄懂大數據,區塊鏈又來了。區塊鏈與大數據究竟有著怎樣的關系?進入大數據時代,云計算成為大數據基礎設施,也使得大數據的核心思想和云計算一脈相承。大數據和區塊鏈兩者之間有個共同的關鍵詞:分布式,代表了一種從技術權威壟斷到去中心化的轉變。
區塊鏈讓數據真正“放心”流動起來
區塊鏈以其可信任性、安全性和不可篡改性,讓更多數據被解放出來。用一個典型案例來說明,即區塊鏈是如何推進基因測序大數據產生的。區塊鏈測序可以利用私鑰限制訪問權限,從而規避法律對個人獲取基因數據的限制問題,并且利用分布式計算資源,低成本完成測序服務。區塊鏈的安全性讓測序成為工業化的解決方案,實現了全球規模的測序,從而推進數據的海量增長。
分布式的儲存
大數據,指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據需要應對海量化和快增長的存儲,這要求底層硬件架構和文件系統在性價比上要大大高于傳統技術,能夠彈性擴張存儲容量。
區塊鏈,是比特幣的底層技術架構,它在本質上是一種去中心化的分布式賬本。區塊鏈技術作為一種持續增長的、按序整理成區塊的鏈式數據結構,通過網絡中多個節點共同參與數據的計算和記錄,并且互相驗證其信息的有效性。從這一點來說,區塊鏈技術也是一種特定的數據庫技術。由于去中心化數據庫在安全、便捷方面的特性,很多業內人士看好其發展,認為它是對現有互聯網技術的升級與補充。區塊鏈則是純粹意義上的分布式系統。
分布式計算
大數據的分析挖掘是數據密集型計算,需要巨大的分布式計算能力。節點管理、任務調度、容錯和高可靠性是關鍵技術。Google是這種分布式計算技術的代表,通過添加服務器節點可線性擴展系統的總處理能力,在成本和可擴展性上都有巨大的優勢。現在,除了批計算,大數據還包括了流計算、圖計算、實時計算、交互查詢等計算框架。
區塊鏈的共識機制,就是所有分布式節之間怎么達成共識,通過算法來生成和更新數據,去認定一個記錄的有效性,這既是認定的手段,也是防止篡改的手段。區塊鏈主要包括四種不同的共識機制,適用于不同的應用場景,在效率和安全性之間取得平衡。以比特幣為例,采用的是“工作量證明”,只有在控制了全網超過51%的記賬節點的情況下,才有可能偽造出一條不存在的記錄。
大數據與區塊鏈的不同點
2011年,“大數據”第一次上榜,位于技術萌芽期的爬坡階段,當時還統稱為“Big Data and Extreme Information Processing and Management”(“大數據”和極端信息處理和管理)。2012年更進一步,并在2013年幾乎達到了過熱期頂峰。經歷了2014年的下滑,從2015年開始,“大數據”突然從曲線中消失,可解讀為Gartner對大數據的定位已從“新興”轉為“主流”。當前,大數據對于企業的意義已從能力要素上升為戰略核心。相對而言,“區塊鏈”直到2016年才第一次出現在《技術成熟度曲線》中,并直接進入“過熱期”。總的來看,“大數據”和“區塊鏈”所處的生命周期階段大不相同,兩者約有5年左右的差距。
大數據通常用來描述數據集足夠大,足夠復雜,以致很難用傳統的方式來處理。區塊鏈能承載的信息數據是有限的,離“大數據”標準還差得很遠。
大數據與區塊鏈的差異
結構化 vs 非結構化:區塊鏈是結構定義嚴謹的塊,通過指針組成的鏈,典型的結構化數據,而大數據需要處理的更多的是非結構化數據。
獨立 vs 整合:區塊鏈系統為保證安全性,信息是相對獨立的,而大數據著重的是信息的整合分析。
直接 vs 間接:區塊鏈系統本身就是一個數據庫,而大數據指的是對數據的深度分析和挖掘,是一種間接的數據。
數學 vs 數據:區塊鏈試圖用數學說話,區塊鏈主張“代碼即法律”,而大數據試圖用數據說話。
匿名 vs 個性:區塊鏈是匿名的(公開賬本,匿名擁有者,相對于傳統金融機構的公開賬號,賬本保密),而大數據有意的是個性化。
在區塊鏈中使用大數據技術
區塊鏈是一種不可篡改的、全歷史的分布式數據庫存儲技術,巨大的區塊鏈數據集合包含著每一筆交易的全部歷史,隨著區塊鏈技術的應用迅速發展,數據規模會越來越大,不同業務場景區塊鏈的數據融合會進一步擴大數據規模和豐富性。
區塊鏈以其可信任性、安全性和不可篡改性,讓更多數據被解放出來,推進數據的海量增長。
區塊鏈的可追溯性使得數據從采集、交易、流通,以及計算分析的每一步記錄都可以留存在區塊鏈上,使得數據的質量獲得前所未有的強信任背書,也保證了數據分析結果的正確性和數據挖掘的效果。
區塊鏈能夠進一步規范數據的使用,精細化授權范圍。脫敏后的數據交易流通,則有利于突破信息孤島,建立數據橫向流通機制,形成“社會化大數據”。基于區塊鏈的價值轉移網絡,逐步推動形成基于全球化的數據交易場景。
區塊鏈提供的是賬本的完整性,數據統計分析的能力較弱。大數據則具備海量數據存儲技術和靈活高效的分析技術,極大提升區塊鏈數據的價值和使用空間。
下一篇:我國碳市場的發展現狀與未來挑戰