大數據發展存在制約因素 打破瓶頸勢在必行
- 時間:2013-11-19
- 來源:
遠光軟件(來源:CIO時代網 作者:不詳)
隨著大數據的發展,大數據價值已經在各個行業凸顯,大數據在帶來機遇的同時,也帶來了不可忽視的一系列挑戰。
“存不下”和“查不快”,是我們面臨的兩大難題。現在數據源源不斷地產生,除非增加存儲設備,但如此一來勢必會增加存儲成本。目前,街頭攝像頭拍攝的視頻數據,通常只會存一段時間,有的保存三個月,有的保存一個月,就被覆蓋掉,為什么會這樣?就是因為存不起,費用太高。提高視頻的壓縮效率是解決存儲問題的途徑之一,目前科研人員正在從事第三代編碼技術的研究,以減少空間占用。
在數據處理上,由于大數據中大部分都是非結構化的數據,現有的軟件和工具主要適用于以結構化數據為主的傳統數據,要想及時捕捉、存儲、聚合和管理這些大數據,以及對數據進行深度分析和挖掘,需要新的技術和能力。而我國數據存儲、處理技術基礎薄弱,總體上以跟隨為主,難以滿足大數據大規模應用的需求。
此外,掌握非結構化數據或流數據的分析技能,對大多數企業來說是一個持續的挑戰。在這些領域中,盡管硬件和軟件已經成熟,但技能仍然缺乏。在美國,對高技能數據分析人才的需求,可能超出目前預測供應量的50%至60%。到2018年,美國需要新增多達14萬至19萬名專家。人才緊缺的狀況如果不解決將嚴重影響大數據應用。
“大數據”對個人信息獲取渠道拓寬的需求引發了另一個重要問題:隱私和便利性之間的沖突。一方面,大數據需要共享、數據開放、平臺利用,而目前我國一些部門和機構擁有大量數據但受行政壟斷和商業利益所限,數據開放程度也較低,有些部門把一些數據當成自己的,放那里既不使用,也不提供給研究者。專家指出,這是我國大數據研究的軟肋和需要解決的大問題。
另一方面,消費者在享受大數據帶來好處的同時,個人購買偏好、健康和財務情況的海量數據被收集,對隱私的擔憂也在增大。從純技術角度來說,美國的“棱鏡”項目是一個典型的通過分析海量通訊數據獲取安全情報的大數據案例,但嚴重侵犯了個人隱私。
評論:
大數據發展中面臨的瓶頸和挑戰是很常見的,也是國內外大數據發展當中都面臨的問題,只是我國在某些方面表現得更為突出。因此,作為大數據后起之秀的發展國家,我們應該下定決心迎頭趕上,在徹底解決這些問題之后,釋放大數據發展空間。
下一篇:商業智能六大發展趨勢