當前位置:網站首頁 >
行業資訊
發布時間:2018-05-31 11:18:15來源: 快咨訊
天下武功,唯快不破
大數據最大特征不是大,而是快。
大數據的意義到底在哪里?在于將數據中的價值發現出來。
發現價值的過程是個分析過程。分析過程需要在數據中不斷摸索,是不斷重復的分析閉環:發現問題、找到答案、采取行動。如果因為數據量大,計算性能低,無法快速響應分析過程,也就無法有效發現大數據的價值了。
“快”指兩方面:
一是指產生的新數據快,譬如電信行業的數據,每秒鐘的數據量都是幾十MB,每天的數據都是TB級的。
二是指已有數據處理快,TB乃至PB級別的數據,要求分析的過程在一分鐘內,或者秒級響應。
如何實現快呢
1. 列存儲:對于同樣類型的數據,更利于數據的壓縮,減少IO的負擔。
2. 內存計算:將數據放到內存里,能極大的提高運算速度。
3. 庫內計算:將計算推送到離數據更近的地方進行計算,因為搬運數據的成本要遠遠高于搬運邏輯。
4. 分布式計算:更好的拆解運算任務為可分布式執行的,將更好的利用更多硬件資源并行處理數據。
以上是Yonghong Z-Suite所采用的技術,來通過這些大數據技術使分析過程快起來。而艾瑞咨詢通過使用Yonghong Z-Suite使得一周的數據分析工作量縮短到不到半天完成,更快的把握了互聯網行業的脈搏。
行業知識也很重要
很多人尋求大數據在自身行業的應用,當詢問我們如何利用他們自己大數據的時候,很多都會說他們的數據量有多大,但他們不知道如何利用。而實際上,我們并不是他們行業的專家,我們會告訴他們如何使用我們的產品將大數據很快用起來,前提是結合他們的行業經驗。
大數據也許是個陽謀
隨著美國名為《大數據促發展:挑戰與機遇》白皮書的公布,掀起了大數據在全世界的浪潮,帶動了大數據硬件服務器,和大數據軟件公司的發展,而這些公司或者核心技術基本都在美國。而客觀的講,大數據帶來的價值和意義勢不可擋,未來巨大的需求客觀存在,這也是藍海匯科技的挑戰與機遇。
上一篇:檢察大數據中心年內啟動建設
下一篇:軍民融合助俄羅斯軍工雙軌發展