作為全球最大的搜索引擎公司，Google也是我們公認的大數(shù)據鼻祖，它存儲著大量能夠進行訪問的網頁，數(shù)目可能已經達到了萬億規(guī)模，如果要將這些數(shù)據全部存儲起來，大約需要數(shù)萬塊磁盤。

      大數(shù)據應用的搜索引擎時代

       針對數(shù)據的存儲問題，Google開發(fā)了GFS文件系統(tǒng)，將數(shù)千臺的服務器同時進行管理，并將其作為一個文件系統(tǒng)，存儲所有的網頁文件。

　　在發(fā)展文件存儲以外，谷歌還設計了PageRank算法，在對文件系統(tǒng)中文件發(fā)生的詞匯進行整理和統(tǒng)計之后，利用PageRank進行詞匯排名，MapReduce的大數(shù)據框架也是為了進行數(shù)據的規(guī)劃和統(tǒng)計而出現(xiàn)的。

　　在當時，Google的大數(shù)據技術和PageRank也讓當時的它超過了當時的Yahoo，成為當時的搜索引擎巨頭。而Google后期對于Hadoop平臺的積極建設，也為它的后期發(fā)展增添了一份力量。

　　大數(shù)據應用的數(shù)據倉庫時代

　　如果MapReduce的推出是為了進行數(shù)據的關鍵排名，那么后期Hive的推出，則為使用數(shù)據庫語言進行MapReduce的數(shù)據分析提供了方法，Hive的出現(xiàn)大大簡化了使用大數(shù)據進行數(shù)據分析的過程，為我們進行海量數(shù)據處理提供了可能。

　　成本的降低，方式的便利，意味著我們能夠進行分析的數(shù)據類型在逐漸增多，我們不僅可以分析各詞匯出現(xiàn)的頻率進行排名，還可以對瀏覽器的運行日志、應用采集數(shù)據、數(shù)據庫數(shù)據進行綜合分析。

　　Hive的發(fā)展推動了大數(shù)據的實際應用，同時為大數(shù)據的挖掘做了鋪墊。

　　大數(shù)據應用的數(shù)據挖掘時代

　　除了數(shù)據統(tǒng)計，我們自然希望發(fā)掘更多的數(shù)據價值，這就是數(shù)據的挖掘時代。

　　在商業(yè)環(huán)境中，通過解讀商品和商品，商品和用戶的關聯(lián)關系，就可以進行關聯(lián)分析，最終目的是讓用戶盡可能看到想購買的商品。

　　數(shù)據挖掘將高性能計算、機器學習、人工智能、模式識別、統(tǒng)計學、數(shù)據可視化、數(shù)據庫技術和專家系統(tǒng)等多個范疇的理論和技術融合在一起。大數(shù)據時代對數(shù)據挖掘而言，既是機遇也是挑戰(zhàn)，分析大數(shù)據，建立適當?shù)捏w系，不斷地優(yōu)化，提高決策的準確性，從而更利于掌握并順應市場的多端變化。

　　在大數(shù)據時代下，數(shù)據挖掘作為最常用的數(shù)據分析手段得到了各個領域的認可，目前國內外學者主要研究數(shù)據挖掘中的分類、優(yōu)化、識別、預測等技術在眾多領域中的應用。

　　大數(shù)據應用的機器學習時代

　　比如，把歷史上人類圍棋對弈的棋譜數(shù)據都存儲起來，針對每一種盤面記錄何種落子可以得到更高的贏面。得到這個統(tǒng)計規(guī)律以后，就可以利用這個規(guī)律和人下棋，每一步都計算落在何處將得到更大的贏面，于是我們就得到了一個會下棋的機器人，這就是前兩年轟動一時的AlphaGo，以壓倒性優(yōu)勢下贏了人類的頂尖棋手。

　　要進行機器學習首先，我們需要在計算機中存儲歷史的數(shù)據。接著，我們將這些 數(shù)據通過機器學習算法進行處理，這個過程在機器學習中叫做“訓練”，處理的結果可以被我們用來對新的數(shù)據進行預測，這個結果一般稱之為“模型”。對新數(shù)據 的預測過程在機器學習中叫做“預測”。“訓練”與“預測”是機器學習的兩個過程，“模型”則是過程的中間輸出結果，“訓練”產生“模型”，“模型”指導 “預測”。

　　通過對機器學習的關系對應，我們會發(fā)現(xiàn)，機器學習只是對人類行為的分析和總結。它的結論不是計算機計算獲取，而是通過機器學習分析到的，歸納法得到的事件相關關系。