海量資料時代正式來臨，跟不上腳步的企業，只能跟電影「末代武士」一樣，注定得用武士刀來對抗西洋大炮。而海量資料延伸出來的商機，勢必不容小覷。

【文／鄭威宏】

隨著時代的改變，現代化作戰的武器不可能再拿刀拿槍，取而代之當然是高科技武器，同樣的道理，放在商業模式勢必也會出現大轉變；雖然台灣社會普遍對於海量資料（Big Data）處理還不熟知，但海量資料處理不僅能在網路上了解客戶的消費經驗，捕捉行為科學，讓企業深入地了解客戶的樣貌，不論是蘋果、臉書，或是總統大選都已大量應用海量資料處理來分析，在美國社會掀起滔天巨浪。

高品質檔案傳輸環境成熟

事實上，海量資料已與大家的生活息息相關。近年來隨著3G智慧型手機的普及（4G隨侍在後）、APP應用、電子商務的盛行、社群網路的大行其道、雲端伺服器應用增加等因素使然，不僅增加消費者對於網路世界的黏著度，同時也提高消費者對於資料傳輸的使用頻率，加上高品質檔案傳輸環境成熟，大幅提高網路上的資料傳輸量，這些都是海量資料的主要來源。

因此，研究機構IDC指出，2012年全球數據流量約5EB（約10億GB），但預估到了2017年，將成長300％至21EB，而且，到2020年前數據流量的平均年複合成長達1020％。

不過，以谷歌（Google）為例，每天處理資料量高達24PB（1024 Trillionbyte），但在沒有海量資料處理能力之前，根本無法達到處理這種資料的本事，最終大批的資料庫變成苦無用武之地，加上儲存成本上的壓力，只好選擇割捨。

不過，谷歌身為全球搜尋引擎龍頭，當然有它的道理。20032004年間，由谷歌發表了兩篇論文「The Google File System、MapReduce : Simplified Data Processing on Large Cluster」開始，敘述谷歌如何利用MapReduce演算法來計算查詢索引，讓使用者能在最短時間從網際網路上取得自己查詢的資料，也讓海量資料處理開始浮上檯面，是海量資料最早的應用之一。

不過，後續學者開始大力著墨，Doug Cutting（又被稱為Hadoop之父）參考上述谷歌二篇論文為藍圖，演變成一套如何儲存、處理、分析TB至PB等級的資料處理方法－Hadoop，而Hadoop又是一個免費且開放原始碼的分散式檔案系統，可以用於各種不同電腦之間，總和成為單一電腦系統進行平行運算，不僅全球最快的運算系統，也是當今海量資料處理最主要的基礎架構，就如同一般消費者筆電中的Windows作業系統。

而且，Hadoop更可怕的不只是能處理1TB以上的海量型資料；過去的資料處理領域多為局限在結構化資料（指資料經過分析後可分解成多個互相關聯的組成部分，各組成部分間有明確的層次結構），但Hadoop還能加入非結構化資料的分析能力，像是log紀錄檔、日誌、照片、聲音、通訊紀錄或電子郵件等，過去不易且昂貴的儲存、處理、分析的資料，現在都得到解決方法。

決戰非結構資料處理

過去結構化資料約占總量的15％，但半 非結構化資料卻高達85％；也就是說，有了Hadoop的出現，不但能讓現有的資料處理能力以倍數增加，而且這種半 非結構化的資料就像一個新發現的礦山，處處充滿商機，更是讓海量資料威力發揮得淋漓盡致。

舉例來說，如果消費者要去實體商店消費，服務認真一點的店家會記錄消費者的最終消費情形，未來有新品或店家以直接提供相關產品的試用等，但消費者走向虛擬店家（電子商務）後，不僅是最終的消費紀錄，像是曾在網頁上點擊過什麼樣產品、停留時間、購物順序等都會被記錄下來，不僅能提供給下一個同性質的客群添購上的推薦參考，而且，別人的消費選擇也會再次回饋，以便同一位消費者再次光臨。

近期最夯的例子是美國最大線上影音出租服務公司Netflix（NFLX.US），過去被網路非正版授權片衝擊，每股股價從上市時的200多美元，大跌至50元附近，但在使用海量資料分析後，網站推薦給客戶的影片中，10部有7.5部會被消費者採用，大大減少行銷成本及提高營收外，還增加Netflix與客戶間的黏著度。難怪Netflix股價再從去年中旬的50美元，漲至目前超過300美元，創掛牌後新高。

商機每年以六成速度成長

目前海量資料處理已在美國市場蔚為風潮，不論是大到總統選戰，小到農場對於擠牛奶的策略，都已有海量資料處理的影子。據Gartner指出，全美已有三成的企業開始採用海量資料處理方案，較2012年成長3％，而且，計畫未來兩年採用的業者達34％。因此，說海量資料處理已變成全美商業模式的「高科技武器」，一點也不為過，未來沒有這項武器的企業，就像是由湯姆克魯斯演的「末代武士」一樣，注定用武士刀對抗西洋大炮。

因此，可以預見海量資料市場勢將快速擴大，根據Wikibon研調資料指出，預估2016年底，全球海量資料處理市場將成長至534億美元，較去年底整整成長超過十倍，換算成年複合成長率高達59.9％，可說是超快速成長的市場。

回過頭來，海量資料市場商機為何？首先理所當然就是通路或品牌業者，未來包括產品設計、廣告行銷都會越來越精準，Netflix就是最佳例子。另外，電子商務業者未來有了海量資料處理的幫助，對於客戶經驗及行為模式的掌握也就更高，對於實體商店也將形成無形的營運壓力。

若將商機角度轉至海量資料「處理」上，可分為軟、硬體及技術服務三大塊市場，就Wikibon統計，軟、硬體分別占市場約為25％及31％商機，而技術服務市場則高達44％，為單一最大營收來源的區塊。

軟體服務方面，Hadoop作為系統軟體，延伸出的應用軟體，目前國際上規模較大的業者，包括致力於提供靈活的BI（商業智慧）產品，提供混合搜索引擎和分析引擎，為商業決策供給協助的Oracle Endeca，或是致力於監測、搜尋非結構化資料，並能夠進行即時分析客戶體驗，幫助企業提高用戶黏性的Splunk。

目前國內最大系統整合商─精誠，代理Splunk近四年中，成功以Splunk為基礎下，自行開發Etu（電子商務業者使用）及m Factory（電信業者使用）分析企業寶貴且龐大的資訊。

本文由財訊快報提供