基於Hadoop框架之巨量資料處理與安全性分析－以氣象資料為例

陳志達；劉育維

Hadoop ； HBase ； Proxy ； Thrift ； BigData

電腦稽核

31期（2015 / 01 / 30）

35 - 48

繁體中文

鑑於近年來氣象資料的更新頻率愈趨快速，系統必須在短時間內不斷儲存並製作圖像資料，且隨著觀測精度的提升，資料品質及可描述量皆有顯著的提升，氣象預測領域儼然已符合巨量資料的範疇。為此，本研究將建置一套雲端氣候資料倉儲與分散式運算系統，以Hadoop為主體平行化建構運算伺服器叢集網路，保證其高可擴充性且可執行MapReduce分散運算，有效串連異質的伺服器運算資源，可快速提升處理效能，並採用HBase為主要的資料庫儲存系統，以應付TB甚至PB等級的資料處理，同時運用Hive、Thrift等套件實現異質環境資料交換能力。而針對處理巨量資料可能面臨的高流量、穩定性及分散運算所特有的安全性問題，本系統在用戶端及內部服務間導入反向代理（ReverseProxy）伺服器作為中介者，可有效隔離外界連線帶來的安全隱憂、經代理存取減少叢集節點的反應時間、控管因繁複存取帶來的網路效能低落問題，以及提供負載平衡機制。整體而言，本研究運用Hadoop框架中的各項技術運用於天氣資料分析上，將傳統單機多核心CPU運算模式轉變成MapReduce分散式架構，如此為氣象資料儲存及分析系統帶來更佳的擴充延展性、更多的資料運算能力，以及更快速的異常復原能力，同時也保證對外提供服務此一前提的安全性，為兼具高效能、通用性與安全性的氣象資料處理分析架構。

1. Lars George,HBase：The Dfinitive Guide.
2. Ankur Khetrapal, Vinay Ganesh(2012) HBase and Hypertable for large scale distributed storage.
3. Revolution( 2012) Analytics,Data distillation with Hadoop and R
4. Manning( 2012), HBase in Action, January.
5. Gartner ( 2013) Information Security Is Becoming a Big Data Analytics Problem.
6. Fredrik Valeur( 2006) An anomalydriven reverse proxy for web applications.
7. (2011).HBase: The Definitive Guide.O'Reilly Media.
8. Hill, 0D.V.;Werpy,J.( 2011) Satellite Imagery Production and Processing Using Apache Hadoop, American Geophysical Union.
9. Thrift Wiki, http://wiki.apache.org/thrift
10. Apache HBase, http://hbase.apache. org/
11. Apache Hadoop, http://hadoop. apache.org/
12. Dhawan, Sanjeev,Rathee, Sanjay(2012).Big Data Analytics using Hadoop Components like Pig and Hive.American International Journal of Research in Science, Technology, Engineering & Mathematics
13. Jeffrey, Dean,Sanjay, Ghemawat(2004).,未出版
14. Kambatla, Karthik,Pathak, Abhinav,Pucha, Himabindu(2012).Towards Optimizing Hadoop Provisioning in the Cloud.
15. White, Tom.Hadoop: The Definitive Guide.
16. Zhu, Wei-ping(2011).Using MongoDB to implement textbook management system instead of MySQL.2011 IEEE 3rd International Conference on Communication Software and Networks
17. 李華益(2012)。碩士論文(碩士論文)。國立高雄海洋科技大學。
18. 曾坤福(2012)。碩士論文(碩士論文)。樹德科技大學。
19. 楊貴(2011)。碩士論文(碩士論文)。國立中央大學。

1. 陳立邦(2017)。以平行基因演算法於Hadoop平台上建立投資組合。中原大學資訊管理學系學位論文。2017。1-52。