氣候變遷資料探勘之研究－以SPARK技術為基礎

The Data Mining Research on Climate Change Based on SPARK Technology

陳志達

Hadoop框架 ； MapReduce ； 巨量資料 ； 資料探勘 ； 氣候變遷調適

資訊與管理科學

12卷2期（2019 / 12 / 31）

29 - 46

繁體中文

近年來，氣象資料的更新頻率日益快速，預報系統必須在短時間內不斷儲存並製作圖像資料，且隨著觀測準確度的提升，資料品質及可描述量皆有顯著的提升，氣象預測領域儼然已符合巨量資料的範疇。在巨量資料的時代，如何從龐大且雜亂的資料中，找出有效的資訊來提升組織營運或是應用的效率是相當重要的。因此本研究提出基於Spark框架模型的建置，並藉由分散式運算的運作整合HDFS、MapReduce等相關技術，使用資料探勘分析工具建構出氣候資訊的模型架構，最後產生淺顯易懂的資訊、報表，提供給使用者作為災害預防之依據及使用，達到快速處理與分析巨量資料之目的。

1. Apache HBase. (2015). “Apache HBase ™ Reference Guide,” Apache HBase. (Available online at http://hbase.apache.org/book.html#faq).
2. Apache.org(2014).Apache.org. Apache Foundation “Cluster Mode Overview - Spark 1.2.0 Documentation - Cluster Manager Types” 2014.
3. Azzedin, Farag(2013).Towards a scalable HDFS architecture.IEEE International Conference on Collaboration Technologies and Systems (CTS),San Diego, CA:
4. Bhardwaj, Aditya(2015).Big data emerging technologies: A CaseStudy with analyzing twitter data using apache hive.2015 2nd International Conference on Recent Advances in Engineering & Computational Sciences (RAECS),Chandigarh:
5. Borthakur, D. (2013). “HDFS Architecture Guide,” Apache. (Available online at http://hadoop.apache.org/docs/r1.2.1/hdfs_design.pdf).
6. Bob Corson. (2014). “Stop Targeted Email Attacks: Removing the Path of Least Resistance for Attackers,” TREND MICROTM. (Available online at http://blog.trendmicro.com/stop-targeted-email-attacks-removing-path-least-resistance-attackers/).
7. George, Lars(2012).HBase:The Dfinitive Guide.O'Reilly Media.
8. Karau, Holden,Konwinski, Andy,Wendell, Patrick,Zaharia, Matei(2016).Learning Spark.O'Reilly & Associates.
9. Katukuri, J.(2014).Recommending similar items in large-scale online marketplaces.IEEE International Conference on Big Data (Big Data),Washington, DC:
10. Kotiyal, B.(2013).Big data: Mining of log file through Hadoop.IEEE International Conference on Human Computer Interactions (ICHCI),Chennai:
11. Manikandan, S.G.,Ravi, S.(2014).Big Data Analysis using Apache Hadoop.IEEEInternational Conference on IT Convergence and Security (ICITCS),Beijing:
12. Patel, A.B.,Birla, M.,Nair, U.(2012).Addressing big data problem using Hadoop and Map Reduce.Engineering (NUiCONE), 2012 Nirma University International Conference on. IEEE
13. Vora, M.N.(2011).Hadoop-HBase for large-scale data.IEEE International Conference on Computer Science and Network Technology (ICCSNT),Harbin:
14. White, T.(2015).Hadoop: The definitive guide.O'Reilly & Associates.
15. White, Tom(2015).Hadoop: The Definitive Guide.Oreilly Media.
16. Zaharia, Matei(2011).Spark: In-Memory Cluster Computing for Iterative and Interactive Applications.Big Learning Workshop: Algorithms, Systems, and Tools for Learning at Scale
17. 丁一賢,蘇豐凱(2013)。國立高雄大學資訊管理系碩士在職專班。
18. 王建興，“分散式計算的新角色 Spark”， http://www.ithome.com.tw/voice/9413。
19. 行政院經濟建設委員會，國家氣候變遷調適政策綱領，http://www.climate-edu.tw/。
20. 余志浩,曾嘉影(2010)。大同大學資訊工程系。
21. 周建成,楊貴安(2012)。國立中央大學土木工程學系。
22. 林大貴(2015).Hadoop+Spark 大數據巨量分析與機器學習整合開發實戰.碩博文化.
23. 柳中明，“全球氣候變遷之衝擊與調適策略探討”，http://goo.gl/bGxZuT。
24. 胡毓志,吳欣儒(2011)。國立交通大學資訊科學系。
25. 秦秉達,陳弘明,陳世穎(2015)。國立臺中科技大學資訊工程系。
26. 張軒彬,簡玠忠(2013)。國立中興大學資訊科學與工程學系。
27. 許育瑋,鄧有光(2013)。聖約翰科技大學資訊工程系。
28. 陳輝煌,陳世智,曾瑞智(2013)。大同大學資訊經營研究所。
29. 陸嘉恒(2014).Hadoop 實戰技術手冊.佳魁資訊出版公司.
30. 馮光立,胡建勳(2013)。玄奘大學資訊管理學系。
31. 黃登源,鄒濟民(2005)。智慧型資料分析研究。智慧科技與應用統計學報，3(2)，67-76。
32. 鄭允中，“AI - Ch15 機器學習(3), 樸素貝葉斯分類器 Naive Bayes classifier”，http://mropengate.blogspot.tw/2015/06/ai-ch14-3-naive-bayes-classifier.html。
33. 簡玠忠,張軒彬(2013)。國立中興大學資訊科學與工程學系。
34. 鐘志明,韓欽銓(2011)。南華大學資訊管理學系。