時間：2023-06-06 09:01:29
開篇：寫作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇大數(shù)據(jù)分析，希望這些內容能成為您創(chuàng)作過程中的良師益友，陪伴您不斷探索和進步。
【關鍵詞】大數(shù)據(jù) 數(shù)據(jù)分析 數(shù)據(jù)分析師
近年來，業(yè)界、學術界興起了大數(shù)據(jù)討論，一夜間大數(shù)據(jù)時代到來了。大數(shù)據(jù)給學術界帶來了新的思潮，大數(shù)據(jù)正在顛覆著很多傳統(tǒng)行業(yè)的模式，帶來變革。有人預測，大數(shù)據(jù)必將成為商業(yè)、政府、科研、教育、醫(yī)療等各行業(yè)面臨的一個挑戰(zhàn)。在大數(shù)據(jù)時代，數(shù)據(jù)分析、數(shù)據(jù)挖掘工作面臨著機遇與挑戰(zhàn)，本文從數(shù)據(jù)分析的角度，結合國內外相關研究，試圖回答大數(shù)據(jù)是什么，如何應對大數(shù)據(jù)的問題。
一、認識大數(shù)據(jù)
（一）大數(shù)據(jù)的宗旨：經過分析的數(shù)據(jù)才有價值
大數(shù)據(jù)要發(fā)揮作用必須經過分析，這是由大數(shù)據(jù)的4V特性（數(shù)據(jù)量大、數(shù)據(jù)類型多、要求處理速度快、低密度）決定的。也就是說，數(shù)據(jù)都是高維、低密度的，從單個數(shù)據(jù)中難以看出規(guī)律。因此，必須經過分析，針對高維進行降維，提煉大量低密度信息中的價值，才能發(fā)揮作用。否則，大數(shù)據(jù)背景下，反而更容易使得“活”信息混跡在大量“死”數(shù)據(jù)中被淹沒。面向大數(shù)據(jù)的分析要“簡單、迅速、規(guī)模化”。
（二）大數(shù)據(jù)的目標：實現(xiàn)基于數(shù)據(jù)的決策與資源配置
大數(shù)據(jù)最終要實現(xiàn)科學決策，基于信息對稱的有效資源配置。隨著大數(shù)據(jù)分析技術的發(fā)展，可利用數(shù)據(jù)來源從線下封閉的數(shù)據(jù)庫、數(shù)據(jù)倉庫擴展到開放性的O2O（Online To Offline）融合數(shù)據(jù)，可分析數(shù)據(jù)結構從原來以數(shù)值為主的結構化數(shù)據(jù)發(fā)展到涵蓋文本、視頻、音頻等多媒體數(shù)據(jù)。從而，大數(shù)據(jù)將逐步改變我們的決策目標和社會資源配置方式。基于數(shù)據(jù)的科學決策是一貫追求的目標。然而，信息不對稱是常態(tài)，因此傳統(tǒng)決策目標是建立相對滿意而非最優(yōu)（決策科學家Simon提出），資源配置效率基于市場優(yōu)于基于計劃。大數(shù)據(jù)背景下，迅速獲取分析更多輔助決策信息成為可能，因此決策目標可實現(xiàn)向最優(yōu)的無限逼近，實現(xiàn)基于數(shù)據(jù)的“計劃”資源配置將更有效率。
（三）大數(shù)據(jù)的角度：個性化服務+中觀指數(shù)+宏觀連結
目前發(fā)展大數(shù)據(jù)，主要有基于數(shù)據(jù)為客戶提供個性化營銷服務、預測中觀行業(yè)或區(qū)域趨勢指數(shù)、基于連結的宏觀資源配置方案等角度。這不僅僅體現(xiàn)在阿里小微融資的個性化風控決策、高端品牌在線特賣品牌和定價動態(tài)決策（基于阿里巴巴網商活躍度指數(shù)和零售商品價格指數(shù)）、Discern group企業(yè)發(fā)展戰(zhàn)略咨詢報告上，還體現(xiàn)在阿里巴巴商務智能指數(shù)（預測經濟發(fā)展態(tài)勢）和基于公共氣象數(shù)據(jù)的各行業(yè)資源配置優(yōu)化服務上。
互聯(lián)網金融是大數(shù)據(jù)發(fā)展各角度的前沿陣地。在金融領域，要實現(xiàn)從金融互聯(lián)網向互聯(lián)網金融的快速轉型。傳統(tǒng)模式下的金融企業(yè)開展網上業(yè)務，如：網上銀行、網上理財，并不是真正的互聯(lián)網金融。互聯(lián)網金融是指通過互聯(lián)網新技術為客戶實現(xiàn)搜索或風控等服務增值，比較有代表性的是，消除供求雙方結構不對稱的P2P貸款，提高存取效率的保值理財產品余額寶。
（四）大數(shù)據(jù)的關鍵點：保證數(shù)據(jù)質量
要發(fā)展大數(shù)據(jù)分析，首先要保證數(shù)據(jù)質量。錯誤的輸入必然導致錯誤的輸出。沒有數(shù)據(jù)質量，一切都是浮云。數(shù)據(jù)質量沒有保證，是不敢用的。數(shù)據(jù)質量是一項耗時、費力的基礎工作。
保證數(shù)據(jù)質量要求數(shù)據(jù)采集與清洗過程中秉持兩大原則：相關性和低噪聲。第一，大數(shù)據(jù)，數(shù)據(jù)并非越“大”越好，而是相關數(shù)據(jù)越“大”越好。特別是，在數(shù)據(jù)采集中，要以采集盡可能多的“相關”數(shù)據(jù)為目標，而非不加篩選越多越好。第二，大數(shù)據(jù)，首先數(shù)據(jù)獲取時要保證不存在誘導傾向的干擾因素，同時進行去噪處理。
保證數(shù)據(jù)質量要建立數(shù)據(jù)的數(shù)據(jù)。針對數(shù)據(jù)質量建立數(shù)據(jù)標簽，才有進步。有了對數(shù)據(jù)質量的數(shù)據(jù)，數(shù)據(jù)才能被決策者更為安全科學有效地使用。
（五）大數(shù)據(jù)競爭的核心：分析人才的競爭
大數(shù)據(jù)時代，作為一種資源，數(shù)據(jù)不再是稀缺資源。互聯(lián)網、門戶網站、社交網站、微博、微信等新媒體積累了大量數(shù)據(jù)，缺乏的是對這些數(shù)據(jù)的分析人員。缺乏專業(yè)的分析人才，即使守著數(shù)據(jù)的“金山”，也只能望“山”興嘆。因此，美國Turbo Financial Group采用最新的大數(shù)據(jù)分析技術聚焦被FICO遺忘的15%人群建模，阿里提出建立大數(shù)據(jù)分析的開放式平臺，希望能夠集結更多專家智慧，同時培養(yǎng)阿里分析人才，挖掘阿里數(shù)據(jù)“金礦”。
二、把握大數(shù)據(jù)
大數(shù)據(jù)對社會生活帶來方方面面的影響，我們如何把握大數(shù)據(jù)時代的機遇，需要慎重對待大數(shù)據(jù)帶來的挑戰(zhàn)。總結起來，主要有三個方面：
（一）大數(shù)據(jù)時代，數(shù)據(jù)整理和清洗工作
（1）數(shù)據(jù)整理和清洗工作是數(shù)據(jù)分析的基礎。大數(shù)據(jù)專家根據(jù)經驗，普遍認為該工作是一項基礎性工作，耗時多且簡單，占到數(shù)據(jù)分析工作量的60%以上，是數(shù)據(jù)分析前提和基礎。在此基上，數(shù)據(jù)分析工作需要對數(shù)據(jù)進行標識，進行深度分析，撰寫專題報告，確保結果可以執(zhí)行，最終落實到決策和實施。
（2）大數(shù)據(jù)時代，需要充分借助IT技術管理數(shù)據(jù)質量工作。在大數(shù)據(jù)時代，人工逐筆發(fā)現(xiàn)、解決數(shù)據(jù)質量問題的方式成本高、效率低，不可持續(xù)。要盡量規(guī)范化、系統(tǒng)化、自動化管理數(shù)據(jù)質量工作，將節(jié)省下的人力資源投入到新問題的研究中。
（二）大數(shù)據(jù)時代，數(shù)據(jù)分析的特點
（1）采用倒金字塔模式分配“思考、工作、分享”的時間比重。數(shù)據(jù)分析工作包括三部分：“思考”，分析實際問題，將實際問題轉化成數(shù)學模型，提出解決方案的過程；“工作”，將解決方案程序化，得出結果的過程；“分享”，將分析的結果，轉化為決策，付諸實施的過程。在時間分配上，金字塔結構或柱形結構的分布形式不是最佳結構，倒金字塔結構比較合理。即，思考的過程花得時間長些，可以減少后期工作量，少走彎路。
（2）通過數(shù)據(jù)分析進行科學決策。很多人存在誤區(qū)，認為數(shù)據(jù)分析就是做報表、寫報告。在大數(shù)據(jù)時代，數(shù)據(jù)分析不僅僅停留在此，需要進行深度分析，建立數(shù)據(jù)化決策的流程。要尊重數(shù)據(jù)、認識數(shù)據(jù)，但不迷信數(shù)據(jù)。在尊重數(shù)據(jù)、尊重事實的前提下，減少主觀因素的干擾，快速做出數(shù)據(jù)化決策，這是一種能力。
（3）大數(shù)據(jù)時代，數(shù)據(jù)分析的要義是――簡單、迅速、規(guī)模化。數(shù)據(jù)分析的結果要簡潔、易懂；數(shù)據(jù)分析的時間要短，盡可能的自動化地出結果，要快速的滿足客戶的需求；數(shù)據(jù)分析的方法能夠實現(xiàn)大批量規(guī)模化。優(yōu)秀的數(shù)據(jù)分析師應具有全局的預見性，一有問題可以馬上把該問題打成很碎、很多的問題，甚至把一個問題克隆出很多問題，從而與業(yè)務人員建立信任，降低工作量。
（4）從“死”信息中，分離出“活”的信息。大數(shù)據(jù)有數(shù)據(jù)量大的問題――產生大量的“死”數(shù)據(jù)。錯誤數(shù)據(jù)是指數(shù)據(jù)與實際情況不一致，異常數(shù)據(jù)是指數(shù)據(jù)正確但數(shù)據(jù)遠離群體的大多數(shù)，這類數(shù)據(jù)情況的處理手段比較成熟。而大數(shù)據(jù)時代，大量數(shù)據(jù)是不活躍主體，即“死”數(shù)據(jù)。因此，需要從高維低密度數(shù)據(jù)中，提取“活”的信息，發(fā)現(xiàn)規(guī)律。防止由于“死”信息的存在，導致分析結果不能正確反映“活”的群體特征。
（三）大數(shù)據(jù)時代，數(shù)據(jù)分析師的培養(yǎng)
（1）培養(yǎng)核心技術人才，確保長期競爭力。美國在建立全國醫(yī)療系統(tǒng)時，將系統(tǒng)外包給了加拿大的一家公司，系統(tǒng)運行的第一天就出現(xiàn)了崩潰。美國政府為此對該模式進行了反思，概括起來有三點：①外包公司設計時只顧滿足甲方的眼前利益，不會為甲方的長遠利益考慮；②項目外包造成美國技術骨干人員斷層，導致出現(xiàn)問題后自身無法解決；③采用該模式導致美國沒有了核心技術。
因此，在采用項目外包模式的同時，需要掌握其核心技術。在大數(shù)據(jù)時代，從數(shù)據(jù)分析、信息管理、IT技術三個方面保持核心競爭力。需要培養(yǎng)和保持業(yè)務、產品設計、數(shù)據(jù)分析、數(shù)據(jù)架構等方面的骨干隊伍。
（2）建立專業(yè)化的大數(shù)據(jù)分析團隊。大數(shù)據(jù)分析的核心是數(shù)學建模，基礎是實際業(yè)務，結果是自動化程序。在實際工作中需要正確、合理的使用數(shù)學建模的思維，構建以數(shù)學模型做為基礎的數(shù)據(jù)分析，建立量化管理風險的理念。深刻認識并正確駕馭大數(shù)據(jù)分析，大數(shù)據(jù)分析的方法是處于不斷發(fā)展過程中的，需要根據(jù)實際問題，結合實際數(shù)據(jù)，靈活構建模型。
參考文獻：
[1]朱建平，章貴軍，劉曉葳.大數(shù)據(jù)時代下數(shù)據(jù)分析理念的辨析[J].統(tǒng)計研究，2014，（2）.
關鍵詞：大數(shù)據(jù)分析；情報；統(tǒng)計分析
中圖分類號： F279.23 文獻標識碼： A 文章編號： 1673-1069（2017）03-14-2
0 引言
大數(shù)據(jù)分析是當下非常熱門的一個話題，各行各業(yè)都在炒作大數(shù)據(jù)概念。仿佛不和大數(shù)據(jù)發(fā)生關系就好像趕不上時代。但是大數(shù)據(jù)的概念和作用仍然需要澄清，尤其是在特定環(huán)境中就一定要說明大數(shù)據(jù)的作用及如何真正利用大數(shù)據(jù)。
本文介紹了大數(shù)據(jù)的概念，大數(shù)據(jù)分析思路，僅從企業(yè)管理的角度去分析大數(shù)據(jù)的作用，并介紹了大數(shù)據(jù)分析實施項目注意事項。
1 大數(shù)據(jù)分析綜述
隨著信息技術的發(fā)展，各行各業(yè)都或多或少地應用了信息系統(tǒng)，尤其是20世紀90年代數(shù)據(jù)倉庫技術產生以來，數(shù)據(jù)規(guī)模出現(xiàn)了PB級的增長。以前企業(yè)只是把信息系統(tǒng)作為輔助業(yè)務管理的一個工具，而不重視數(shù)據(jù)的作用，而現(xiàn)在，企業(yè)發(fā)現(xiàn)通過數(shù)據(jù)分析可以更好地理解用戶需求和企業(yè)運營，幫助企業(yè)持續(xù)增長和盈利。在這種背景下，“大數(shù)據(jù)分析”概念應運而生。大數(shù)據(jù)分析的本質是從數(shù)據(jù)中發(fā)現(xiàn)價值，通過大數(shù)據(jù)分析發(fā)現(xiàn)新的商業(yè)機遇和商業(yè)價值。如果僅僅是數(shù)據(jù)分析和分析數(shù)據(jù)，將會陷入技術的陷阱，企業(yè)會得不償失。
大數(shù)據(jù)的“大”取決于數(shù)據(jù)分析的起點以及數(shù)據(jù)處理的方式。大數(shù)據(jù)并不僅僅是大。大數(shù)據(jù)具有“4V”的特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
大數(shù)據(jù)分析并不是一種技術，而更像是一個概念，其核心理念就是從超越傳統(tǒng)的數(shù)據(jù)分析方式，從海量數(shù)據(jù)中選取與企I有關的價值。擺脫了信息系統(tǒng)的視角，關注點不再是信息系統(tǒng)本身，而是通過信息系統(tǒng)沉淀的數(shù)據(jù)，從數(shù)據(jù)中發(fā)現(xiàn)用戶的行為等信息，從數(shù)據(jù)的本質上去挖掘價值。
大數(shù)據(jù)分析是伴隨著數(shù)據(jù)科學的快速發(fā)展和數(shù)據(jù)密集型范式的出現(xiàn)而產生的一種全新的分析思維和技術，大數(shù)據(jù)分析與情報分析、云計算技術等內容存在密切的關聯(lián)關系。
大數(shù)據(jù)的本質是基于大量的多維數(shù)據(jù)，只針對少量幾個目標，在一定范圍的時間周期內進行預測，大數(shù)據(jù)分析過程就是情報收集過程。
2 大數(shù)據(jù)分析在企業(yè)管理中的作用
2.1 使企業(yè)內信息統(tǒng)計更加真實
企業(yè)內部數(shù)據(jù)收集可以是跟管理相關的數(shù)據(jù)，以前的數(shù)據(jù)都是基于人工統(tǒng)計的，是傳統(tǒng)的報表方式，并不能得到管理過程數(shù)據(jù)，都是結果數(shù)據(jù)，這種情況下，數(shù)據(jù)都存在“人為因素”。所以可能給高層決策帶來錯誤的信息，導致錯誤的決策。而通過大數(shù)據(jù)分析，可以對數(shù)據(jù)的結果進行驗證，從多個維度對數(shù)據(jù)的結果進行分析，保證數(shù)據(jù)的真實性。
以前都是單口徑統(tǒng)計數(shù)據(jù)，各部門為了自己的利益必然會對數(shù)據(jù)進行加工，因為沒有相互制約的方式，最后不同口徑的數(shù)據(jù)會有不同的結果。而通過大數(shù)據(jù)分析，從對個維度對數(shù)據(jù)分析，每個口徑的數(shù)據(jù)都相互制約，誰都無法對數(shù)據(jù)加工。當然，這需要對數(shù)據(jù)的結果帶來的利益進行平衡，實現(xiàn)相互制約的作用。
比如，生產車間要上報產量數(shù)據(jù)，需要有每天的兌現(xiàn)率，每周兌現(xiàn)率和每月兌現(xiàn)率，為了完成這個數(shù)據(jù)，就必須按時完成產量。每月上報產量時就會自動將每天的產量求和，如果出現(xiàn)沖突就表名數(shù)據(jù)由問題，會從財務成本的口徑反映出來。
2.2 為企業(yè)管理提供情報支持
一般在大型企業(yè)中都設有情報部門，主要是研究產業(yè)前沿情況，市場競爭信息等。傳統(tǒng)的情報分析主要依賴情報人員的專業(yè)背景和經驗，依靠情報人員主觀的洞察力和眼光，通過人的分析和推理做出情報研究的結論。這種情況下，雖然能夠取得一定的成果，但風險很大，基本是依賴人的主觀能動性。但是隨著信息技術的發(fā)展，知識越來越廣泛，而人的認知能力總是存在一定的局限性，企業(yè)對情報人員的要求也就越來越高。
大數(shù)據(jù)分析的出現(xiàn)為了企業(yè)情報分析提供了可能。大數(shù)據(jù)的“4V”特性與情報分析的要求不謀而合。大規(guī)模特性說明了情報分析的廣泛性，數(shù)據(jù)分析要盡可能地多；高速化特性說明情報分析的時間性要求，數(shù)據(jù)分析要講究時效性；多樣化特性說明情報分析的來源要廣，數(shù)據(jù)分析要從多渠道獲得信息，互相印證；價值說明了情報的最終目的，也是數(shù)據(jù)分析的目的，數(shù)據(jù)本身沒有價值后者分析的結果沒有價值都是徒勞。
大數(shù)據(jù)包括企業(yè)內部數(shù)據(jù)和企業(yè)外部數(shù)據(jù)。通過企業(yè)內部大數(shù)據(jù)分析，可以將企業(yè)內部的各項數(shù)據(jù)都收集起來，包括管理中的數(shù)據(jù)，制造過程中的數(shù)據(jù)等，實現(xiàn)通過數(shù)據(jù)分析獲悉企業(yè)內部的狀態(tài)，全方位把握公司內部運行狀態(tài)，做到“知己”。
通過分析企業(yè)外部數(shù)據(jù)可以獲得企業(yè)的環(huán)境或者競爭情況，做到“知彼”。企業(yè)通過大數(shù)據(jù)分析可以為企業(yè)管理提供企業(yè)發(fā)展所需要的情報，為企業(yè)發(fā)展做出貢獻。
2.3 縮短企業(yè)決策周期
企業(yè)傳統(tǒng)的管理決策主體往往是業(yè)務專家和精英高管，都是靠個人的意志和思想進行決策。隨著大數(shù)據(jù)應用的不斷深入，大數(shù)據(jù)分析正在逐步發(fā)揮作用，為管理決策提供支持。大數(shù)據(jù)分析結果能更加準確地反映數(shù)據(jù)所隱藏的知識，反映數(shù)據(jù)的內部規(guī)律。通過大數(shù)據(jù)分析正在使決策越來越科學。依據(jù)大數(shù)據(jù)分析進行決策，讓大數(shù)據(jù)主導決策并從中獲取價值，是一種前所未有的決策方式，正在推動著企業(yè)管理準則的重新定位。大數(shù)據(jù)分析將直接影響管理決策的變化，傳統(tǒng)的管理決策逐漸成為歷史。越是數(shù)據(jù)化管理的公司，越重視數(shù)據(jù)分析的作用，數(shù)據(jù)分析的結果對企業(yè)管理的決策影響也越來越大，決策周期也將越來越短。
3 企業(yè)大數(shù)據(jù)分析注意事項
3.1 明確用戶群體
大數(shù)據(jù)可能擁有更大、更多樣的用戶群體。大數(shù)據(jù)的成功很大部分取決于組織中的哪些人使用系統(tǒng)。大數(shù)據(jù)成功的最重要方面之一是必須為整個企業(yè)帶來價值，企業(yè)中可能會有專注于戰(zhàn)略層的用戶，也會有專注于戰(zhàn)術層的客戶。
大數(shù)據(jù)分析要針對不同的人群設定不同的數(shù)據(jù)，因為每個人關心的重點數(shù)據(jù)都不一樣。所以在選定數(shù)據(jù)范圍時要根據(jù)不同的用戶確定不同的數(shù)據(jù)范圍。
每個人都必然會關心自己的興趣點，所以要根據(jù)每個人的利益值定制用戶的報表，只有這樣才能讓每個人都融入進來。
比如，把生產的每個產品都列出來就沒有指向性，因為負責不同產品的管理者不關心別人的完成情況，只關心自己的完成情況，所以就需要將用戶個人有關的數(shù)據(jù)進行整合，在一個報表中就可以得出用戶需要的數(shù)據(jù)結果，滿足個體的需要。
3.2 確定數(shù)據(jù)責任人
數(shù)據(jù)分析要以源數(shù)據(jù)為基礎，如果源數(shù)據(jù)就是錯誤，那么就會導致錯誤的分析結果，所以，大數(shù)據(jù)分析對數(shù)據(jù)的準確性要求也非常高。
建h數(shù)據(jù)分析過程是由數(shù)據(jù)中心統(tǒng)一負責，在分析過程中只對數(shù)據(jù)的規(guī)范性修正，而不更改源數(shù)據(jù)的準確性，滿足數(shù)據(jù)的真實性。
3.3 分析目的要明確
數(shù)據(jù)分析的目的一定要清楚，目的有兩個，一個是作為實時值的結果，是為了及時獲取當期的報表值，目的就是與目標對比，是對結果的直接評價。
另一個目的是通過分析獲得一定的結論。就是報表本身并不知道結果的好壞，必須通過大量的分析才能得到結論。
前者應該針對管理者，管理者就需要直接對結果進行評價，沒有大量的時間去分析結果的好壞。后者是針對輔助決策的人員，這些人需要使用大量的數(shù)據(jù)分析，形成結果以后再呈現(xiàn)給管理者。
4 結束語
大數(shù)據(jù)分析將對各行各業(yè)產生巨大的影響，對大數(shù)據(jù)分析的重視程度也將影響了企業(yè)的管理水平。大數(shù)據(jù)分析不是只對電信、互聯(lián)網等行業(yè)有影響，對一般的企業(yè)也將會發(fā)生作用。現(xiàn)在多數(shù)已經把數(shù)據(jù)視為金礦，從大數(shù)據(jù)分析中獲取對與企業(yè)有價值的信息，使數(shù)據(jù)不再沉睡。
在企業(yè)管理中如果也能夠引入大數(shù)據(jù)分析的理念并付諸實施，將會使企業(yè)管理水平得到極大提升。在實施過程中，企業(yè)需要根據(jù)自己的特點，制定實施策略和目標。其中，最核心的就是如何從數(shù)據(jù)分析中獲得企業(yè)的價值，或者說，數(shù)據(jù)分析能夠為企業(yè)帶來哪些提升。不要盲目地為了數(shù)據(jù)分析而進行數(shù)據(jù)分析。
參 考 文 獻
1綜合決策分析缺乏時空維度的支持
煤礦安全生產和管理是一個與時間和空間相關的過程，其綜合決策分析離不開時間和空間維度的參與，而現(xiàn)有的煤礦信息系統(tǒng)往往缺乏時空維度的決策分析工具，如拓撲分析、緩沖區(qū)分析、密度分析、疊置分析、時間和空間趨勢探測分析、時間/空間關聯(lián)分析、時間/空間自回歸分析等。煤礦安全生產內涵豐富，既包含了日常性事務性的風險超前預控管理，又包含即時性的風險識別、監(jiān)測、預測乃至預警，這就給安全生產管理的各類信息系統(tǒng)建設提出了很高的要求，需要滿足監(jiān)控實時化、系統(tǒng)集成化、數(shù)據(jù)海量化、分析決策在線化和智能化，這些都是目前信息系統(tǒng)建設的短板。上述問題的存在使得我國煤礦安全生產形勢沒有本質的好轉，諸多信息化建設成果（硬件、軟件）在煤礦安全生產過程中也沒有起到預期的成效。
2煤礦安全生產大數(shù)據(jù)分析系統(tǒng)
2.1大數(shù)據(jù)分析的概念大數(shù)據(jù)分析
是指數(shù)據(jù)量急劇積累迅速超出主流軟件工具和人類思維處理的極限，大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)比較起來，有四大特征：數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、數(shù)據(jù)價值密度低（Value）、更新速度快時效高（Velocity）。大數(shù)據(jù)分析需要全新的數(shù)據(jù)處理理念和分析工具，洞察發(fā)現(xiàn)海量高速增長信息中潛藏的價值［4］。從理念上，大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析有三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。針對大數(shù)據(jù)，既有的技術架構和分析工具已經無法滿足要求，需要全新的數(shù)據(jù)分析方法和技術，這其中包括：（1）大數(shù)據(jù)分析可視化方法；（2）大數(shù)據(jù)挖掘算法；（3）預測性分析能力；（4）語義處理能力；（5）數(shù)據(jù)質量和數(shù)據(jù)管理技術。
2.2大數(shù)據(jù)分析系統(tǒng)的建設
根據(jù)大數(shù)據(jù)處理和分析的理念，煤礦安全大數(shù)據(jù)分析系統(tǒng)的建設目標包括：數(shù)據(jù)綜合集成、安全知識集成、三維虛擬可視化展示、煤礦安全動態(tài)分析診斷。具體建設內容包括：（1）基于物聯(lián)網/云計算技術的煤礦安全綜合數(shù)據(jù)庫。建設煤礦安全大數(shù)據(jù)分析診斷系統(tǒng)，首先要利用物聯(lián)網和云計算技術實現(xiàn)全面綜合的數(shù)據(jù)集成，將基礎空間和屬性數(shù)據(jù)、在線監(jiān)測的實時性數(shù)據(jù)、專業(yè)業(yè)務系統(tǒng)的事務性數(shù)據(jù)綜合集成起來，構建煤礦安全綜合數(shù)據(jù)庫。（2）基于專家系統(tǒng)的煤礦安全專家知識庫。針對知識集成的目標，整理規(guī)范規(guī)程體系中的經驗或者理論知識（煤礦安全規(guī)程、煤礦作業(yè)規(guī)程、三違行為知識、隱患界定知識、評估模型、設備操作規(guī)程知識、工種操作規(guī)程知識），構建煤礦安全動態(tài)分析診斷的專家知識庫。（3）建設三維虛擬礦井可視化平臺。針對信息和知識三維虛擬礦井可視化展示分析，主要的建設內容是基于高精度地質模型理論研究開發(fā)三維虛擬礦井平臺，實現(xiàn)地層建模、鉆孔建模、斷層建模、工作面建模和巷道建模等工作。然后，基于三維虛擬礦井平臺，實現(xiàn)數(shù)據(jù)和知識可視化、煤礦安全生產活動可視化、分析和決策過程可視化。（4）研發(fā)煤礦安全動態(tài)分析系統(tǒng)。針對基于專家知識庫的煤礦安全生產分析決策，需要利用煤礦安全綜合數(shù)據(jù)庫中的基礎數(shù)據(jù)、實時監(jiān)測數(shù)據(jù)以及事務性數(shù)據(jù)，根據(jù)煤礦安全專家知識庫進行煤礦安全生產狀況評估、推理和演繹，動態(tài)分析診斷煤礦安全生產的現(xiàn)狀與趨勢、預測未來，并針對煤礦應急現(xiàn)象做出科學合理的響應對策。
3結語
物聯(lián)網、云計算、大數(shù)據(jù)分析帶來了新的數(shù)據(jù)處理和分析的視野［5］，也必將影響煤礦企業(yè)的信息化建設，成為提升煤礦安全生產水平的核心信息技術手段。與互聯(lián)網、電子商務、電信通信等行業(yè)相比，煤炭行業(yè)在這方面的發(fā)展稍稍晚一些。因此，煤礦科技研究工作者需要抓住時機，在大數(shù)據(jù)分析處理的研究和應用上付出更大努力，推動煤礦信息化建設發(fā)展。
作者：魏忠奎 袁傳增 單位：山東能源棗礦集團田陳煤礦
通過一系列收購，EMC已經建立了一條比較完善的大數(shù)據(jù)產品線。在此基礎上，EMC拋出了大數(shù)據(jù)之旅的三段論。
第一關：構建云基礎架構
大數(shù)據(jù)分析和處理的基礎是完善的云基礎架構，主要包括大數(shù)據(jù)存儲和大數(shù)據(jù)分析兩個平臺。
EMC大數(shù)據(jù)存儲平臺的兩大支柱產品是Isilon集群NAS以及Atmos海量智能存儲。Isilon集群NAS是EMC兩年前收購的產品，具有很強的橫向擴展能力，使用起來非常方便。目前，Isilon集群NAS被用于許多云存儲的項目。Atmos海量智能存儲可以很好地支持分布式大數(shù)據(jù)計算。許多電信運營商基于Atmos構建了公有云系統(tǒng)，其部署非常簡單，而且性價比很高。
EMC的大數(shù)據(jù)解決方案分成純軟件和軟硬件一體兩種。Isilon集群NAS與Greenplum軟件組成了一體化解決方案。蔡漢輝介紹說：“Isilon集群NAS目前主要作為大數(shù)據(jù)存儲平臺，可與Greenplum、Hadoop結合，但同時也會兼顧傳統(tǒng)存儲應用。為了更好地支持大數(shù)據(jù)和云服務，Isilon集群NAS在今年底還會開放API，讓更多第三方的廠商能基于Isilon集群NAS平臺進行開發(fā)。”
EMC大數(shù)據(jù)分析平臺的核心是兩年前收購得來的Greenplum的產品，主要包括Greenplum Database（支持結構化數(shù)據(jù)庫）和Greenplum HD（支持Hadoop）。蔡漢輝介紹說：“Greenplum大數(shù)據(jù)分析平臺可以實時處理任何來源的數(shù)據(jù)，包括結構化、半結構化和非結構化的數(shù)據(jù)。Greenplum不僅可以處理PB級的數(shù)據(jù)，而且處理速度可以達到10TB/h。”
第二關：實現(xiàn)社交化服務
構建高性能、可靠、靈活的大數(shù)據(jù)分析平臺是第一步，接下來，用戶要構建數(shù)據(jù)處理的協(xié)作平臺，建立自助服務的環(huán)境。EMC把這個階段稱為社交化階段。
2012年3月，EMC了首個用于大數(shù)據(jù)的社交工具集Greenplum Chorus，使得數(shù)據(jù)科學家可以通過類似Facebook的社交方式進行協(xié)作。Greenplum Chorus是EMC中國研發(fā)團隊主導開發(fā)的產品。Greenplum Chorus基于開放的架構，是一個用于數(shù)據(jù)挖掘和協(xié)作分析的流程平臺。Greenplum Chorus包括數(shù)據(jù)探索、個人項目工作空間（又稱個人沙盒）、數(shù)據(jù)分析和幾個主要環(huán)節(jié)。
Greenplum Chorus開發(fā)主管莊富任介紹了Greenplum Chorus的工作流程：Greenplum Chorus提供了強大的搜索引擎，可以快速尋找到數(shù)據(jù)，并將這些數(shù)據(jù)進行關聯(lián)，從而實現(xiàn)數(shù)據(jù)采集的可視化；采集來的數(shù)據(jù)被放到個人沙盒中進行處理，這個處理過程不會影響整個數(shù)據(jù)庫的運行；在協(xié)作分析階段，數(shù)據(jù)分析人員可以共享工作空間、代碼，協(xié)同工作兼具靈活性和安全性；最后，相關的處理結果被出來。上述處理過程將循環(huán)往復。
Greenplum Chorus未來將走向開源。EMC已經了一個名為OpenChorus的計劃，其目標是促進技術創(chuàng)新，同時促進那些運行在Greenplum Chorus平臺上的協(xié)作的、社交化的數(shù)據(jù)應用的普及。2012年下半年，EMC還將公布Greenplum Chorus源代碼，讓更多人加入到Greenplum Chorus陣營中來。
第三關：敏捷開發(fā)服務
大數(shù)據(jù)處理的第三個階段就是構建一個敏捷的開發(fā)環(huán)境，用于實時決策，并且更好地支持大數(shù)據(jù)應用程序。
從形式上看，傳統(tǒng)的大數(shù)據(jù)方案包括打包方案和定制化開發(fā)兩種。打包方案具有高效率、低成本的優(yōu)勢，但是需要精確的數(shù)據(jù)模型。定制化開發(fā)可以實現(xiàn)應用的創(chuàng)新，但是實施起來難度大，周期長，而且價格昂貴。EMC希望為用戶提供一種敏捷開發(fā)的方式，在充分發(fā)揮上述兩種方案優(yōu)勢的同時彌補其不足。為此，2012年3月，EMC收購了Pivotal Labs公司。Pivotal Labs是一家私營的敏捷軟件開發(fā)服務和工具提供商。
關鍵詞：hadoop 大數(shù)據(jù) 應用
中圖分類號：Tp274 文獻標識碼：A 文章編號：1007-9416（2015）04-0226-01
最近幾年以來，大部分企業(yè)都開始認識到數(shù)據(jù)資產規(guī)模化能夠給企業(yè)帶來的潛在價值，而這些不斷增長的數(shù)據(jù)資產主要分為非結構化與半結構化兩種類型。怎樣利用最低的成本和最快的效率來對這些海量數(shù)據(jù)進行處理與應用，成為擺在我們面前的一大難題。Google公司率先提出了MapReduce編程框架，而GFS文件系統(tǒng)與BigTable存儲系統(tǒng)也開始成為了大數(shù)據(jù)處理技術中的領導者，而這三種技術也成為了大數(shù)據(jù)處理技術的事實標準，以極快的速度普及到各個互聯(lián)網企業(yè)之中，逐漸變?yōu)榱薖B級海量大數(shù)據(jù)處理的領先技術。那么Hadoop到底是什么？為什么Hadoop可以成為當今熱門的大數(shù)據(jù)應用的開發(fā)平臺？
1 Hadoop框架工作原理分析
Hadoop屬于開源框架，它的本質是一種能夠用于編寫和運行分布式應用處理的大規(guī)模數(shù)據(jù)。Hadoop和其他的框架相比，自身具備便捷、可擴展性強、操作便利等特征，特別是Hadoop的便利性讓它在編寫與運行大型分布式程序的過程中獨占優(yōu)勢。用戶借助于Hadoop能夠在很大程度上領略到分布式計算法則帶來的優(yōu)勢。Hadoop利用分布式存儲、遷移代碼等技術，在進行大數(shù)據(jù)的處理過程中，可以非常好地解決耗時數(shù)據(jù)傳輸問題。更關鍵的一點是，數(shù)據(jù)冗余機制能夠讓Hadoop從單點失效中逐漸恢復[1]。
Hadoop框架基本構成包括了分布式文件系統(tǒng)HDFS以及MapReduce。HDFS主要是利用Master/Slave架構，一個HDFS集群包含了NameNode節(jié)點與DataNode節(jié)點。NameNode屬于中心服務器，其主要作用是對文件系統(tǒng)的名字空間進行管理，同時負責文件訪問。在集群系統(tǒng)內部，通常來說在某個節(jié)點中運行一個DataNode，主要對此節(jié)點內的數(shù)據(jù)信息進行管理，同時處理客戶端發(fā)送來的文件讀寫請求，還能夠在NameNode的調度下對數(shù)據(jù)模塊進行創(chuàng)建與復制。另外，Hadoop還能夠完成MapReduce分布式計算，Mapreduce能夠將總任務劃分為若干子任務，而各個子任務能夠在任意集群節(jié)點中進行處理。HDFS創(chuàng)建了若干數(shù)據(jù)副本，能夠確保每個子任務節(jié)點計算的準確性。因為選擇分布式文件系統(tǒng)HDFS以及MapReduc模型，從而讓Hadoop具備更高的容錯率和數(shù)據(jù)讀寫吞吐率，可以對失敗節(jié)點進行自動處理。
2 MapReduce編程模型
MapReduce（映射-歸并算法）模型是由Google公司提出的高階并行函數(shù)的抽象模式，根據(jù)相關報道顯示，Google集群中每小時有數(shù)百萬個MapReduc處于執(zhí)行狀態(tài)。它依靠函數(shù)編程的思路，將海量數(shù)據(jù)集的一般操作抽象化為Map和Reduc兩大集合操作，在很大程度上降低了分布式并行計算程序的難度。在這樣的計算模型之內主要存在兩個關鍵環(huán)節(jié)，即是映射Map與聚集Reduc。所以必須要求程序編寫人員能夠實現(xiàn)上述兩個函數(shù)，Map函數(shù)和Reduc函數(shù)對一組輸入鍵值實施計算，從而獲得另外的輸出鍵值對[2]。
在Hadoop平臺下，MapReduce應用程序由一個Mapper類，一個Reducer類和一個創(chuàng)建JobConf的驅動函數(shù)組成。有些時候還可以根據(jù)需要實現(xiàn)一個Combiner類，這個類實際上也是Reduce函數(shù)的一種實現(xiàn)[3]。
（1）Input：應用程序自動提供Map以及Reduce函數(shù)，同時標明輸入/輸出具置以及其他操作必須的具體參數(shù)，這一過程會將目錄下的大文件分成一些獨立的數(shù)據(jù)塊。（2）Map：該模型能夠將用戶作業(yè)輸入當成是一組鍵值對Key/Value，MapReduce模型能夠自動調用Map函數(shù)對其中一個鍵值對進行處理，從而形成新的鍵值對。（3）Shuffle與Sort：在Shuffle時期利用網絡給所有Reduce提供全部Map輸出時相匹配的鍵值對；而在Sort時期，把根據(jù)Key值對Reduce輸入實施分組。一般來說，Shuffle與Sort是共同執(zhí)行的。（4）Reduce：對各個Key，執(zhí)行用戶定義的Reduce函數(shù)，從而得到新的鍵值對。（5）Output：把Reduce的結果寫到輸出目錄之內。
3 Hadoop的主要特性及其與大數(shù)據(jù)應用的關系
簡單地說，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。而這個平臺能夠作為當今大數(shù)據(jù)分析與應用的主流，離不開以下幾個主要特性。
（1）低成本：Hadoop的搭建可以通過普通的機器來組成服務集群。為了擁有強大的計算能力，整個計算集群的規(guī)模可能有數(shù)千個節(jié)點。但是，即便如此，其整個集群的成本也要遠遠小于可以提供相等計算能力的高性能計算機。因此，對于實力并不雄厚的互聯(lián)網公司，搭建Hadoop集群是一個既節(jié)省成本又可以提高服務性能的選擇。（2）高可靠性：Hadoop可以自動對數(shù)據(jù)的復制進行維護，同時在任務失敗之后對計算任務進行Redeploy。由于Hadoop常常將硬件錯誤當作常態(tài)，同時利用塊的冗余存儲機制來確保數(shù)據(jù)的準確性。在大部分的情況之下，副本系數(shù)為3，HDFS存放策略是把一個副本存儲于本地機架節(jié)點之內，而其他的副本存儲于不同的節(jié)點。因此，當部分機器出現(xiàn)宕機的時候，整個系統(tǒng)仍然可以保持正常運行，文件的完整性能夠在很大程度上得到保證。（3）高擴展性：Hadoop主要是在計算機集簇之間進行數(shù)據(jù)的分配以及計算，而計算機集簇能夠非常容易的擴展到大量的節(jié)點之內。當計算服務載荷過大時，可以直接通過增加集群節(jié)點數(shù)目來達到擴容目的，而當載荷并不大時，可以減少節(jié)點數(shù)目或是向其他目標提高計算服務[4]。
由此可見，Hadoop軟件身上表現(xiàn)出了明顯的眾包特征與草根特征。使用開源軟件最多的要數(shù)互聯(lián)網公司，特別是很多剛剛創(chuàng)建的公司。對于技術選型上，Lamp/Memcache/Hadoop等都是我們的首選。推特的Robe和Pointer等人研究開發(fā)的Kestrel隊列軟件，能夠對企業(yè)內部業(yè)務邏輯的following與befollowed等問題進行更加高效率的處理。而我們知道Kestrel是由Ruby語言編寫的開源項目逐漸發(fā)展而來的。Twitter必須在500ms之內把相關信息推送到接收者手中。我們可以想象，若存在上億的用戶同時發(fā)送信息，可見其難度。因此，國內大數(shù)據(jù)以及云計算的發(fā)展必須要從開源文化中尋求發(fā)展路徑，從思想上認識到開源軟件的重要性。
4 結語
總之，Hadoop屬于一種分布式數(shù)據(jù)處理技術，在系統(tǒng)自身性能以及可擴展性等方面都具有非常大的優(yōu)勢，比較適用于以讀取為主的大數(shù)據(jù)批量處理、查詢以及檢索等任務。Hadoop還能夠讓自己成為交易事務處理之外的傳統(tǒng)關系型數(shù)據(jù)庫的補充，對于增強企業(yè)信息化系統(tǒng)的工作效率、減少系統(tǒng)成本可以發(fā)揮出非常重要的作用。正因為如此，Hadoop憑借著這些特性與優(yōu)勢，在如今互聯(lián)網行業(yè)快速發(fā)展的大環(huán)境下，掀起了一場大數(shù)據(jù)的浪潮。
參考文獻
[1]靳永超，吳懷谷.基于Storm和Hadoop的大數(shù)據(jù)處理架構的研究[J].現(xiàn)代計算機，2015（04）：65.
[2]王宏宇.Hadoop平臺在云計算的應用[J].軟軟件，2011，32（04）：37-50.
關鍵詞：大數(shù)據(jù)時代 數(shù)據(jù)分析 理念 辨析
中圖分類號：C8 文獻標識碼：A 文章編號：1674-098X（2017）01（c）-0136-02
近年來，對大數(shù)據(jù)的研究和應用已經受到我國各界人士的廣泛關注，國家統(tǒng)計局已經把信息處理技術列為關鍵性的創(chuàng)新技術工程之一。隨著我國大型計算機的迅速發(fā)展，處理大規(guī)模的復雜數(shù)據(jù)的能力逐漸提升，從這些大數(shù)據(jù)中提取有效信息的能力也逐步加強，毫無疑問，我國進入大數(shù)據(jù)時代的腳步將會進一步加快，人們將會感受到大數(shù)據(jù)時代下給其帶來的生活、工作上的便利。
1 大數(shù)據(jù)和大數(shù)據(jù)時代簡介
1.1 大數(shù)據(jù)
大數(shù)據(jù)是指遠大于一般數(shù)據(jù)的巨量資料，需要人們通過全新的處理模式才能獲取其中有價值的數(shù)據(jù)信息。“大數(shù)據(jù)”這一概念最早由維克托在《大數(shù)據(jù)時代》一書中引用得來，最開始對其定義為：不通過傳統(tǒng)的隨機分析方法直接對所有數(shù)據(jù)進行分析處理，主要有大量、高速、多樣和價值4個特征。
大數(shù)據(jù)可以分為大數(shù)據(jù)技術、大數(shù)據(jù)工程、大數(shù)據(jù)科學和大數(shù)據(jù)應用等領域。目前受到最多應用的是大數(shù)據(jù)技術和大數(shù)據(jù)應用。人們通過收集數(shù)據(jù)，提取有效信息就可以為企業(yè)發(fā)展或者社會活動提供最有效的實施途徑。因此，可以這樣說，在大數(shù)據(jù)的王國里，最成功的企業(yè)就是那些善于運用機遇的公司。
1.2 大數(shù)據(jù)時代
大數(shù)據(jù)時代是建立在信息時代的基礎上，通過互聯(lián)網、物聯(lián)網等渠道廣泛搜集海量數(shù)據(jù)資源并對其進行存儲、提取和展示。在大數(shù)據(jù)時代，幾乎所有人都能夠享受從任一數(shù)據(jù)中獲得所需要的信息，大數(shù)據(jù)時代也具有社會性、廣泛性、公開性和動態(tài)性4個特征。大數(shù)據(jù)時代的發(fā)展將會引領社會眾多領域和行業(yè)的變革，對人類的生產、生活方式產生深遠影響。
在大數(shù)據(jù)時代下，傳統(tǒng)的數(shù)據(jù)分析思想已經不再適用，應該做出改變。首先，應該轉變抽樣思想，大數(shù)據(jù)時代下的樣本即總體，已經不再依靠少量樣本分析事物的相關規(guī)律；其次，要轉變數(shù)據(jù)精確測量的思想，大數(shù)據(jù)時代要學會接受繁冗復雜的多樣性數(shù)據(jù)；最后要轉變探究事物的因果關系思想，轉為研究事物的相關規(guī)律。以上思想的轉變，均與統(tǒng)計學有關，因此，下面將分析大數(shù)據(jù)對統(tǒng)計學帶來的具體影響。
2 大數(shù)據(jù)對統(tǒng)計學研究工作的影響
2.1 大稻莘岣渙送臣蒲У難芯慷韻
大數(shù)據(jù)影響的領域范圍非常廣泛，在大數(shù)據(jù)時代，不僅能夠對以結構數(shù)據(jù)為度量單位的客觀主體，還可以對不能用數(shù)據(jù)衡量關系的文本、圖片、音像等非結構數(shù)據(jù)進行分析，大大擴展了傳統(tǒng)統(tǒng)計學的研究范疇。
2.2 大數(shù)據(jù)影響統(tǒng)計學的工作進程
統(tǒng)計學是對所搜集的數(shù)據(jù)進行整理和歸納的方法論學科。大數(shù)據(jù)時代的資料十分豐富，分析數(shù)據(jù)已經不再需要抽取樣本了，因為數(shù)據(jù)總體即是樣本。此時，傳統(tǒng)的統(tǒng)計學抽取樣本分析的工作方法已經不再適用，而是被現(xiàn)代化通過傳感器自動采集數(shù)據(jù)的方法所取代。
3 大數(shù)據(jù)時代下數(shù)據(jù)分析理念辨析
3.1 數(shù)據(jù)分析理念
傳統(tǒng)的數(shù)據(jù)分析是指用統(tǒng)計學方法將收集的數(shù)據(jù)資料進行系列分析，以便最大化地開發(fā)數(shù)據(jù)中的功能，從中提取有價值的數(shù)據(jù)，再和未經處理的數(shù)據(jù)進行對比，發(fā)揮數(shù)據(jù)的作用。大數(shù)據(jù)時代下的數(shù)據(jù)分析，由于數(shù)據(jù)量非常大，數(shù)據(jù)本身的動態(tài)特性使人們要研究的數(shù)據(jù)難度加大，因此，大數(shù)據(jù)時代的數(shù)據(jù)分析一般利用統(tǒng)計學的理念，采用更廣泛的方法統(tǒng)計和分析數(shù)據(jù)，以此擺脫對數(shù)據(jù)樣本的依賴，也可以避免數(shù)據(jù)的流動性給分析結果帶來的不確定性。大數(shù)據(jù)時代更加注重數(shù)據(jù)的增值分析工作，研究數(shù)據(jù)的未來走向，使其中有價值的數(shù)據(jù)可以增值，將有效數(shù)據(jù)有機整合，能夠及時發(fā)現(xiàn)問題和解決問題。
3.2 數(shù)據(jù)分析的主要程序
3.2.1 數(shù)據(jù)整理
統(tǒng)計數(shù)據(jù)的整理主要分為4個步驟：審核統(tǒng)計資料、對資料進行分組、匯總和編制統(tǒng)計表格或圖表、保管和公布。當統(tǒng)計對象為數(shù)據(jù)資料龐大、類型復雜、要求處理速度快的大數(shù)據(jù)時，這些步驟就顯得繁冗了，尤其是圖表的繪制是沒辦法實現(xiàn)的，因此，只需要對資料進行審核和存儲。大數(shù)據(jù)的審核和存儲不同于傳統(tǒng)意義上的數(shù)據(jù)審核和保存，大數(shù)據(jù)時代利用先進的現(xiàn)代化工具進行數(shù)據(jù)的審核和保存。
3.2.2 數(shù)據(jù)的開發(fā)
傳統(tǒng)數(shù)據(jù)的樣本量較小，目的主要著眼于解決問題，數(shù)據(jù)的時效性較強，數(shù)據(jù)的使用價值會隨時間流逝而降低。而大數(shù)據(jù)的流動性很強，隨著時間的推移會越來越壯大，而且具有推陳出新、價值重塑的可能，因此，在大數(shù)據(jù)時代，數(shù)據(jù)是會不斷增值的，開發(fā)大數(shù)據(jù)，是一項有重要意義的工作。
3.2.3 數(shù)據(jù)的應用
其中分別對教育、運輸、消費品、電力、石油與天然氣、醫(yī)療護理、消費金融等進行分析和預測。根據(jù)這些行業(yè)的特點，可以總結出大數(shù)據(jù)挖掘商業(yè)價值的基本方法為：客戶群體細分，為每個群體量定特別的服務；模擬現(xiàn)實環(huán)境，發(fā)掘新的需求的同時提高投資的回報率；降低部門聯(lián)系，提高整條管理鏈條和產業(yè)鏈條的效率；降低服務成本，發(fā)現(xiàn)隱藏線索產品和服務的創(chuàng)新。從圖1中可以看出，大數(shù)據(jù)的應用群體十分廣泛，能否對獲取的數(shù)據(jù)及時、迅速處理，對該行業(yè)的發(fā)展具有重要意義。
4 結語
該文主要對大數(shù)據(jù)時代下數(shù)據(jù)分析理念進行了相關的分析和研究。首先對大數(shù)據(jù)及大數(shù)據(jù)時代的概念做了簡要闡述，接著分析了大數(shù)據(jù)對統(tǒng)計學的兩點影響，最后分析了大數(shù)據(jù)時代下的數(shù)據(jù)分析理念。總而言之，在現(xiàn)代社會，大數(shù)據(jù)的應用已經成為時代新的特征，能否從海量數(shù)據(jù)中提取有價值的信息做出相應的預測，對于企業(yè)或者個人的發(fā)展具有重要意義。
參考文獻
[關鍵詞] 大數(shù)據(jù)Hadoop；分布式存儲；分布式計算；MapReduce HDFS
[中圖分類號] G258.6 [文獻標識碼] A
1 Hadoop的產生
大數(shù)據(jù)的概念最早是由麥肯錫這家公司提出的，他們指出：“數(shù)據(jù)，已經滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產因素，人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。”
進入2012年，大數(shù)據(jù)的概念開始被越來越多的提及，甚至已經上了紐約時報和華爾街日報的專欄封面。隨著系統(tǒng)信息化的建設，海量數(shù)據(jù)正呈現(xiàn)井噴式增長，如何消化和分析這些數(shù)據(jù)從中提煉出有價值的信息是企業(yè)所要面臨的新的難題和挑戰(zhàn)。
首先面臨的挑戰(zhàn)來自于系統(tǒng)硬件，雖然硬盤的存儲容量不斷增加，但是磁盤的尋址效率卻沒有隨之提高，因此當數(shù)據(jù)處于一個較大規(guī)模的時候，數(shù)據(jù)的定位和讀取會變得非常緩慢。這是硬件本身的局限性，很難從軟件方面得到突破點，然而同樣從硬件的角度考慮，雖然磁盤的尋址效率發(fā)展緩慢，但是傳輸效率卻相對迅速一些，因此基于大數(shù)據(jù)的處理，我們可以嘗試使用另外一種訪問方式――基于流式讀取[1]。
兩種方式有什么區(qū)別，或許有些人還不太清楚，基于磁盤尋址最典型的應用便是關系數(shù)據(jù)庫，首先定位到數(shù)據(jù)的存儲地址，然后從這個地址開始做局部的數(shù)據(jù)處理；而基于流式訪問首先獲取數(shù)據(jù)的輸入流，通過該流來讀取所有數(shù)據(jù)，做全局的數(shù)據(jù)分析，沒有數(shù)據(jù)尋址的過程。
基于流的訪問方式雖然可以不用考慮磁盤的尋址時間，但是缺陷也十分的明顯，比如會消耗很多的計算機資源（cpu，內存等），針對這些缺陷，我們能想到的最直接的處理方式便是將數(shù)據(jù)源進行切分，分散到多臺機器上進行并行的讀取，這樣不但加快了數(shù)據(jù)的讀取效率，也緩解了單臺機器性能的不足。但是，經過這種方式處理之后，又會帶來新的難題和挑戰(zhàn)：
首先，數(shù)據(jù)分散部署之后，有可能會帶來數(shù)據(jù)遺失的風險。
其次，對數(shù)據(jù)片段的解析需要有一個聚合的操作，來匯總最后的結果。
如何解決這些難題，正是hadoop框架的功能職責。
Hadoop框架提供了一種簡單的編程模型，用來對大數(shù)據(jù)集進行分布式處理；它的處理能力是可擴充的，由一臺機器擴充到成千上萬臺的集群，集群中的每臺機器都會參與存儲和計算[2]。從功能角度來看hadoop主要具備兩方面的特性，存儲和計算。存儲邏輯用到的是HDFS子框架，計算邏輯用到的是MapReduce子框架，每個子框架分別解決了上述難點。
2 HDFS子框架
2.1 體系結構
由圖片可以看到HDFS主要包含這樣幾個功能組件
Namenode，存儲文檔的元數(shù)據(jù)信息，還有整個文件系統(tǒng)的目錄結構。
DataNode，存儲文檔塊信息，并且文檔塊之間是有冗余備份的。
這里面提到了文檔塊的概念，同本地文件系統(tǒng)一樣，HDFS也是按塊存儲的，只不過塊的大小設置的相對大一些，默認為64M。如果一個文件不足64M，那么它只存儲在一個塊中，而且并不會占用64M的磁盤空間，這一點需要注意，HDFS不適用于小文件存儲的原因并不是因為小文件消耗磁盤空間，而是因為小文件占用了太多的塊信息，每個文檔塊的元數(shù)據(jù)是會存儲在namenode的內存里的，因此當文檔塊較多的時候會十分消耗namenode的內存。
從功能結構來看，namenode提供了數(shù)據(jù)定位的功能，datanode提供數(shù)據(jù)傳輸，也就是客戶端在訪問文件系統(tǒng)的時候是直接從datanode里面讀取數(shù)據(jù)的，而不是namenode。
2.2 IO操作
2.2.1 hdfs讀取文件流程
首先，連接到分布式文件系統(tǒng)，從namenode里獲取要訪問的文件由哪些塊組成，每一個塊的存儲地址是多少。
然后，定位到指定的datanode去讀取文件。
注意：每個塊的存儲地址是在hadoop啟動之后才加載到namenode的內存里的，而不是持久化存儲到namenode本地。namenode和datanode具備心跳通信的功能，它會定時從datanode那里收到一些反饋，包括block的存儲地址信息等等。
2.2.2 hdfs寫文件流程
首先，同樣是連接到分布式文件系統(tǒng)，向namenode發(fā)送創(chuàng)建文件的命令。
namenode保存文檔的元數(shù)據(jù)信息之后會調度具體的datanode來執(zhí)行數(shù)據(jù)流的寫入操作，寫入成功后，需要執(zhí)行冗余備份，將Block復制多份，每一分存儲到不同的機器節(jié)點中，防止單點故障的出現(xiàn)。
使用HDFS來存儲數(shù)據(jù)，每個block至少要備份一份，默認是3份，如果沒有指定備份，或者備份的過程中出現(xiàn)了異常，則文件的寫入操作不會成功。
2.3 hdfs不適用的場景
2.3.1 低延遲的數(shù)據(jù)訪問
HDFS主要針對大文件來設計的，多用于線下的數(shù)據(jù)分析，對于線上應用并且及時性要求較高的系統(tǒng)，可嘗試使用Hbase。
23.2 大量小文件
消耗namenode內存，可以使用SequenceFile或MapFile來作為小文件的容器
2.3.3 多線程寫入，隨機寫入
HDFS系統(tǒng)中，每個文件只能并發(fā)開啟一個Writer，并且寫入操作只能在文件的末尾進行。
3 MapReduce子框架
MapReduce的大體流程是這樣的，如圖所示：
由圖片可以看到mapreduce執(zhí)行下來主要包含這樣幾個步驟：
（1）首先對輸入數(shù)據(jù)源進行切片。
（2）master調度worker執(zhí)行map任務。
（3）worker讀取輸入源片段。
（4）worker執(zhí)行map任務，將任務輸出保存在本地。
（5）master調度worker執(zhí)行reduce任務，reduce worker讀取map任務的輸出文件。
（6）執(zhí)行reduce任務，將任務輸出保存到HDFS。
若對流程細節(jié)進行深究，可以得到這樣一張流程圖：
角色描述：
JobClient，執(zhí)行任務的客戶端。
JobTracker，任務調度器。
TaskTracker，任務跟蹤器。
Task，具體的任務（Map OR Reduce）。
從生命周期的角度來看，mapreduce流程大概經歷這樣幾個階段：初始化、分配、執(zhí)行、反饋、成功與失敗的后續(xù)處理。
每個階段所做的事情大致如下
3.1 任務初始化
3.1.1 JobClient對數(shù)據(jù)源進行切片
切片信息由InputSplit對象封裝，接口定義如下：
public interface InputSplit extends Writable {
long getLength（） throws IOException； String[] getLocations（） throws IOException；
}
可以看到split并不包含具體的數(shù)據(jù)信息，而只是包含數(shù)據(jù)的引用，map任務會根據(jù)引用地址去加載數(shù)據(jù)。
InputSplit是由InputFormat來負責創(chuàng)建。
public interface InputFormat {
InputSplit[] getSplits（JobConf job， int numSplits） throws IOException；
RecordReader getRecordReader（InputSplit split，JobConf job，Reporter reporter） throws IOException； }
JobClient通過getSplits方法來計算切片信息，切片默認大小和HDFS的塊大小相同（64M），這樣有利于map任務的本地化執(zhí)行，無需通過網絡傳遞數(shù)據(jù)
切片成功后，JobClient會將切片信息傳送至JobTracker
3.1.2 通過jobTracker生成jobId。
JobTracker.getNewJobId（）
3.1.3 檢查輸出目錄和輸入數(shù)據(jù)源是否存在。
輸出目錄已存在，系統(tǒng)拋出異常。
輸入源目錄不存在，系統(tǒng)拋出異常。
3.1.4 拷貝任務資源到jobTracker機器上（封裝任務的jar包、集群配置文件、輸入源切片信息）。
3.2 任務分配
JobTracker遍歷每一個InputSplit，根據(jù)其記錄的引用地址選擇距離最近的TaskTracker去執(zhí)行，理想情況下切片信息就在TaskTracker的本地，這樣節(jié)省了網絡數(shù)據(jù)傳輸?shù)臅r間。
JobTracker和TaskTracker之間是有心跳通信的邏輯的，通過彼此間不停的通信，JobTracker可以判斷出哪些TaskTracker正在執(zhí)行任務，哪些TaskTracker處于空閑狀態(tài)，以此來合理分配任務。
3.3 任務執(zhí)行
TaskTracker接到任務后開始執(zhí)行如下操作：
3.3.1 將任務jar包從HDFS拷貝到本地并進行解壓
3.3.2 創(chuàng)建一個新的JVM來執(zhí)行具體的任務，這樣做的好處是即使所執(zhí)行的任務出現(xiàn)了異常，也不會影響TaskTracker的運行使用。
如果所執(zhí)行的任務是map任務，則處理流程大致如下：
首先加載InputSplit記錄的數(shù)據(jù)源切片，通過InputFormat的getRecordReader（）方法，獲取到Reader后，執(zhí)行如下操作：
Kkey=reader.createKey（）；
V value=reader.createValue（）；
while（reader.next（key，value））{//遍歷split中的每一條記錄，執(zhí)行map功能函數(shù)。
mapper.map（key，value，output，reporter）；
}
3.4 執(zhí)行反饋
mapreduce的執(zhí)行是一個漫長的過程，執(zhí)行期間會將任務的進度反饋給用戶。
任務結束后，控制臺會打印Counter信息，方便用戶以全局的視角來審查任務。
若執(zhí)行成功：
清理MapReduce本地存儲（mapred.local.dir屬性指定的目錄）。
清理map任務的輸出文件。
若執(zhí)行失敗：
（1）如果task出現(xiàn)問題（map或者reduce）
錯誤可能原因：用戶代碼出現(xiàn)異常；任務超過mapred.task.timeout指定的時間依然沒有返回
錯誤處理：
首先將錯誤信息寫入日志
然后jobtracker會調度其他tasktracker來重新執(zhí)行次任務，如果失敗次數(shù)超過4次（通過mapred.map.max.attempts和mapred.reduce.max.attempts屬性來設置，默認為4），則job以失敗告終。
如果系統(tǒng)不想以這種方式結束退出，而是想通過Task成功數(shù)的百分比來決定job是否通過，則可以指定如下兩個屬性：
mapred.max.map.failures.percentmap任務最大失敗率
mapred.max.reduce.failures.percent reduce任務最大失敗率
如果失敗比率超過指定的值，則job以失敗告終。
（2）如果是tasktracker出現(xiàn)問題
判斷問題的依據(jù)：和jobtracker不再心跳通信jobtracker將該tasktracker從資源池中移除，以后不在調度它。
（3）jobtracker出現(xiàn)問題
jobtracker作為系統(tǒng)的單點如果出現(xiàn)問題也是最為嚴重的問題，系統(tǒng)將處于癱瘓。
參考文獻：
[1]TomWhite.Hadoop權威指南（第二版）[M].著清華大學出版社2011，7.
[2]chuckLam.Hadoop實戰(zhàn)[M].人民郵電出版社，2011，10.
智慧城市建設涉及多個領域、不同層面的數(shù)據(jù)資源獲取、處理和分析。這些數(shù)據(jù)應用于醫(yī)療衛(wèi)生，能夠實現(xiàn)精準醫(yī)療；數(shù)據(jù)應用于教育行業(yè)，可以實施個性化教學；而城市監(jiān)控數(shù)據(jù)為城市管理者所用，能夠提升管理效率、改善民生服務。
目前，以北京為例，覆蓋全城、多點布局的攝像頭數(shù)量達2000萬之多，而這些攝像頭捕捉到的數(shù)據(jù)信息往往是在“睡大覺”。一般1～2個星期、最多1～2個月為一個周期， 過往信息就會被覆蓋掉。
如何從這些信息中抓取有用數(shù)據(jù)、扔掉無用數(shù)據(jù)，是我們當前面臨的難題。這類音視頻多媒體數(shù)據(jù)要真正實現(xiàn)有效應用，面臨三大挑戰(zhàn)，即“存不下”、“看不清”、“找不到”。
優(yōu)化編碼技術研究
這三大挑戰(zhàn)背后對應的技術問題是指我們的編碼算法技術還有提升的潛力和空間。
一方面，隨著攝像頭數(shù)量不斷增加，獲取的信息量不斷增長，可能導致“存不下”這一問題；另一方面，計算機識別圖像與我們人眼看東西不同，需要較高的清晰度。目前，我們城市攝像頭的數(shù)量基本已達到5米或10米一個，但人臉識別率還是較低，就存在“看不清”的問題。此外，攝像頭物理參數(shù)的不同也會導致出現(xiàn)這一現(xiàn)象：我們肉眼看某人從A點走到B點，A點攝像頭捕捉到這個人，但到了B點可能就“找不到”了，這就存在跨攝像頭搜索的問題。
針對這三個問題，我們需要三種不同的技術來應對它。
針對“存不下”問題，我們需要從更新編碼技術這個思路去尋找破解之道。高效視頻編碼是應對這一問題的直接技術手段。因為數(shù)字視頻其實是一個數(shù)字圖像序列，數(shù)字圖像表現(xiàn)的是數(shù)字信號，而數(shù)字信號我們可以對其進行處理。經過分析，我們發(fā)現(xiàn)數(shù)字圖像序列中有三類信息冗余，一是時間冗余，二是空間冗余，三是感知冗余，當然也有知識冗余等其他冗余。如果我們能夠把這些冗余擠掉，就能更有效地壓縮數(shù)字視頻。
針對不同類別的冗余，我們必須采用不同的方法。理論上，我們通過矩陣運算或通過矩陣分析可以找到視頻編碼的上界即最大壓縮程度。例如，針對2000×2000像素這樣尺寸的圖像，理論上我們能壓縮2000倍，即壓縮到2000：1，但實際上我們能做到的是600：1，中間還有很大空間，需要采用各種不同技術來突破。
編碼技術變革
1993年第一代編碼技術通過優(yōu)化能把高清視頻壓縮到了1/75，2003年第二代編碼技術把編碼性能提高了一倍，2013年有了第三代編碼技術，壓縮能力又提升了一倍。以此類推，2023年將產生第四代編碼技術，其壓縮能力將達到1/600。我們把這種規(guī)律視為編碼領域的摩爾定律，十年性能翻一番。
其實，從第一代到第三代編碼技術，都是遵循最基本的編碼框架結構，即從視頻信號進來，切成塊變換處理，再進行濾波運能估計。但基于這一架構，編碼性能卻能十年翻一番。如何實現(xiàn)？主要是采用多種數(shù)學工具，如預測編碼、算術編碼等，或者多種工具混合利用使得編碼效率不斷提升。通過觀察分析，我們看到，在三代編碼技術不斷演變過程中，真正的變化是在預測與運動估計這一項上，每一代都不一樣。這也會給我們提供啟發(fā)，為尋找更高的編碼效率，預測與運動應該是我們關注的重點。那么，為何預測可以得到更高的編碼效率？因為預測主要解決的是空域冗余，隨著時間推移，它一幀一幀往前處理。我們知道圖像處理中很多東西不變化，這些不變化有效利用起來，就能獲得較高的編碼效率。
以監(jiān)控視頻為例，一般而言，在會議活動中，演講人只有身體會偶爾搖動；在自然環(huán)境中，整片森林除了每天光照變化、葉子生長變化，其他都基本不變。因此，如果針對這些不變的因素實現(xiàn)建模，就能獲得很高的編碼效率。
因此，針對視頻監(jiān)控應用，我們提出了背景建模技術，通過背景建波計算出背景模型，之后做預測時，用這套模型去做計算效率就會很高。在國際三個主流編碼技術團隊中，中國技術團隊在這一領域作出了較大貢獻，并已有了實際應用。
AVS2有效提升編碼效率
從性能上來看，以數(shù)字視頻廣播應用為例，中國超高清標準AVS2與目前H.265標準性能相當，而以監(jiān)控視頻應用為例，AVS2標準相比H.265標準，性能為\41.77%，即碼率節(jié)省了41.77，性能提升了一倍。
對于監(jiān)控視頻而言，AVS2已經邁入新時代。
2015年1月，廣電總局廣播電視、計量檢測中心針對AVS2標準和H.265標準專門做了一個對比實驗，并得出這樣的結論：AVS做超高清視頻很有優(yōu)勢。對比視頻編碼標準HEVC，圖像質量下降的平均值是：AVS2為2.9%，HEVC為3%。一般而言，下降的值越低越好，這也表明了AVS2的優(yōu)勢。
目前，已經有一些主流企業(yè)開始布局，準備用AVS2進軍全球市場。而AVS2能夠有效提高編碼效率和精度，能夠應對我們提到的第一個挑戰(zhàn)――“存不下”。
針對“看不清”即識別不準這一問題，傳統(tǒng)的做法是產生編碼和識別編碼是完全平行的兩套，彼此不通氣。通過背景建模技術，可以在編碼時把前景測出來，這樣的好處是可以進行分析、識別、提取。具體如何實現(xiàn)？以監(jiān)控視頻碼流為例，我們可以理解為它是由兩個碼流構成的，一是背景碼流，二是前景碼流。測出前景后，我們可以處理、識別，并且跟蹤分析我們關注的對象。基于這個想法，AVS2也就支持感興趣區(qū)域（RCH），就是語法里面對前景手段你可以對其進行描述，這種描述可以采用特殊參數(shù)的編碼，背景一次性接過去就可以。基于這樣的構建我們可以很好地識別編碼模型，從感興趣的區(qū)域可以得到對象，根據(jù)對象之間的關聯(lián)，以及它們失去關系時構建的時間，我們可以在編碼的同時做運動分析、目標檢測、對象行為分析等。
傳統(tǒng)的方式下，識別時我們需要在視頻流上找，但是通過背景建模技術，任務就變得簡單很多。我們只需要知道背景是什么，就很容易把前景表述出來。AVS2國外版命名為HE1857，基于這一標準，可以對感興趣的區(qū)域提取對于對象的表達，對動作和行為檢測等。
針對跨攝像頭檢索“找不到”的問題，我們采用了CDVS（即緊縮描述式）技術。我們要想辦法達成這些目標：描述能力強、緊湊，檢索較快，特征規(guī)范化。這里面涉及到計算機視覺技術、機器學習技術等，最核心的就是興趣點提取和表述，一開始我們用的是（SIFT）特征，也是近期最好用的一個特征。
但（SIFT）特征在具體使用中有很多問題，后來我們對其做了改進，改進之后的效果比較好，所以我們把這一特征又分成局部和全局。改進的倍數(shù)CDVS比SIFT好三倍，特征大小好一百倍。針對一千萬幅圖像庫進行搜索，采用CDVS只需要500毫秒就能完成搜索，就是說如果我們要在一千萬張圖片中去找一張圖片，半秒鐘就能解決問題，搜索速度非常快，這只是在英特爾CPU上面就可以做到的。
關鍵詞：大數(shù)據(jù)分析; 工程造價; 精確性
一、大數(shù)據(jù)分析對工程造價精確性的影響原理
（一）工程造價影響評估數(shù)據(jù)優(yōu)化處理利用大數(shù)據(jù)分析技術開展工程造價分析的過程中，需要針對工程收集相關的數(shù)據(jù)，針對數(shù)據(jù)進行全面的分析。針對工程確定造價的過程中，可以更好的收集相關信息，實現(xiàn)對于信息的全面管理。利用大數(shù)據(jù)分析技能夠對于工程造價項目進行精準評估，具體應用公式如下X=X-XminXmax-Xmin。根據(jù)該公式我們能夠看到，利用大數(shù)據(jù)分析技術減去最低值與最高值，通過這種方式確定工程造價的評估范圍，該范圍具有很強的適用性。
（二）恢復評估結果原值針對評估結果需要恢復其原值，這樣才能進一步縮小工程造價的影響范圍。具體的公式如下：X=X′（Xmax-Xmin）+Xmin。通過這一公式針對工程總價結果恢復原則，最終進一步提高評估數(shù)據(jù)的科學性與合理性，這樣工程造價數(shù)據(jù)更具真實性與可靠性。
（三）建立數(shù)據(jù)分析機制施工項目應該建立數(shù)據(jù)分析機制，建立專門的數(shù)據(jù)分析機構，針對施工項目的特征以及相關數(shù)據(jù)進行數(shù)據(jù)分析，全面評估施工項目的相關成本。施工企業(yè)應該在內部購入信息化設備，建立符合工程項目的模型，確定粒子群模型，通過建立相關的模型簡化計算過程，提升工程造價的核算價值。同時施工項目還要訓練相關的工作人員應用大數(shù)據(jù)技術的能力，這樣才能最大限度的保證數(shù)據(jù)分析工作的順利開展，提升大數(shù)據(jù)分析效果。
（四）靈活開展數(shù)據(jù)分析利用大數(shù)據(jù)分析技術開展工程造價工作的過程中，應該保證數(shù)據(jù)分析的靈活性，從不同的角度開展數(shù)據(jù)分析，全面的分析施工項目中的各種數(shù)據(jù)，及時發(fā)現(xiàn)問題。不同的數(shù)據(jù)之間能夠形成相互驗證的關系，這對于提升工程造價工作水準具有積極的效果。
二、大數(shù)據(jù)分析對于提升工程造價精準性的影響
（一）提升工程造價的合理性。大數(shù)據(jù)分析能夠對于大量的數(shù)據(jù)進行全面的分析，數(shù)據(jù)更加全面合理，因此能夠全面的提升工程造價的合理性，對于提高工程造價數(shù)據(jù)的科學性具有積極意義。大數(shù)據(jù)分析技術的應用能夠從不同角度提供工程預算數(shù)據(jù)，這樣能夠多方位的印證施工項目工程造價中的相關數(shù)據(jù)，發(fā)現(xiàn)問題能夠及時的進行更改，這樣才能全面的提升工程總價水平，為施工項目的開展提供更加可靠的數(shù)據(jù)。
（二）增加工程造價的動態(tài)性。傳統(tǒng)的工程造價項目數(shù)據(jù)都是固定的，不會根據(jù)工程項目的開展進行變動，這種情況下一旦實際工程中出現(xiàn)一些偏離，工程造價數(shù)據(jù)的利用價值就會降低。利用大數(shù)據(jù)分析進行工程造價的過程中，在項目施工的過程中能夠根據(jù)項目施工情況的變化調整工程施工項目數(shù)據(jù)，改變前期確定的工程造價。由此我們能夠看到大數(shù)據(jù)分析能夠提升工程造價的動態(tài)性，對于全面提升工程造價水平具有積極意義。
（三）增加工程造價的全面性工程造價需要對于工程項目各個方面進行數(shù)據(jù)分析，這樣才能全面提升工程造價數(shù)據(jù)的科學性。大數(shù)據(jù)分析是對于工程項目的各個方面的數(shù)據(jù)進行全面的收集，這樣工程項目的全面性得以提升。利用大數(shù)據(jù)分析計算不僅能夠分析工程項目數(shù)據(jù)中的各種財務數(shù)據(jù)，還會分析一些非財務數(shù)據(jù)，這些數(shù)據(jù)非常的全面，能夠從不同的角度體現(xiàn)工程項目施工情況，這對于提升工程造價精確性具有積極意義。
（四）增加工程造價的指導作用工程造價是為了更好的指導工程項目的施工工作，利用大數(shù)據(jù)分析技術能夠全面的開展對于工程項目相關數(shù)據(jù)的收集與分析，提高工程造價的可參考性，因此項目開展施工的過程中會更多的參考工程造價數(shù)據(jù)進行施工管理，這樣能夠全面的提升工程造價的實用性，對于提升工程項目管理水平具有積極意義。為了更好的發(fā)揮其指導意義，利用大數(shù)據(jù)分析計算開展工程造價工作的過程中，應該加強數(shù)據(jù)與施工項目數(shù)據(jù)之間的聯(lián)系，這樣才能保證工程造價的可參考價值，為施工項目的順利完成提供可靠的保證。
三、利用大數(shù)據(jù)分析提升工程造價精準性的措施
（一）優(yōu)化硬件設施大數(shù)據(jù)分析的應用需要擁有良好的硬件設置作為保證，為了能夠更好地利用大數(shù)據(jù)分析技術開展工程造價工作，施工項目單位的工作人員應該不斷的優(yōu)化數(shù)據(jù)分析相關的硬件設施。首先，施工項目應該引進更加先進的設備，通過硬件設備的完善為工程造價工作的開展提供良好的環(huán)境。其次，施工單位需要培養(yǎng)大量的優(yōu)秀人才。大數(shù)據(jù)分析工作屬于一種系統(tǒng)性非常強的工作，需要大量的掌握計算機技術的人才，因此為了能夠讓大數(shù)據(jù)分析技術更好地應用工程造價，施工單位內部應該培養(yǎng)與之配套的人才，這樣才能讓大數(shù)據(jù)技術真正的應用工程造價工作中去，為工程造價工作更好地開展提供可靠地保證。再次，施工項目人員應該在內部建立一個數(shù)據(jù)庫，把項目施工中的各種數(shù)據(jù)信息都存在在數(shù)據(jù)庫中，這樣能夠更方面數(shù)據(jù)分析人員利用大數(shù)據(jù)技術開展數(shù)據(jù)分析，全面提升數(shù)據(jù)分析水準。
（二）加強軟件管理大數(shù)據(jù)技術的應用不僅需要硬件支撐，還需要與之配套的軟件設施，這樣才能最大限度的發(fā)揮大數(shù)據(jù)分析的優(yōu)勢作用。因此，施工項目單位開展工程造價工作前應該加強對于單位內部的軟件管理。首先，應該優(yōu)化人力資源，提升員工對數(shù)據(jù)分析技術的掌握程度，針對工作人員進行技能培訓，讓相關的工作人員掌握必要的大數(shù)據(jù)技術開展數(shù)據(jù)分析。其次，施工單位應該建立與施工項目適應的軟件設置，根據(jù)施工項目實際情況以及數(shù)據(jù)分析需要設置必要的數(shù)據(jù)分析職能，建立屬于施工項目自身的軟件系統(tǒng)，這樣才能更好地發(fā)揮大數(shù)據(jù)分析的優(yōu)勢，讓數(shù)據(jù)分析全面的服務于工程造價工作，全面提升工程總價水準。
（三）建立造價分析工作常態(tài)化分工協(xié)作體系工程造價分析工作需要各個部門互相配合，這樣才能最大限度地提升工程總價工作水平。因此為了能夠更好地利用大數(shù)據(jù)分析技術開展工程造價工作，施工單位應該建立造價分析工作常態(tài)化的分工協(xié)調體系。優(yōu)化單位內部工作流程，落實工作責任，把大數(shù)據(jù)分析的具體職能深入的落實到單位內部的各個人員以及相關部門手中，這樣才能最大限度的保證工程施工項目能夠更好地開展施工，提高工程造價數(shù)據(jù)的精確性。在數(shù)據(jù)收集的過程總，應該讓每個工作部門都積極的參與進來，這樣能夠提升數(shù)據(jù)的范圍，保證數(shù)據(jù)更加真實可靠。只有真實可靠的數(shù)據(jù)來源才能更好地保證大數(shù)據(jù)分析結果更加的科學。另外，還要做好數(shù)據(jù)的存儲與保管工作，把大量數(shù)據(jù)存儲于數(shù)據(jù)庫內部，這樣才能夠擴大大數(shù)據(jù)分析的范圍，提升分析結果的科學性。
（四）加強對于大數(shù)據(jù)分析環(huán)境下對于工程造價的監(jiān)督為了能夠更好地利用大數(shù)據(jù)分析開展工程造價工作，施工單位利用大數(shù)據(jù)分析技術的過程中，應該加強對于大數(shù)據(jù)分析工作的監(jiān)督與管理，這樣能夠及時的發(fā)現(xiàn)大數(shù)據(jù)分析中的問題，針對問題提出有效的解決措施，防止大數(shù)據(jù)分析技術應用不充分影響工程造價工作的開展。在監(jiān)督管理工作開展的過程中，需要保證相關工作人員的獨立性與專業(yè)性，只有保證獨立性才能提升監(jiān)督管理效果。保證專業(yè)性是為了更好地發(fā)揮監(jiān)管職能，及時的發(fā)現(xiàn)問題，解決問題。
【摘 要】為了解決傳統(tǒng)運營商面臨的急需提升主動服務能力的問題，研究了大數(shù)據(jù)分析在客戶服務方面的應用，通過大數(shù)據(jù)分析鎖定
>> 電信運營商真正的優(yōu)勢在于大數(shù)據(jù)分析 通信運營商基于位置信息的大數(shù)據(jù)安全應用研究 電信運營商大數(shù)據(jù)對外應用案例分析 電信運營商大數(shù)據(jù)引入策略分析 運營商大數(shù)據(jù)安全管理策略研究 運營商基于信令大數(shù)據(jù)的關系嗅探方案 運營商的大數(shù)據(jù)機會 大數(shù)據(jù)運營商們的“絕活兒” 大數(shù)據(jù)時代下的電信運營商變革 基于大數(shù)據(jù)分析的政府人事治理研究 基于大數(shù)據(jù)分析的運營監(jiān)測信息系統(tǒng)應用 基于大數(shù)據(jù)分析的智慧倉儲運營支撐平臺設計 基于大數(shù)據(jù)的電信運營商業(yè)務模式研究 基于個性化服務需求的圖書館大數(shù)據(jù)分析平臺構建研究 運用大數(shù)據(jù)技術構建運營商網管數(shù)據(jù)互聯(lián)中心 提升網管數(shù)據(jù)服務能力 電信運營商跨行業(yè)大數(shù)據(jù)融合應用場景分析 基于大數(shù)據(jù)技術的告警日志數(shù)據(jù)分析 電信運營商大數(shù)據(jù)應用系統(tǒng)建設方案研究 運營商大數(shù)據(jù)在旅游行業(yè)應用探索研究 運營商大數(shù)據(jù)業(yè)務發(fā)展方向及策略研究 常見問題解答 當前所在位置：l.
[4] 華信郵電咨詢設計研究院有限公司. 北京移動數(shù)據(jù)業(yè)務客戶價值管理及提升項目建議書[Z]. 2013.
[5] 羅旭祥. 產品與數(shù)據(jù)――基于數(shù)據(jù)挖掘的產品設計[EB/OL]. （2016-06-26）. .
[7] 董智純，楊林，詹念武，等. 一種基于大數(shù)據(jù)技術的投訴分析與預測系統(tǒng)[J]. 信息通信， 2015（9）： 285-286.
[8] 吳蒙. 主動服務中服務發(fā)現(xiàn)及其主動機制的研究[D]. 武漢： 武漢理工大學， 2009.
[9] 林波，丁東輝，郭靖羽，等. 基于投訴文本記錄的數(shù)據(jù)挖掘系統(tǒng)[J]. 中國科技信息， 2015（21）： 51-54.
[10] 于愛民. 利用數(shù)據(jù)挖掘實現(xiàn)電信行業(yè)客戶流失分析[J]. 廣東通信技術， 2004（5）： 4-7.
【摘要】我國在90年代就已經開始慢慢的開發(fā)智能交通技術，而在“十二五”期間得到了飛速的發(fā)展，同時也讓我國明確了智能交通發(fā)展的目標，并把大數(shù)據(jù)分析云平臺的技術運用到了智能交通的建設之中。在充分發(fā)揮大數(shù)據(jù)分析云平臺優(yōu)勢同時，大力發(fā)展我國的智能交通。而本文就針對智能交通大數(shù)據(jù)分析云平臺技術進行了簡單的分析。
【關鍵詞】智能交通；大數(shù)據(jù)；分析云平臺；技術探討；分析研究
隨著時代的發(fā)展和信息技術水平的提高，大數(shù)據(jù)的發(fā)展已經遍布于各行各業(yè)，當然在交通運輸方面也是如此。而且交通運輸部因為運用了大數(shù)據(jù)分析云平臺，在感知識別、網絡傳輸、智能處理以及數(shù)據(jù)挖掘面都有了非常好的效果。而且在重大工程的實驗中，通過加強對物聯(lián)網、云計算等新技術的研究，還能提高本行業(yè)的信息化技術水平。
一、大數(shù)據(jù)時代智能交通系統(tǒng)的優(yōu)劣分析
1、大數(shù)據(jù)時代改變傳統(tǒng)公共交通管理路徑。大數(shù)據(jù)的特點是內容豐富和全面，而且還有自己的傳輸方式，所以不受任何區(qū)域的限制。在傳統(tǒng)的交通管理中，很容易因為不同區(qū)域的信息不夠暢通，導致交通管理的效果不是很好，同時經常出現(xiàn)各種信息丟失的情況。而把大數(shù)據(jù)分析云平臺的技術應用到交通管理中，不但能很好的完成不同信息的傳遞，而且還能最大限度的利用這些數(shù)據(jù)，發(fā)揮他們的作用，提高交通管理的質量和效率。2、大數(shù)據(jù)下智能交通的優(yōu)勢分析。首先，通過大數(shù)據(jù)分析云平臺的應用，能在很大程度上降低各種費用，而且它還能很好的選擇最為行之有效的車輛配置方案，保證道路交通一直處于比較暢通的狀態(tài)。其次，當出現(xiàn)各種交通問題的時候，通過大數(shù)據(jù)的分析能給問題的處理和交通的調度提供良好的基礎，提高交通的暢通性。最后，在交通監(jiān)管的系統(tǒng)中，通過大數(shù)據(jù)分析，還能很好的完成各種事件的預測，降低失誤的發(fā)生率。3、大數(shù)據(jù)下智能交通的弊端。由于大數(shù)據(jù)的應用能提高傳遞信息的效率，也就間接的會影響到相關安全隱患問題的發(fā)生。例如，在大數(shù)據(jù)下的智能交通，會因為相關人員的位置以及路線信息造成丟失，就會間接的給人們的生命財產造成威脅。除此之外，每個地方都有交通數(shù)據(jù)，而這些數(shù)據(jù)還能被大數(shù)據(jù)管理和應用，而很多車輛計算交通數(shù)據(jù)都是以靜態(tài)方式存儲，所以使系統(tǒng)所具備的特點無法被除本人以外的事物進行檢索。
二、智能大數(shù)據(jù)的融合
1、關于成熟度的融合。在新時期下，無論是大數(shù)據(jù)的應用技術還是現(xiàn)代智能交通的技術都發(fā)展的非常速度，而且也越來越成熟。在現(xiàn)代化的社會中，無論是智能卡扣電子警察還是智能監(jiān)控系統(tǒng)，都已經對處理的技術進行了智能化的應用，而且完整度和深度也在慢慢的加深。所以在這種情況下，大數(shù)據(jù)時代下智能交通很有可能成為新興的應用領域中最先推廣和運用的領域。2、關于技術的融合分析。就目前的大數(shù)據(jù)分析云計算平臺來說，這項技術的應用結構和智能交通的平臺系統(tǒng)結構融合度是非常高的，而且的大數(shù)據(jù)分析云平臺技術在智能交通領域中的應用，給社會帶來了很大的好處和效應。所以說，這項技術可以作為整個智能建設中的領導者，帶領其他的子模塊進行很好發(fā)展。3、關于群眾基礎的分析。對智能交通來說，智能交通面向的服務群里就是人民大眾，廣大人民群眾來說，智能交通直接影響著人們的出行，給人們帶來非常方面的出行信息，在很大程度上方便了人們的出行，而且也降低了整城市的運營成本。更重要的是，人民群眾的生活也越來越有秩序，也會給交通執(zhí)法人員降低出勤的頻率。
三、云平臺技術特點的分析
1、可以有效的整合交通大量的數(shù)據(jù)信息資源。云平臺計算技術最大的額特點就是能很好的整合數(shù)據(jù)信息，將不同系統(tǒng)的信息資源，交通對象信息資源以及和交通工具信息資源等有效的分類和整理，同時還能利用大數(shù)據(jù)分析處理技術，解決大量信息的時效性。2、可以提高交通數(shù)據(jù)信息的利用率，將數(shù)據(jù)信息發(fā)輝出最大的價值。因為云計算最大的特點就是整合數(shù)據(jù)，所以在智能交通的中運用這項技術，能在很大程度上幫助交通部門提取非常有用的信息資源，而且通過描述交通的情況，還能將數(shù)據(jù)信息發(fā)揮出它最大的價值，充分的將交通數(shù)據(jù)利用了起來。最后在通過大數(shù)據(jù)的應用技術，還能更好的優(yōu)化信息的數(shù)據(jù)，提高云計算的分析能力。3、可以多維度的實時傳輸，提供個性化服務。在大數(shù)據(jù)下時代下，隨著時代的發(fā)展和信息技術水平的提高，并通過云平臺的利用，可以將路況信息通過電腦、電話等多種渠道進行傳輸，而且保證傳輸?shù)膬热菔菍崟r的、真實的和準確的，給人們提高非常好的個性化交通信息服務。最終實現(xiàn)道路交通管理的質量和高效。
結束語：
總而言之，隨著社會的發(fā)展和變化，智能交通已經貫穿于人們的生活中，對人們生活有非常大的影響。而且通過大數(shù)據(jù)分析云平臺技術的應用，還讓交通信息的數(shù)據(jù)變得非常準確、高效、便捷和安全。而且大數(shù)據(jù)的應用是未來的發(fā)展趨勢，通過大數(shù)據(jù)智能交通的建設，還能更好的促進各大城市的交通發(fā)展，同時還能對海量的信息資源進行很好的整理，最終通過這些信息數(shù)據(jù)的處理，幫助交通部門構建一個非常安全、智能、高效而且成本還低的智能交通系統(tǒng)。
關鍵詞：供電企業(yè)；信息安全；大數(shù)據(jù)；分析方法；思路；探討
前言
智能化的電網正在全面地實施建設。隨著以大數(shù)據(jù)為中心的IT技術的不斷融入，當前我國的供電企業(yè)展開了大數(shù)據(jù)分析的研究，以便更好地使得大數(shù)據(jù)應用到整個配網的規(guī)劃當中。此外，還要根據(jù)電網的實際數(shù)據(jù)情況，把數(shù)據(jù)應用到智能變電站的建立、智能電網的調度及供電信息的采集等各個方面。進而有效地提高我國供電企業(yè)的管理水平及處理業(yè)務的能力。然而，信息化新技術在應用的過程中也具有一定的風險因素，所以需要建立大數(shù)據(jù)的安全分析結構，進而對數(shù)據(jù)進行相應的處理并把安全分析方法應用到整個供電企業(yè)的信息系統(tǒng)中去，進而更好地為供電企業(yè)的數(shù)據(jù)安全提供保障。
1供電企業(yè)的信息完全風險分析
大數(shù)據(jù)作為供電企業(yè)的管理工具是一把雙刃劍，給供電企業(yè)管理提供了便利，提高供電企業(yè)的管理水平和管理能力的同時，也給供電企業(yè)帶來了一定的挑戰(zhàn)和風險因素。使得企業(yè)數(shù)據(jù)處理、收集及傳輸?shù)娘L險等級提高。若企業(yè)內部的數(shù)據(jù)出現(xiàn)問題，則會使得數(shù)據(jù)在進行傳輸?shù)倪^程中被盜取和竊聽，這給企業(yè)的管理帶來了很大的風險。除此之外，企業(yè)在進行數(shù)據(jù)中進行一定的儲存和利用的過程中，也會由于大數(shù)據(jù)系統(tǒng)的內部維護不到位而帶了很大的風險。若企業(yè)的數(shù)據(jù)被長時間地竊聽，就會使得不法分子有機可乘，采用各種方法來對數(shù)據(jù)后臺進行攻擊和試探，并尋找系統(tǒng)的薄弱之處。最后實行致命的攻擊，并造成系統(tǒng)的癱瘓。所以，大數(shù)據(jù)給在方便企業(yè)的信息管理的同時，也帶來了一定的信息安全挑戰(zhàn)。
2供電企業(yè)信息安全大數(shù)據(jù)所面臨的數(shù)據(jù)安全的需要
傳統(tǒng)的電力信息系統(tǒng)逐漸地走向了信息化處理的進程，智能化的電網模式帶給了供電企業(yè)信息系統(tǒng)數(shù)據(jù)安全更大的要求。每次進行數(shù)據(jù)的訪問時，都需要確定數(shù)據(jù)的訪問權限，并核實訪問者的身份，并查看是否被授權。供電企業(yè)的數(shù)據(jù)信息需要被完整地保護，并保障其不被刪除或者惡意的篡改。一旦供電企業(yè)發(fā)生一定的突發(fā)事件，需要大數(shù)據(jù)平臺對數(shù)據(jù)進行自動的備份，并使數(shù)據(jù)得到安全的保護。④要采取一定的措施來保證供電企業(yè)的數(shù)據(jù)在運行過程中的安全性不被破壞。⑤要切實保證整個供電企業(yè)的信息系統(tǒng)的網絡安全，控制供電企業(yè)信息系統(tǒng)的基礎安全信息網絡和供電企業(yè)內部比較重要的業(yè)務系統(tǒng)的安全。
3供電企業(yè)的信息安全大數(shù)據(jù)分析思路
當前供電企業(yè)內容的安全信息系統(tǒng)逐漸地向著對抗型的信息安全系統(tǒng)方式轉變，并使得電力系統(tǒng)的大數(shù)據(jù)網絡可以積極地應對外界的攻擊。并對潛在的敵人進行分析和識別，并歸納總結當前的供電企業(yè)的信息安全大數(shù)據(jù)的風險類型，從而采取相應的對策，并先發(fā)制人，提高安全大數(shù)據(jù)系統(tǒng)的防御能力。這就是當前供電企業(yè)的信息安全大數(shù)據(jù)的分析思路。大數(shù)據(jù)的分析和挖掘技術需要不斷地融入到大數(shù)據(jù)的安全分析中去，下圖是大數(shù)據(jù)的安全結構分析思路。供電企業(yè)的信息安全大數(shù)據(jù)分析思路是基于技術的安全分析和理念，是至今為止比較完善的大數(shù)據(jù)安全分析辦法，是供電企業(yè)大數(shù)據(jù)的核心環(huán)節(jié)，是對相對分散的信息進行采集并實現(xiàn)存儲，并對其進行一定的分析，最后把其分析結果進行分發(fā)，把所有的安全分析體系結合在一起，并實現(xiàn)安全技術的互動。
4供電企業(yè)信息安全大數(shù)據(jù)安全分析結構的數(shù)據(jù)處理
供電企業(yè)的信息安全大數(shù)據(jù)的結構具體根據(jù)業(yè)務的不同分為不同的數(shù)據(jù)庫進行處理。關系數(shù)據(jù)庫是當前最豐富的數(shù)據(jù)庫，是進行供電企業(yè)信息安全處理的主要形式。而數(shù)據(jù)倉庫屬于一種多維的數(shù)據(jù)結構，可以允許用戶進行匯總級別的計算，并對數(shù)據(jù)進行觀察。事務數(shù)據(jù)庫中記錄了每一個事務，并同時附帶了一些相互關聯(lián)的附加表。文本數(shù)據(jù)庫是對圖象進行描述的數(shù)據(jù)庫，文本數(shù)據(jù)庫與圖書館數(shù)據(jù)庫類似。而多媒體數(shù)據(jù)庫則是對圖像以及音頻和視頻的存儲，并用于存放內容的檢索。供電企業(yè)的信息安全大數(shù)據(jù)的存儲往往需要先確定好處理的目標，并對數(shù)據(jù)進行量化的處理，最后對數(shù)據(jù)進行一定的評估，最后進行結果的展示。將大量的數(shù)據(jù)進行集中化的處理可以切實地反映出安全數(shù)據(jù)的指標，并根據(jù)指標對安全數(shù)據(jù)進行相應的評估。
5供電企業(yè)信息安全大數(shù)據(jù)安全分析方法
當前，進行供電企業(yè)信息安全大數(shù)據(jù)安全分析的方法有很多，隨著大數(shù)據(jù)的技術體系逐漸成熟，目前對安全數(shù)據(jù)的分析算法也變得多樣化，很多分析方法比如分類技術方法、序列分析方法等等對大量的數(shù)據(jù)的分析具有很好的效果。而對于不同的數(shù)據(jù)庫可以采用不同的分析算法進行分析。比如，當利用關系數(shù)據(jù)庫和事務數(shù)據(jù)庫時，就可以利用序列分析的辦法進行數(shù)據(jù)的挖掘和統(tǒng)計；而數(shù)據(jù)倉庫除了需要進行聯(lián)機處理以外，還需要進行數(shù)據(jù)的挖掘；文本數(shù)據(jù)庫則是利用模式匹配以及關聯(lián)分析等方法相互結合來進行數(shù)據(jù)的挖掘分析。
6結論
針對供電企業(yè)的信息安全的大數(shù)據(jù)分析有很多的途徑，在進行供電企業(yè)信息安全的大數(shù)據(jù)分析時，需要對供電企業(yè)的安全數(shù)據(jù)信息進行全面預測，并利用多種分析辦法綜合處理。隨著當前大數(shù)據(jù)網絡技術的不斷發(fā)展，根據(jù)大數(shù)據(jù)的分析特點進行安全分析的辦法也在不斷地完善。基于信息安全的大數(shù)據(jù)分析方法和思路具有很大的發(fā)展前景，安全大數(shù)據(jù)技術的不斷革新，使得供電企業(yè)的防護網絡更加地發(fā)達，并逐漸實現(xiàn)了供電企業(yè)的大數(shù)據(jù)信息安全的評估系統(tǒng)的完善，使得供電企業(yè)的信息安全大數(shù)據(jù)發(fā)展更為迅速。
參考文獻
[1]鐘志琛.電力大數(shù)據(jù)信息安全分析技術研究[J].電力信息與通信技術,2015(9):45-46.
