時間：2022-07-28 10:49:26
開篇：寫作不僅是一種記錄，更是一種創造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇大數據技術，希望這些內容能成為您創作過程中的良師益友，陪伴您不斷探索和進步。
關鍵詞：大數據 數據挖掘 方法
中圖分類號：TP311 文獻標識碼：A 文章編號：1007-9416（2015）04-0222-01
1 大數據時代數據挖掘的重要性
隨著互聯網、物聯網、云計算等技術的快速發展，以及智能終端、網絡社會、數字地球等信息體的普及和建設，全球數據量出現爆炸式增長，僅在2011年就達到1.8萬億GB。IDC（Internet Data Center，互聯網絡數據中心）預計，到2020 年全球數據量將增加50倍。毋庸置疑，大數據時代已經到來。一方面，云計算為這些海量的、多樣化的數據提供存儲和運算平臺，同時數據挖掘和人工智能從大數據中發現知識、規律和趨勢，為決策提供信息參考。
如果運用合理的方法和工具，在企業日積月累形成的浩瀚數據中，是可以淘到沙金的，甚至可能發現許多大的鉆石。在一些信息化較成熟的行業，就有這樣的例子。比如銀行的信息化建設就非常完善，銀行每天生成的數據數以萬計，儲戶的存取款數據、ATM交易數據等。
數據挖掘是借助IT手段對經營決策產生決定性影響的一種管理手段。從定義上來看，數據挖掘是指一個完整的過程，該過程是從大量、不完全、模糊和隨機的數據集中識別有效的、可實用的信息，并運用這些信息做出決策。
2 數據挖掘的分類
數據挖掘技術從開始的單一門類的知識逐漸發展成為一門綜合性的多學科知識，并由此產生了很多的數據挖掘方法，這些方法種類多，類型也有很大的差別。為了滿足用戶的實際需要，現對數據挖掘技術進行如下幾種分類：
2.1 按挖掘的數據庫類型分類
利用數據庫對數據分類成為可能是因為數據庫在對數據儲存時就可以對數據按照其類型、模型以及應用場景的不同來進行分類，根據這種分類得到的數據在采用數據挖掘技術時也會有滿足自身的方法。對數據的分類有兩種情況，一種是根據其模型來分類，另一種是根據其類型來分類，前者包括關系型、對象-關系型以及事務型和數據倉庫型等，后者包括時間型、空間型和Web 型的數據挖掘方法。
2.2 按挖掘的知識類型分類
這種分類方法是根據數據挖掘的功能來實施的，其中包括多種分析的方式，例如相關性、預測及離群點分析方法，充分的數據挖掘不僅僅是一種單一的功能模式，而是各種不同功能的集合。同時，在上述分類的情況下，還可以按照數據本身的特性和屬性來對其進行分類，例如數據的抽象性和數據的粒度等，利用數據的抽象層次來分類時可以將數據分為三個層次，即廣義知識的高抽象層，原始知識的原始層以及到多層的知識的多個抽象層。一個完善的數據挖掘可以實現對多個抽象層數據的挖掘，找到其有價值的知識。同時，在對數據挖掘進行分類時還可以根據其表現出來的模式及規則性和是否檢測出噪聲來分類，一般來說，數據的規則性可以通過多種不同的方法挖掘，例如相關性和關聯分析以及通過對其概念描述和聚類分類、預測等方法，同時還可以通過這些挖掘方法來檢測和排除噪聲。
2.3 按所用的技術類型分類
數據挖掘的時候采用的技術手段千變萬化，例如可以采用面向數據庫和數據倉庫的技術以及神經網絡及其可視化等技術手段，同時用戶在對數據進行分析時也會使用很多不同的分析方法，根據這些分析方法的不同可以分為遺傳算法、人工神經網絡等等。一般情況下，一個龐大的數據挖掘系統是集多種挖掘技術和方法的綜合性系統。
2.4 按應用分類
根據數據挖掘的應用的領域來進行分類，包括財經行業、交通運輸業、網絡通信業、生物醫學領域如DNA等，在這些行業或領域中都有滿足自身要求的數據挖掘方法。對于特定的應用場景，此時就可能需要與之相應的特殊的挖掘方法，并保證其有效性。綜上所述，基本上不存在某種數據挖掘技術可以在所有的行業中都能使用的技術，每種數據挖掘技術都有自身的專用性。
3 數據挖掘中常用的方法
目前數據挖掘方法主要有4種，這四種算法包括遺傳、決策樹、粗糙集和神經網絡算法。以下對這四種算法進行一一解釋說明。
遺傳算法：該算法依據生物學領域的自然選擇規律以及遺傳的機理發展而來，是一種隨機搜索的算法，利用仿生學的原理來對數據知識進行全局優化處理。是一種基于生物自然選擇與遺傳機理的隨機搜索算法，是一種仿生全局優化方法。這種算法具有隱含并行性、易與其它模型結合等優點從而在數據挖掘中得到了應用。
決策樹算法：在對模型的預測中，該算法具有很強的優勢，利用該算法對龐大的數據信息進行分類，從而對有潛在價值的信息進行定位，這種算法的優勢也比較明顯，在利用這種算法對數據進行分類時非常迅速，同時描述起來也很簡潔，在大規模數據處理時，這種方法的應用性很強。
粗糙集算法：這個算法將知識的理解視為對數據的劃分，將這種劃分的一個整體叫做概念，這種算法的基本原理是將不夠精確的知識與確定的或者準確的知識進行類別同時進行類別刻畫。
神經網絡算法：在對模型的預測中，該算法具有很強的優勢，利用該算法對龐大的數據信息進行分類，從而對有潛在價值的信息進行定位，這種算法的優勢也比較明顯，在利用這種算法對數據進行分類時非常迅速，同時描述起來也很簡潔，在大規模數據處理時，這種方法的應用性很強。光纜監測及其故障診斷系統對于保證通信的順利至關重要，同時這種技術方法也是順應當今時代的潮流必須推廣使用的方法。同時，該診斷技術為通信管網和日常通信提供了可靠的技術支持和可靠的后期保證。
參考文獻
[1]孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（01）：146-169.
2.1 大數據數據庫的特點
傳統的關系數據庫，從其創立至現在，長期占據數據庫的絕對統治地位。但是，數據挖掘、商業智能和可視化技術的發展，特別是它們處理非結構化數據的能力，動搖了傳統數據庫的牢固地位。于是善于處理非結構化數據的種種數據庫工具大量產生，這其中必須優先提及的便是NoSQL（意為Not Only SQL）及NewSQL（意為New SQL）兩大數據庫陣營。
現在隨著大數據時代的到來，由Carlo Strozzi開創的NoSQL以其技術上的先進性、方便性得到了越來越多的認可。NoSQL改變了數據的定義范圍，其“數據類型”可以是文本、圖片、影像、網頁，也可以是整個文件；NoSQL數據庫是非關系式的、數據間的關系更加復雜、多樣，類型和相互關系具有多種擴展可能、存儲方式也多采用分布式結構。經過十多年的發展，NoSQL取得了成功，采用NoSQL技術的產品也不斷增長，目前NoSQL網站上（）已經收集了150余個相關產品，人們也把采用類似NoSQL結構和原理的數據庫統稱為NoSQL數據庫。
最初NoSQL有意排斥關系數據庫的ACID規則和SQL特性（后發現其弱點又在一定程度和一定范圍內支持數據的一致性要求和SQL特性）。NoSQL堅持分布式領域的CAP理論，CAP的含義為：
Consistency，一致性。數據一致更新，所有節點訪問同一份最新的數據副本；
Availability，可用性。對數據更新具備高可用性；
Partition tolerance，分區容錯性。能容忍網絡分區。
CAP理論主張任何基于網絡的數據共享系統，都最多只能擁有以下三條中的兩條。而這種“三取二”的法則以及具體理解與執行的爭論就一直存在。想同時滿足三者，或者過分強化割舍三者之間聯系均會破壞數據系統的效率和效果。32歲便獲得加州大學伯克利分校終身教授的Eric Brewer提出了BASE理論（Basically Available， Soft state， Eventually consistent；基本可用、軟狀態、最終一致性），它用一種更注重可用性、更便于理解的方式解釋分布式系統的特點。
NewSQL注意到關系數據庫的靈活性不足、數據庫互鎖機制效率低下的特點，同時也意識到NoSQL不支持SQL所帶來的不便，它采用了一種近似折中的方案，既支持SQL并保證一定程度的數據一致性，同時也提供NoSQL數據庫的非關系數據處理的擴展功能，因而從產生之初便受到業界的喜愛，相關產品不斷涌現。NoSQL和NewSQL常見產品及其分類情況如圖所示。
2.2 NoSQL及其發展趨勢
在NoSQL潮流中，最重要的莫過于Apache基金會的Hadoop。它是一個領導者，是一個典型的分布式文件系統，是一個開源系統。用戶可以在不了解分布式底層細節的情況下，借助Hadoop開發分布式程序，它取得了成功，成為分布式數據處理界的巨獸（Hadoop的Logo就是只大象）。 現在甚至出來了“無分布不Hadoop”——每個傳統的數據庫提供商都急切地聲明支持Hadoop。關系數據庫的傳統霸主Oracle公司也將Hadoop集成到自己的NoSQL數據庫中，Microsoft、Sybase、IBM也加入了收納Hadoop功能的競賽中。
第二位領導者，MongoDB，是一個成功的文檔處理型數據庫系統，它被稱為“非關系式數據庫中最像關系式數據庫的產品”。MongoDB查詢功能強大，特別適合高性能的Web數據處理。
Cassandra是這個領域中的一個另類產品，它兼有鍵值數據庫和列值數據庫兩者的長處，它的查詢功能很優秀。雖然運行Cassandra集群難度較高，但它升級后的分析能力使得很多人感到驚訝。
Redis也是相當好的一個產品。對故障恢復的良好支持以及使用Lua的服務器端腳本語言是明顯區別于其他軟件之處。使用Lua確實帶來了一些震動，因為更多的人喜歡和習慣JavaScript服務器端語言。但是，Lua是一個整潔的語言，它并為Redis開啟了潘多拉盒子。
CouchBase在可擴展性和其他潛在因素，使其看起來是一個很好的選擇，盡管Facebook以及Zynga面臨著關鍵開發者離開的風波。CouchDB會變得更好抑或相反？只要數據庫做得好受眾就會歡迎，現在看來，它確實做的很好。
還需要提及的是Riak，在功能性和監控方面它也有了巨大的提升。在穩定性方面，它繼續得到大家的贊美：“像巨石一般穩定、可靠且不顯眼……”。Riak 數據模塊化方面做得很有特色。
在圖中，涉及了多個維度：關系型的與非關系型的、分析型的或操作型的、NoSQL類型與NewSQL類型的。最后的兩個分類中，對于NoSQL有著名的子分類“鍵值類數據庫、文檔數據庫、圖存數據庫和列存數據庫。對于NewSQL本已建立“存儲引擎、簇享數據、云服務”等類別。
關鍵詞：煙草；數據中心；大數據；Hadoop；Impala
1.大數據技術現狀
當前許多企業都已基本實現了信息化建設，企業積累了海量數據。同時企業間的競爭日益加劇，企業為了生存及發展需要保證自身能夠更加準確、快速和個性化地為客戶提品及服務。而大數據技術能夠從海量的數據中獲取傳統數據分析手段無法獲知的價值和模式，幫助企業更加迅速、科學、準確地進行決策和預測。
1.1大數據技術現狀
廣大企業的迫切需求反之也促進了大數據技術的飛速發展，涌現出了諸如Hadoop、Spark等實用的架構平臺。其中，目前最主流的就是Hadoop。Hadoop的分布式處理架構支持大規模的集群，允許使用簡單的編程模型進行跨計算機集群的分布式大數據處理。通過使用專門為分布式計算設計的文件系統HDFS，計算的時候只需要將計算代碼推送到存儲節點上，即可在存儲節點上完成數據本地化計算。因此，Hadoop實現了高可靠性、高可拓展性、高容錯性和高效性，可以輕松應對PB級別的數據處理。
1.2大數據技術對煙草數據中心建設的影響
當前，煙草企業基于多年的信息化建設已經積累了海量數據，同時每天還不斷有新的各種數據產生。在高并發、大體量的情況下，需要在數據采集、存儲和運算方面采用與以往完全不同的計算存儲模式，這就不可避免地需要采用大數據技術。同時，除了購進單、卷煙交易數據、貨源投放數據等結構化數據外，還產生越來越多的非結構化數據，利用大數據技術，對非結構化數據進行預處理，可為人工判斷和機器學縮減范圍。對海量數據以及非結構化的信息進行分析統計，僅僅依靠傳統的技術手段很難實現，只有引入大數據技術才能充分的將所有的數據資源利用起來，成為企業決策的助力。
2.江蘇煙草數據中心應用現狀
2.1江蘇煙草數據中心體系架構
目前江蘇煙草數據中心以一體化數據中心、一體化數據管理和一體化數據分析三個部分為核心，構建了一套完整的數據中心架構。一體化數據中心是整個數據中心最核心的部分。通過數據倉庫模型、數據存儲、ETL工具等組成部分，構建了業務數據的收集、加工、存儲、分發的總體架構。建立了按ODS（SODS、UODS）、DW、DM三層結構設計建設的數據倉庫。一體化數據管理通過主數據管理、信息代碼管理、ESB平臺構建了企業主數據收集、標準化、同步分發過程。結合指標管理，全面管控企業的公用基礎信息。通過數據質量管理，全面有效管控數據質量。通過數據服務管理，有效提升數據中心的對外服務能力與水平。通過元數據管理來管理數據中心元數據。一體化數據分析通過構建移動信息、業務分析、數據挖掘三大模塊，針對性解決當前不同人員的決策、管理以及操作需求，發揮數據中心的數據、技術、平臺優勢。通過移動信息模塊為各級領導提供決策支持；通過業務分析模塊為業務人員的日常工作提供支撐；通過數據挖掘模塊，發掘數據所蘊含的隱性價值。基于上述一整套架構的支撐，目前數據中心構建了全省范圍的數據集成、交換體系，一方面提升了全省基礎數據、業務數據的規范化程度和數據質量，另一方面為在建業務系統的實施、已有系統的改造提供了標準化的高質量數據保障。
2.2大數據技術的應用場景分析
隨著江蘇數據中心的不斷運行，一些基于傳統技術架構的功能逐漸暴露出種種問題。其中較為突出的問題有：一是使用者對于大數據量數據的查詢需求?；趥鹘y技術架構的查詢功能響應較慢；二是分析支持靈活性的不足。傳統統計分析應用的數據結構大多是預先定義好的，面對靈活的非傳統的統計查詢需求難以支撐，需要進行額外的加工處理。江蘇煙草數據中心結合互聯網大數據技術特性，引入Hadoop平臺以及Impala等工具，搭建基于大數據的自定義數據查詢平臺，以補充基于傳統技術架構的功能不足，并為未來進一步發展建設基于大數據技術和云環境的數據中心做好準備。
3.基于大數據的自定義數據查詢平臺實現
3.1設計思路及架構
基于大數據的自定義數據查詢平臺是在現有數據中心的建設成果之上，以數據中心的數據存儲為基礎，以Hadoop、Hive、Impala等大數據技術工具為手段，以簡單靈活、快速高效的查詢展現為目標，建立的數據查詢分析支持平臺。
3.2技術方案
自定義數據查詢平臺的建設主要涉及數據存儲架構、后臺數據加工準備、前端展現三塊內容。自定義數據查詢平臺的數據存儲分為兩部分。一部分為KETTLE、Impala等工具以及自定義查詢相關的元數據存儲，另一部分則是查詢所需的各種統計數據的存儲。元數據的存儲根據元數據庫的不同主要分為兩部分。第一部分為基于Mysql數據庫的元數據存儲。這部分元數據主要包括有ETL工具KETTLE的元數據，以及前端自定義查詢需要定義的權限、數據源、表、列和表列關系等信息。第二部分為基于Hive的元數據存儲。這部分存儲的是前端查詢需要使用的Impala工具的元數據。統計數據的存儲則是使用Hadoop的HDFS實現的。根據Hadoop平臺架構，自定義數據查詢平臺的HDFS建立在6臺虛擬主機構建的集群上的。其中：2臺虛擬主機作為NameNode，一臺為主節點，另一臺為備份節點；其余4臺虛擬主機都作為DataNode用于存儲數據。所有數據將會統一分塊自動分配存儲到4個DataNode上。自定義數據查詢平臺的數據加工，是通過開源ETL工具KETTLE實現的。通過KETTLE從數據中心現有數據倉庫及數據集市中讀取需要的數據，根據自定義數據查詢平臺的數據模型定義對數據進行處理，最終加載到Hadoop的HDFS文件系統中。自定義數據查詢平臺的前端展現功能，主要是基于JSP技術實現頁面開發，通過JDBC或者ODBC對后臺Mysql數據庫進行訪問。使用者在查詢頁面中組織定義查詢的內容，查詢服務自動根據獲取的元數據信息將定義的查詢內容拼接轉換成為查詢SQL，之后通過Impala執行查詢SQL對HDFS文件系統中的統計數據進行查詢。
3.3系統實現效果
利用大數據技術，自定義數據查詢平臺較好地解決了目前數據中心所面對的問題，滿足了使用人員對于大數據量以及分析靈活性的需求。面對使用人員層出不窮的查詢需求，自定義數據查詢平臺通過預先梳理、分類定義各種維度以及統計指標。使用者可以自由的根據實際需求選擇分析所需的維度及統計指標，同時還可以基于這些基礎的內容更進一步自定義過濾條件以及計算公式，并指定其展現形式。在大數據量查詢效率方面，自定義查詢平臺相比傳統架構的查詢功能有了較大提升。
4.結束語
大數據技術的發展方興未艾，應用前景無比廣闊，對各行各業的巨大作用正在逐步展現。江蘇煙草數據中心的建設既要看到大數據技術未來的前景，更需要明確地認識到大數據平臺的建設并非一朝一夕，需要有明確而長遠的規劃，不斷完善數據環境建設、云計算環境的構建以及數據服務的擴展。
參考文獻
[1]陳鵬.大數據時代下的信息安全問題研究[J].電子制，2015,18：48
[2]劉憶魯，劉長銀，侯艷權.大數據時代下的信息安全問題論述[J].信息通信.2016,181-182
關鍵詞：大數據技術；計算與數據；協作機制
引言
在現今信息技術發展中，數據同計算可以說是信息技術發展過程中的兩個重要主題，在這兩個主題的基礎上，信息技術也逐漸出現了大數據技術概念。從嚴格意義來說，所謂大數據技術，即是針對于海量數據的分析、存儲以及技術。對于這部分海量數據來說，我們很難直接對其進行應用，在獲得數據之后，需要在經過一定處理后才能夠獲得有用的數據，如何能夠實現大數據時代下數據同計算的科學協作、并能夠將其形成一種機制，則成為了目前非常重要的一項問題。
1 計算同數據協作機制對比
對于面對數據系統來說，其一般為分布式系統類型，即通過將計算向數據進行遷移對系統中數據傳遞代價進行降低，可以說是一種通過計算對數據進行尋找的方式。要想對數據進行計算，實現數據的定位可以說是一項重要的前提，而數據切分以及存儲方式情況也將對計算的模式以及處理效率產生影響。對此，要想對數據同計算間的科學協作進行實現，就需要對數據在分布式文件系統中的存儲方式進行研究。而由于在分布式系統當中，需要對數據冗余、節點失效以及備份等問題進行解決，就對數據同計算協作價值的研究帶來了較大的挑戰。在兩者協作機制研究中，數據同計算的一致性可以說是研究重點，需要首先從該方面進行討論與解決。
1.1 位置一致性映射模型
對于分布式系統中數據同計算的一致性問題，我們可以將其理解為將兩者在同一節點位置映射，即在數據存儲區域發起計算。以網格計算系統為例，其到達客戶節點的數據是計算先于數據，并根據客戶端請求將數據映射到客戶端中進行處理。對于Hadoop系統來說，就是先將數據存儲到系統的一個節點當中，當系統發起計算時，再對元數據進行查詢后對數據存儲位置進行獲得，并將計算任務映射到節點當中進行處理。根據此種情況，我們可以將計算同數據間的映射比作是數據到節點的映射過程，在該過程中，數據片同計算程序在按照一定規則到節點進行定位之后將兩者注入到節點當中，而到該節點失效時，數據片則會按照相應的規則進行數據備份以及遷移，并重新按照規則實現到節點的對應。
在上述模型中，我們可以將計算視作是一種具有特殊特征的數據類型，這是因為對于計算而言，其自身就是程序語言設計的可執行程序片，在系統映射過程中，可以將其同數據進行同等的看待，且在程序中一般也將包括相關數據的邏輯位置信息。在分布式文件中，其中的定位算法也正是數據同節點間的映射功能，即要想對兩者的一致性位置進行實現，就離不開分布式文件系統的支持。同時，由于在分布式系統中計算遷移、存儲遷移以及數據冗余問題的存在，在具體功能實現時，也將對存儲冗余以及均衡調度等技術進行結合性的應用，以此對兩者科學協作、且具有穩定健壯特征的系統進行實現。映射方式方面，則有哈希映射以及元數據映射等。
1.2 元數據映射算法
對于該類算法來說，其可以說是最為基礎的對存儲位置同計算一致性進行實現的方法，在實際應用中，該方式通過數據塊存儲位置的查找使該位置能夠同指定的存儲節點進行映射，在其對計算同數據的定位實現中，同網絡路由表原理較為類似，即兩者通過對有路由的查詢保證數據能夠同計算被分配到同一個節點當中。對于應用該方式的系統來說，其一般為主從結構類型，如果其中出現單點失效情況，則將對整個系統產生較大的影響。對于HDFS以及GFS結構來說，就是以該數據方式構建的。在實際對數據進行存儲時，其一般會根據節點目前存儲負載情況進行判斷，而為了避免結構對失效情況具有過高的敏感性，也有學者通過對元數據進行復制的方式提升系統可用性。
通過該方式的應用，則能夠以較為便利的方式對機群系統目前狀態進行利用，在以其為依據的基礎上對系統的負載均衡進行實現。此時，系統主節點則會通過一定調度算法的應用對數據計算以及存儲進行分配，在對系統負載均衡進行實現的同將分配信息作為元數據進行保存。目前，很多針對集群負載均衡算法都能夠在元數據方法中進行應用、并將其作為對柱節點資源進行分配的依據。在實際應用中，雖然該方式在網絡信息搜索以及大量復雜均衡算法的應用方面具有較好的表現，但當系統具有較多數量小文件時，則需要對路由數據進行大量的維護，并因此對數據的查詢效果產生影響。
1.3 哈希映射算法
哈希算法是一種從稀疏到緊密值的映射方式，在計算以及存儲定位時，可以將其視作路由算法的一種，通過該方式的應用，則能夠將目標定位到節點位置。對于傳統的哈希算法，其在擴展性以及容錯性方面的表現都一般，并不能夠較為有效的對面向數據系統節點的動態變化相適應，1997年，學者David Karger提出了使用一致性哈希算法對數據進行定位，并在后續的改進中逐漸使其成為了分布式存儲中的標準技術類型。當系統對該方式進行應用之后，則不需要對中心節點元數據進行維護，可以說對普通元數據服務器性能瓶頸以及單點失效問題進行了較好的解決，其實現過程為：首先通過Key值的應用將MD5算法變換成一個32位長度的16進制數值，在以該數值進行232取模后將其映射到環狀哈?？臻g，并以相同的方式將節點映射到環狀哈?？臻g當中，此時Key則會在哈?？臻g中尋找到節點值作為路由值。
2 計算同數據的流式拓樸協作機制
2.1 Storm系統
流水線技術是對高性能數據進行處理的重要技術類型，其主要技術思想即將一個任務分解成多個具有前后關系的子任務，在流水線模式中，各個子任務的啟動同之前順序任務的完成情況具有依賴，對具有先后相關性數據分析方面具有較好的實用性特征。目前，以分布式系統以及流式技術為協作的框架機制已經在應用中表現出了較好的生命力以及靈活性，在本研究中，將以Storm系統為例進行簡單的介紹。
Storm是由Twitter所推出的一種流式分布式系統，在該集群中，由多個工作節點以及一個主節點組成，其中，主節點可以說是系統的核心，具有任務布置、代碼分配以及故障檢測等作用。在該系統中，當其要對實時計算任務進行完成時，需要對一個Topology進行建立，并由該模塊對數據處理進行規劃。在Storm系統中，元組是基本的數據流單位，可以將其看作是一個被封裝的數據結構類型，在Storm系統中，Topology可以說是最高級別的執行單元，其是由很多個節點所組成的拓撲，在拓撲中，由不同節點對相應的計算邏輯進行完成。在該系統中，Spout是系統的數據流生成器，而Bolt則為不同的處理位置。對于數據流來說，由于Spout為數據源頭，在實際運行中，其在對數據進行讀取之后則會實現向Bolt的傳送，其不僅能夠對多個輸入流進行接收，且能夠較好的對數據進行特定處理。在Storm系統對Topology進行應用之后，其則具有了更為強大以及更為靈活的數據處理能力，節點在根據Topology邏輯對任務進行分配之后將任務分配到相應物理節點之上。而從整個架構情況看來，在數據以及計算協作處理方面，系統主要是通過Topology進行分配，并在按照其描述之后由對應的節點程序進行處理，并由主節點將根據一個邏輯實現物理節點的映射。
2.2 流式拓樸映射模型
在Storm系統中，其通過Topology結構的應用，則能夠對較為復雜的分布式數據處理任務進行實現，在整個過程中，對于不同計算任務，Topology好比是邏輯規劃，并沒有對相應的物理節點進行對應，在系統主節點中，可能具有數量較多的該種結構，而對于每一個結構都可以將其視作為對特殊問題進行處理的邏輯規劃，可以說，通過Topology結構的應用，則能夠對大多數問題的處理方式進行描述。其整個過程可以抽象如圖1所示。
在圖1中，每一個操作就可以將其是作為Bolt，而數據發生器則為Spout，在該系統中，同樣由主節點對很多個處理節點進行管理與監控，對于每個任務的邏輯規劃，主節點都會在一定策略的基礎上對物理節點進行分配，以此對相關的計算恩物進行完成。如上圖中，主節點為操作1分配物理節點1，為操作2分配物理節點2，為操作3分配物理節點3，為操作4分配物理節點1，在以該種方式進行分配之后，Topology則能夠被映射為集群物理結構，并能夠對相應的計算任務進行完成。而作為編程人員，在工作當中僅僅需要對Topology的邏輯結構進行定義即可，其后續相關工作則完全由系統進行維護，作為設計人員，在整個操作過程中也不需要對失效問題進行擔心，這是因為當某個節點出現失效情況時，主節點將根據對應操作將其對一個好的物理節點進行重新的映射，以此保證整個規劃能夠得到順利的實現。
通過上述的分析可以了解到，通過流式拓樸映射方法的應用，則能夠使系統根據Topology描述的情況對不同的集群計算結構進行自動組合，以此以更為靈活的方式對復雜問題進行處理。在整個過程中，系統的主節點具有數據路由以及計算的作用，并通過Topology的描述對協作機制的跟蹤定位進行實現。
在此，我們以MPS對Topology到物理的映射過程進行模擬，在節點間，將通過Mpi_Send（）函數的應用將流數據元組注入到節點當中，并在該節點上對相關操作進行發起，之后，通過MPI_Recv（）函數的應用對前端數據進行接收，以此對節點間通訊進行實現。對于該種方式來說，其能夠對不同數據系統僅僅能夠進行非實時數據批處理的問題進行了較好的避免，具有較好的應用效果。
3 結束語
在現今大數據時代背景下，數據同計算間的協作具有了更為重要的意義。在上文章，我們對大數據技術中計算與數據的協作機制進行了一定的研究，需要能夠聯系實際進行系統模式的選擇與應用，以此更好的對數據處理任務進行實現。
參考文獻
[1]羅象宏，舒繼武.存儲系統中的糾刪碼研究綜述[J].計算機研究與發展，2012（1）：77-79.
大數據商業應用技術與商業思維革命
大數據，又稱巨量資料，指的是不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據的方法，在合理時間內擷取、管理、處理、整理有關數據以幫助用戶獲取更及時、準確的決策依據。大數據有4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實性）。
一、大數據技術的商業應用領域
大數據就是全數據，“大數據”到底有多大？據統計，僅在2011年，全球數據增量就達到了1.8ZB（即1.8萬億GB），相當于全世界每人產生200GB的數據。這種增長趨勢仍在加速，以后的幾年，數據將始終保持每年50%的增長速度。如百度制作的“百度地圖春節人口遷徙大數據”就是典型的大數據應用之一。大數據結合可視化分析將大量復雜的數據自動轉化成直觀形象的圖表，將使數據能夠更加容易的被普通消費者所接受和理解。從數據庫到大數據，看似只是一個簡單的技術演進，但細細研究不難發現兩者有著本質上的差別。大數據的出現將顛覆傳統的數據管理方式，在數據來源、數據處理方式和數據思維等方面帶來革命性的變化。大數據技術目前應用在以下幾個方面。
第一，數據挖掘算法是大數據分析的理論核心，其本質是一組根據算法事先定義好的數學公式，將收集到的數據作為參數變量帶入其中，從而能夠從大量復雜的數據中提取到有價值的信息。著名的“啤酒和尿布”的故事就是數據挖掘算法的經典案例。亞馬遜的推薦引擎和谷歌的廣告系統都大量使用了數據挖掘算法。第二，預測性分析能力是大數據分析最重要的應用領域。從大量復雜的數據中挖掘規律，建立科學的事件模型，通過將新的數據帶入模型，就可以預測未來的事件走向。預測性分析能力常常被應用在金融分析和科學研究領域，用于股票預測或氣象預測等。第三，語義引擎是機器學習的成果之一。過去，計算機對用戶輸入內容的理解僅僅停留在字符階段，不能很好的理解輸入內容的意思，因此常常不能準確的了解用戶的需求。通過對大量復雜的數據進行分析，讓計算機從中自我學習，可以使計算機能夠盡量精確的了解用戶輸入內容的意思，從而把握住用戶的需求，提供更好的用戶體驗。蘋果的Siri和谷歌的Google Now都采用了語義引擎。第四，數據質量管理是大數據在企業領域的重要應用。為了保證大數據分析結果的準確性，需要將大數據中不真實的數據剔除掉，保留最準確的數據。這就需要建立有效的數據質量管理系統，分析收集到的大量復雜的數據，挑選出真實有效的數據。
大數據技術的應用中也帶來一定的問題。大數據數據量增加并不一定意味著數據價值的增加卻意味著數據噪音的增多，因此在找到有用數據之前必須給數據“降噪”。大數據的處理也要求算法在實時性和有效性之間找到平衡，云計算能幫助解決一些問題，那么就要開發基于云計算的新算法框架。數據間的鏈接需要更創造性的算法創新來找到其中的未知的關聯，以放大數據計算的價值。
二、大數據技術應用帶來的思維革命
大數據帶給我們在研究以及實踐上的思維轉變。
第一，大數據顛覆統計基礎，從數據抽樣到數據全樣，大數據最大的特點是大而全，我們將改變統計方法。如系統抽樣，分層抽樣，定額抽樣，這些統計方法將會在大數據時代不復存在。大數據的信息化可以統計到一切想要統計的數據，將工業時代的統計方法淘汰掉。
第二，從追求精確到非精確。在傳統的搜索時代，當我們去查詢某個信息時，我們需要得到的是全部的數據，但是搜索引擎則完全改變了我們這種認識，搜索引擎提供的只是前幾項內容，而這幾項內容則完全滿足了我們的信息需求。搜索引擎其實提供的是一套模糊算法，經過一系列的算法計算，將最優秀的結果帶到用戶面前，而這種結果上的呈現也顛覆了傳統所認知的對于目標的定義，在大數據時代，我們追求的不再是絕對目標，而是一個從宏觀趨勢下推導出的一些模糊的不精確的未知目標，我們將追求無限的近似而不是絕對的正確。
第三，維邏輯方式將從因果轉變為關聯。大數據時代導致了西方產生了驚人的言論：“理論已死”。以往的決策決策者要想決定某件事，必須參考各種理論，對其中的因果進行判定后才能達成，但是大數據時代則讓決策變得更加容易，比如超市大數據可能會用清晰的圖表告訴你每當下雨天時，超市里的蛋糕會賣的多，這時候決策者根本不需要知道任何理論，任何因果，只需要在天氣預報預測明天將要下雨時提前準備蛋糕就行了。
大數據技術將引領兩個領域共同發展，并帶來人類生存環境和人類本身的巨大改變。首先是大數據技術帶動物聯網技術的延展，物聯網可以依靠數據處理技術延伸到每一個角落，幫助人類收集客觀世界的一切信息，比如車聯網、智能高速公路，智能家居等。物聯網還可以延伸到人類自身之上，比如可穿戴設備幫助人類更好地了解自身的健康，慢性疾病或者腫瘤的治愈將成為現實。大數據將使客觀世界的全部內容數據化、可記錄。另一個領域是大數據技術帶動數據分析的發展，當信息獲取系統幫助人類獲取了足夠多的信息，如何處理這些信息將是問題，潛在的技術將把無關聯的領域用數據聯系起來。最終，大數據帶來的將是具有人類智能的世界，客觀世界將通過互聯與數據處理貢獻一種提供實事求是經驗的、類似人腦習慣性的真實思維。我們的生活將發生巨大變化，理性與習慣性將增加，不可預測性將降低，包括隱私在內的很多法律問題將被重新定義。
參考文獻：
【關鍵詞】云計算技術 大數據 數據處理
隨著物聯網、網絡、移動通信等的快速發展，特別是互聯網的普及使得信息傳播的規模和速度呈現幾何增長，人們獲取信息的途徑和方式開始變得異常豐富，人們事實上已經進入了“信息大爆炸”時代。與此同時信息傳播的大容量、高效性和準確性也對現有的數據處理體系提出了更高要求。根據大數據摩爾定律，人類世界的數據產生量將按照每兩年一倍的速率增長，預計2020年世界數據量將超過35億GB，“大數據”時代迫在眉睫?！按髷祿本哂须x散型、隨機性、發散性、爆發性等特點。近年來，隨著云技術的興起全面革新了傳統的數據技術，大容量、多樣化、快速處理、信息價值性和準確性為了云技術背景下大數據處理的五大主要特征。如何利用云計算技術對大數據進行高效處理已經成為了信息技術發展亟待解決的關鍵問題。
1 大數據和云計算的關系
云計算技術是指利用集中式遠程計算資源池，通過按需分配的方式，為終端用戶提供強大而廉價的計算服務技術。云計算技術作為一種數據處理方式，其技術特點包括：一是資源池在物理上是對終端用戶完全透明的；二是能夠為任何行業提供規?；嬎惴眨浞漳芰煽醋鍪恰盁o限”的；三是其應用部署快速便捷，服務能力和方式是可以完全按照終端客戶要求定制的，具有極強的彈性伸縮能力；四是云端數據獲取方便，能夠資源共享，用戶使用成本低廉。
云計算技術是目前最強大的數據存儲、傳輸和處理平臺，它是大數據處理的最優選擇。云計算能夠為大數據提供幾乎“無限”的存儲空間和處理能力，滿足其超大容量存儲和超級復雜的處理需求，也是傳統存儲方式無法實現的。云計算側重數據的計算處理，而大數據需要強大數據處理能力，因而它是云計算的處理對象。此外大數據所產生的業務需求也為云計算的實現提供了更多的形式。
2 基于云計算的大數據處理技術
2.1 大數據的采集技術
目前數據采集方式主要分為集中式和分布式兩大類。其中分布式的靈活性較強，而集中式的全局性較好。實際上大數據采集的對象通常包括組織內部和相互獨立組織間的各類數據，而云計算恰好具有并行處理的優勢，因而可采取混合式采集方式能夠更加有效地完成數據采集任務。即在各個組織內部采用集中式數據采集方式，通過在組織內配置中心服務器，作為集中式數據注冊機構，用于存儲和共享內部的數據。在相互獨立組織間，采用云計算的集群技術、虛擬化技術等在各獨立組織中心服務器間采用分布式采集方式實現數據采集、組織間對接和共享。大數據結構類型包括結構化、半結構和非結構化數據，因而在應用云計算技術進行分布式采集時，可依托其超強的擴展性和容錯力，將數據池內數據進行同構化，從而實現數據進行分類存儲。
2.2 大數據的存儲技術
由于超大體量、離散、復雜的數據特點，傳統數據存儲模式已經難以滿足大數據存儲要求。一方面單結點的數據倉庫在容量上難以滿足呈幾何增長的數據量，在運行效率上也難以滿足大數據的分析處理需求。另一方面傳統數據倉庫按行存儲模式，雖然可以實現大容量索引和視圖，但實際操作中其時間和空間過高。而云計算主要采取列式存儲模式，即區分數據不同屬性，不同屬性列都單獨存放。云計算中列式存儲的優勢在于在投影數據時只需查詢其屬性列，系統處理量和處理效率顯著提升。此外按數據屬性進行列式存儲，數據倉庫中相鄰列數據的相似性更高，因而能夠得到更高的數據壓縮率，進一步減少存儲所需空間。
2.3 大數據的挖掘技術
聯機分析能夠完成數據的復雜處理，得到直觀結果，實現決策性分析。云計算并行模式下聯機分析能夠基于數據全局，建立多維分析模型對數據進行多維度分析，從而盡可能獲得全面的分析結構。由此可見多維度分析是聯機分析的重要特征，而云計算技術下數據倉庫正好是通過多維數據組織的。
聯機分析對數據的處理僅僅只是表面的，其獲取的信息價值并不高，難以得到數據深層次的含義與內在關聯。而數據挖掘正是在聯機分析的基礎上，從超大體量的數據倉庫中提取數據所蘊含的隱性信息，并將這些信息用規律、概念或是模型等表現出來?；谠朴嬎愕臄祿诰蛑饕捎梅植际讲⑿型诰蚣夹g。與其他串行方式相比，云計算技術下并行數據挖掘能夠利用機器集群拆分分布式系統中的并行任務，并將拆分后的各個任務分別交由不同的機器去處理，從而實現大規模數據處理，其時間成本也大大降低。
2.4 大數據的可視化技術
上文所述數據挖掘可實現大數據的深層次、多維度分析，獲取更多有用信息。而云計算平臺下可視化技術則能夠將上述信息具體化，從而使數據及其有關結構的相關信息能夠更直觀地表現出來，更容易被發覺和理解?？梢暬夹g是指在存儲空間中，將數據庫及其中數據以圖像（圖形）的形式表示出來，并在其中再采用其他的分析手段獲取圖像中所蘊含的未知信息。而原有的數據處理僅僅只能夠從數據本身入手，分析和觀察數據中的內在信息。云計算下的可視化技術不但能夠實現非空間數據的多維度圖像顯示，而且能夠實現檢索過程的直觀圖形顯示，從而幫助人們更好地挖掘和理解信息，信息檢索效率也大大提升。
3 結語
在數據爆炸時代，云計算的出現為大數據的存儲和處理提供了可能，也為數據處理系統的功能擴展提供了重要保障。以往的數據管理將收集和存儲作為重點，而在云計算模式下，大數據管理將更多地側重數據分析、挖掘及管理模式的創新。目前數據采集和統計技術已經較為成熟，利用云計算進一步豐富大數據的存儲和處理方式，實現更高層次的數據挖掘和可視化將是今后需要解決的問題之一。
參考文獻
[1]孟小峰，慈祥.大數據管理：概念，技術與挑戰[J].計算機研究與發展，2013，50（1）：146+169.
[2]吳雪琴，基于云計算的大數據信息檢索技術研究[J].電腦知識與技術，2014，10（10）：38-41.
[3]迪莉婭.基于云計算的電子政務大數據管理研究[J].信息管理與信息學，2013（12）：50-51.
1.1物聯網
物聯網是可將物與物、人與人、人與物相互關聯，實現智能控制的一種網絡技術。就是利用局部網絡或互聯網等通信技術把自來水廠既有的傳感控制器、機器、人員等通過新的方式聯在一起，實現信息化、遠程管控和智能化的網絡。
1.2大數據
大數據技術可將水廠內一系列的數據庫集成化，抽取挖掘數據信息，并轉換成指導企業生產管理的有效信息。大數據，主要就是指數據量巨大、種類多、產生速度快、有創造價值潛力的數據庫。被譽為“大數據時代的預言家”的牛津大學維克托·邁爾-舍恩伯格教授解釋：大數據分析就是分析全體數據不要抽樣數據，要接受數據的復雜多樣性不要追求個別類型數據的精確，要事物相關關系不要難以捉摸的因果關系［2］。
1.3機器人
傳統一線工人是通過對設備的看、觸、聽、嗅、測等感觀進行巡視判斷。而設備巡檢機器人一旦投運，將不受環境影響，實現24小時不間斷高強度的自動巡檢，甚至還可以將每次巡檢的內容上傳大數據庫進行儲存，方便以后查閱。
2面向智慧水廠的大數據管理理論
對于智慧水廠而言，其大數據往往是從各種復雜系統中得到的，每一個系統都有著獨立的數據集和分散的鏈接，數據的共性和網絡的整體特征隱藏在這些數據網絡的集合中，但通過大數據可以將這些反映相互關系的鏈接整合起來，構成一張完整的大數據關系網。分析大數據也就是分析大數據后面的網絡，大數據面臨的科學問題本質上可能就是網絡科學問題，一些網絡參數和性質也許能刻畫大數據背后網絡的共性［5］。智慧水廠部分大數據及這些數據之間可能的聯系，其中包含了來自水廠自身、調度及外部的諸多數據，這些不同數據之間彼此關聯、交織成網，以一種現階段看來無比混雜并且難以準確描述的方式支撐和推動著配水廠的運行與發展。
3面向智慧水廠的大數據分析前景
摘要：貴州智庫必須運用貴州領跑大數據的優勢加快智庫轉型升級。大數據時代為貴州智庫轉型提供技術支撐。貴州借助大數據技術助
>> 大數據加速推進貴州產業轉型升級 大數據助推產業升級 軍民融合助推貴州工業轉型升級 讓工業大數據成為制造業轉型升級的助推器 國網新疆電力公司大數據智庫平臺安全技術解析 大數據驅動下的新疆新型智庫建設 貴州大數據產業發展與產業結構轉型 貴州弄潮大數據 論道貴州大數據 IT助推智庫創新 數據庫技術在大數據中的應用 大數據助推大格局賽罕區開啟食藥監管“智”理新模式 信息技術助推傳統企業轉型升級 BIM技術助推國有大型施工企業轉型升級 2016云上貴州?大數據招商引智推介會在京舉行 利用大數據技術助推精準扶貧的新探索 創意助推企業轉型升級 大數據背景下的高校新型智庫信息支持平臺構建研究 大數據環境下高校圖書館嵌入智庫建設模式探討 貴州耕“云”大數據 常見問題解答 當前所在位置：
[2].
[3]宗威、吳鋒.大數據時代下數據質量的挑戰，西安交通大學學報，2013年9月，第33卷，第5期，總第121期.
[4]吳金紅、張飛、鞠秀芳.大數據： 企業競爭情報的機遇、挑戰及對策研究，情報雜志，第32卷.
[5]中國大數據重點行業應用市場研究白皮書
[6]中國大數據重點行業應用市場研究白皮書
[7]新一輪信息技術革命浪潮對我國的影響（上）.
[13]付玉輝、郭燕溪.從社會化大數據傳播視角看公關傳播，20130603.http：//.cn/templates/T_Second/index.aspx？nodeid=43&page=ContentPage&contentid=3041
關鍵詞：網絡教育；大數據技術；大數據時代
大數據技術是由信息技術而產生的一種新型的技術類型，它不但帶給人們全新的理念、全新的知識，還將人們帶進了全新的時代——大數據時代。同時，在我國網絡教育領域的學習和管理中，已經將大數據技術引用進來。對數據進行分析，并以此來推動網絡教育事業的發展，是大數據時代網絡教育的重點工作內容，因此，“對于應用于網絡教育中的大數據技術探析”的研究，就具有極大的現實意義。
1大數據時代的影響
近年來，大數據一詞被人們廣泛的提出和認知，同時，在各個行業中也都對大數據技術進行著行業應用，很多國家和企業也越來越多的提到大數據時代，那么，大數據時代是怎樣產生，其發展趨勢又是怎樣呢，本文在這里作簡要說明。首先，大數據時代概念，是由麥肯錫公司提出的。他們指出，由于現今網絡時代的發展，使得很多數據成為了超大型數據，這些超大型的數據已經無法用原有設計出的軟件進行分析和處理，但作為社會發展中起主要因素的數據信息，仍然必須要經過技術來進行采集和運用，相當于人類要面對一個全新的、巨大的信息浪潮的沖擊，這標志著一個新的信息時代的到來，就是大數據時代。其次，大數據時代中，原有的數據量計量單位已經無法滿足信息量的需求，統計軟件也已經無法完成數據的全部采集和整理，這是一種顛覆性的轉變。IBM通過研究后指出，在兩年間，人們就能夠將以往涉及到人類問題的所有資料和數據信息收集完畢，這是何等龐大的工程，并且有學者預計，世界在5年后，所生成的所有數據將會是現今的近百倍，這說明大數據時代帶給的影響將是巨大的、無法想象的[1]。
2大數據技術在網絡教育應用中出現的問題
2.1處理及轉化問題
將大數據技術應用于網絡教育之中，由于數據信息的量極其巨大，要從這些巨大信息量中有效的篩選出可供網絡教育平臺應用的課程，就具有相當大的難度。而且，由于數據信息還具有多樣化的特點，在有限的時間內，進行課程信息的有效分類也成為難點，加之這些巨大的信息中還包含著一些非法信息和病毒，如果不能進行合理、有效的分類、整理，就無法保證這些信息的安全性和完整性。
2.2數據存儲問題
當前網絡教育進行大數據技術應用，雖會對信息資源的多樣化和便捷化起到幫助，但由于信息量的不斷增長，網絡教育平臺的存儲空間已經無法滿足日益增加的巨大信息量。同時，在信息的存儲和導出過程中，由于巨大的信息量，將導致計算機同時運算數據過多，也極易造成計算機死機或宕機等情況發生[2]。
2.3用戶信息的安全問題
隨著大數據技術應用于網絡教育平臺，雖使教學形式更加豐富多樣，卻為用戶的個人信息數據帶來了安全隱患。很多大數據背景下的網絡教育平臺，沒有較為完善的用戶信息數據庫和加密保管措施，加之由于計算機在處理網絡信息時，巨大的課程信息和用戶信息中也會夾雜著部分帶有病毒、木馬的信息，使得用戶在進行網絡注冊后，填寫的個人信息資料很容易被一些病毒信息或木馬信息所竊?。òㄓ脩裟挲g、工作行業、家庭住址等私密信息）。這就使用戶信息得不到很好地保密，不僅會對用戶的個人隱私帶來很大的威脅，也為不法分子進行違法犯罪提供了信息資源。
3網絡教育中大數據技術的改善措施
3.1增加運行機組
由于大時代技術應用于網絡教育平臺，帶來了巨大的課程數據信息和用戶信息，這些信息會對平臺造成不良影響，只有在網絡教育平臺的線下加入必要的運行機組，才能解決此問題。運行機組的加入，不僅能改善信息分類情況，還能夠按照時間分類進行篩選，涉及到哪些學科的知識，就分類到哪里的數據庫中，并直接按照課程的先后教學時間進行縱向排列。這樣會提高網絡教育后臺的工作效率，也能對網絡教育平臺的管理起到一定的作用[3]。
3.2設置網絡屏蔽系統
涉及巨大且多樣化的數據信息，應利用相關技術設置網絡屏蔽系統。用戶將信息輸送到后臺，后臺運用此種系統進行分析，通過判讀，為用戶信息的，則安全放行，判斷為病毒信息的，則將其擋在防護系統之外，這樣就能夠有效的吸收有益信息，使網絡教育平臺能夠進行有效的課程播放或供用戶下載，并防止有害信息的侵入，使病毒或木馬無法對網絡教育平臺進行侵害[4]。同時，在接收信息時，還要對較大的數據信息或不滿足要求的信息進行篩選和屏蔽，并在網絡端進行登記記錄，如若此類數據信息還對網絡教育平臺進行訪問，則直接根據歷史記錄，將之屏蔽在平臺之外[5]。
3.3提高防范意識
在大數據的時代背景下，應提高個人及網絡教育平臺的安全防范意識。大數據帶來的信息具有數量大、多樣化等特點，這其中必然包含一些影響網絡安全的問題，只有人們在網絡上進行學習和工作時，提高自身的安全防范意識，才能有效地改變由大數據技術帶給的不便。也只有網絡教育平臺將安全作為重中之重，才能通過網絡這種媒介，將教育知識普及給更多需要學習的人。
4結語
綜上所述，大數據技術是由于信息技術的發展應運而生的。雖然大數據技術的應用，為網絡教育的平臺帶來了諸多問題，但比較而言，帶來的好處則不勝枚舉。同時，這種情況的發生，說明大數據技術在網絡教育中的應用僅處在初級階段，隨著信息技術的進步和計算機應用的進步，這些問題都會迎刃而解。因此，只有提高對大數據技術的認知程度，相應的對網絡教育應用中的大數據技術進行分析和研究，才能使大數據技術在網絡教育領域得以成熟和完善，才能為大數據技術更好地運用到其他領域起到一定的示范作用。
[參考文獻]
[1]喻長志.大數據時代教育的可能轉向[J].江淮論壇，2013（4）：188-192.
[2]吳雷.大數據助力高校網絡思想政治教育創新的長效機制構建[J].淮海工學院學報：人文社會科學版，2015（3）：122-125.
[3]方世敏.大數據時代網絡教育創新研究[J].商業文化，2015（12）：144-145.
[4]何悅恒.國內基于大數據的網絡教育研究分析[J].福建廣播電視大學學報，2015（1）：16-18.
關鍵詞：大數據技術；電子商務；問題；對策
中圖分類號：F713.36 文獻標識碼：A
收錄日期：2016年11月7日
一、電子商務與大數據技術概述
（一）電子商務。電子商務作為當今互聯網時代最具發展潛力的一種商業模式，以電子和信息技術為基礎，以商務為核心，打破了空間與時間的束縛，使生產、銷售、管理各環節的水平得到極大的提高，降低了貿易活動的成本，并且因為服務個性化、方便、快捷等特點，使得客戶的滿意度大幅度提升。此外，在“互聯網+”的時代背景下，新一代互聯網技術在電子商務中得到廣泛應用，無線互聯網功能不斷完善，大批優秀的電子商務平臺服務功能完成了向移動端的移植。移動終端應用在用戶規模和信息交互維度的實時性、實地性、多樣性等方面的優勢得到了充分發揮。大數據和云計算技術被大型電子商務平臺廣泛應用，為百億數量級別的查詢以及數十億級別的各類業務處理提供了良好的支撐。可見，電子商務前景廣闊。
（二）大數據技術。大數據技術能夠從海量的數據中提取出最有效的信息，在電子商務企業中發揮著至關重要的作用。大數據技術可具體劃分為以下幾種：
1、數據采集技術?？焖俣鴱V泛的搜集分布在互聯網上的數據，并且將一些其他平臺中的數據源中的數據導入到該工具中，對數據進行清洗、轉換、集成等。
2、數據處理技術。運用分布式系統對超大規模的數據進行快速統計、歸納、分類，便于高質量、高效率地存儲數據和提取數據。
3、數據分析技術。根據單組數據的對應分析和多組數據的聚類分析，通過定量描述對于不同現象的各種利害要素的相關程度，讓數據開發更接近人們的應用目標。
二、大數據技術在電子商務領域的應用
大數據技術在電子商務領域的應用主要體現在以下方面：
（一）應用于客戶體驗。電子商務平臺網站的界面結構和功能是吸引大量客戶的關鍵，多數電商企業為提高客戶在交易過程的第一體驗，根據大數據技術分析客戶消費行為的歷史記錄建模，然后在此基礎上使用web挖掘技術改進關鍵字加權法，有效地將用戶輸入的關鍵字合理地拓展延伸，提高商品信息檢索功能的精準率，并且針對不同的消費習慣，動態地調整頁面布局，全方位地把握客戶的實際需求，實現對商品的合理聚類和分類，呈現商品信息的初步瀏覽效果，如淘寶網根據客戶關心某些產品的訪問比例和瀏覽人群的分類來決定廣告的排版布局，增加廣告的投資回報率。通過大數據技術的應用，能滿足消費者個性化的需求，改善了客戶的購物體驗，有利于提高客戶的購物滿意度。
（二）應用于市場營銷。電商企業引進了先進的大數據技術，在市場營銷各環節最大限度地降低人力、財力以及時間成本。技術部門可構建分布式存儲系統，運用web數據挖掘技術將客戶在不同網絡平臺上的個人信息以及動態的瀏覽習慣貼上“標簽”，根據不同格式的數據選取不同的存儲策略，再針對性、大范圍地對潛在的客戶進行商品與服務推銷。
（三）應用于庫存管理。在零售業中，庫存銷量比是一種重要的效率指標，數據倉庫可以使管理人員實時追蹤商品庫存的流入與流出，并通過在線的市場供求變化數據分析，準確把握預期的市場供求動態，制定合理的生產計劃，降低庫存積壓風險，提高企業的資金周轉能力。
（四）應用于客戶管理?？蛻艄芾淼膶嵸|是為消費者提供可持續的產品和服務。運用大數據分析的優勢，電商可以劃分普通用戶群和核心用戶群，并且建立會員信譽度級別。在各大電商平臺的領軍企業，技術人員利用大數據技術根據買家的消費行為定量定性地評定買家信用，同時也能夠通過跟蹤商家的服務質量和產品銷量來評定商家的信用，這樣買賣雙方都能盡可能遵守交易的規范，以此促進電商交易平臺的良性發展。
對于客戶反饋環節，在傳統的市場營銷中，采集大量的客戶反饋信息工作需要動用較多的人力資源電話回訪完成調查問卷表，耗時耗力且結果不佳。國內一些專門將互聯網信息分門別類提供給個人和企業單位的公司，如百度和阿里巴巴等，擁有強大的大數據技術和云計算系統，可快速應對海量數據統計、查詢和更新操作，加工成具有商業價值的數據，為電子商務企業提供了全面而準確的客戶反饋信息。
三、大數據技術在電子商務領域應用中存在的問題
大數據是一個應用驅動性很強的產業，有巨大的社會和商業價值。然而，就國內現階段的大數據技術在電商領域應用的發展狀況而言，仍然存在一些問題。
（一）大數據應用的低效率問題。操作系統和系統集成技術的多元化發展造成國內電子商務系統呈現出數據孤島和異構等現象，導致不能實現網絡業務間的交換、共享、協同和控制。而電商企業的數據和系統獨立開發，大數據技術應用所需的海量數據不能在電子商務行業之間共享，不利于大數據在電子商務領域中的多元化和高效率應用。例如，我國目前最大的電子商務平臺阿里巴巴，雖然具備較為完善的信息系統基礎設施，但是由于其數據的封閉性，與其他的互聯網企業難以在業務與安全范圍內實現互聯互通互操作，尤其是新興的電子商務企業無法承受系統開發和維護費用給企業帶來的巨大成本，因而信息資源的低水平重復開發利用，一定程度上抑制了電子商務行業的協同發展。
（二）大數據技術應用的政策和技術標準不完善問題。雖然大數據技術的應用能夠為新興的電子商務行業發展提供良好的技術支持，但大數據產業仍處于初級階段，各種良好應用前景的實現還需要國家政策的大力支持。目前，我國大數據技術應用的相關管理政策尚不明確，缺少統一的技術標準，不利于大數據產業統一管理和發展，阻礙了其在電子商務領域應用的進一步革新。
（三）大數據環境下電商企業創新能力較低問題。大數據作為一種極具商業潛力的信息技術，在近年來不斷地被電子商務企業廣泛利用，但我國當前在電子商務領域應用大數據技術的創新水平較美國、日本等發達國家仍有不小的差距。國內的許多電商企業曾遭受因高強度的數據分析計算導致系統崩潰帶來的損失，且大數據資源還不能完全在企業間共享，導致大數據技術在電子商務中的應用受阻且創新能力有限，并沒有發揮出大數據技術的全部優勢。因此，加快大數據的共享，突破技術的屏障，創新商業模式、產品和服務成為大數據環境下電商企業提高核心競爭力的必要手段。
（四）大數據技術在電子商務應用中的數據安全和個人隱私問題。隨著數據挖掘等大數據技術在電子商務領域的廣泛應用，電子商務交易過程的前后，網絡通道信息交互十分頻繁，使得大數據在采集、共享、分析等方面的數據安全和個人隱私問題日益突出。一方面由于各類電商平臺信息安全技術的良莠不齊，大量分散的數據中關于企業機密和個人敏感信息記錄極易被他人用作不良途徑謀取利益，對用戶的財產安全和人身安全造成威脅；另一方面對于電商企業而言一些敏感數據的所有權和使用權還沒有明確的界定，很多基于大數據的分析都未考慮到其中涉及到的個體隱私問題，因此大數據不被妥善處理會對用戶的隱私造成極大的威脅。
四、解決對策
（一）提高大數據技術在電子商務領域的應用效率。在解決大數據應用低效率的問題上，云計算技術具有無可比擬的優勢。它可以借助虛擬化技術和大型服務器集群提高后臺的數據處理能力，為用戶提供統一的、便捷的大數據應用服務平臺。不同的互聯網合作商的相關數據被部署在云計算服務商的數據中心，進行不同數據整合加工，甚至實現行業共享，最后向用戶提供集中式的服務。云計算技術的這些特點可以有效地降低電商企業信息系統開發和維護的成本，同時在降低運行負荷的情況下，能夠提高數據中心的運行效率和可用性。
1、建立基于云計算模式下的數據存儲業務。建立基于云計算模式下的數據存儲業務，不僅通過云端技術能夠提供高效率的大數據計算和超大的數據流量支持，避免大量用戶訪問網站突破峰值造成的網絡擁堵和系統崩潰，同時存儲在云端的數據便于集中式地進行高強度的安全監控，還可以降低被黑客攻擊和竊取商業機密數據的可能性。
2、建立基于云計算模式下的信息共享和業務協作。電商企業、外部供應商、互聯網合作企業通過建立基于云計算模式下的信息共享和業務協作，不僅可以實現同步的信息資源共享，提高數據的可重復利用率，降低數據挖掘和數據整合的成本，還可通過企業之間的互通、互聯、互操作為消費者的業務需求提供更加方便和高效的服務。
（二）完善大數據技術在電子商務領域應用的政策和技術標準。各級政府應進一步加強信息網絡基礎設施建設，構筑滿足未來社會和經濟需要的數據和信息化基礎平臺，加大財政對于大數據產業的扶持力度，將數據加工處理業務列入享受營業稅優惠政策范圍，對大數據技術的自主研發項目減免稅收，甚至給予一定的補貼，鼓勵大數據技術成果產業化，并完善其知識產權保護的法律、法規和政策。此外，還應該成立統一權威的信息管理機構，建立并完善大數據技術應用的統一技術標準，完善大數據技術在電子商務領域應用的法律保證體系。
（三）提高大數據技術在電子商務領域應用的創新能力。我國應該不斷加強國內外大數據技術創新交流與合作，通過學習和交流，提升大數據技術在電子商務領域應用的創新能力。電商企業也應該積極地響應國家“十二五”發展規劃和創新創業的號召，提高對應用大數據技術改善現有的產品和服務的重視程度，優化電子商務產業結構，提升企業信息管理部門的IT架構承載能力和計算能力，研究新型商業模式，充分應用大數據和云計算技術促進電子商務企業的升級和轉型。此外，電子商務企業還需要抓緊時間儲備既有過硬的專業技術，又具備市場營銷、運營管理和創新能力的大數據管理和分析人才，滿足“互聯網+”時代的人才需求。
（四）完善大數據技術在電子商務領域應用的安全技術。為了有效解決大數據技術在電子商務領域應用中的數據安全和個人隱私問題，應該完善交易成功前的兩層數據傳輸安全防護技術和交易成功后的保留在服務器中的數據的客戶隱私保護技術，不斷增強大數據技術在電子商務應用中的安全性。
1、利用身份及設備認證技術確保用戶身份和相關設備真實性。身份認證是判明和確認交易雙方真實身份的必要環節，也是電子商務交易過程中最薄弱的環節。因為非法用戶經常采用竊取口令，修改、偽造信息和阻斷服務等方式對網絡支付系統進行攻擊，妨礙系統資源的合法管理和使用。用戶身份認證可以通過三種不同的組合方式來實現：用戶所知道的某個秘密信息，如用戶自己的密碼口令；用戶所擁有的某個秘密信息，如智能卡中存儲的個人參數；用戶所具有的某些生物學特征，如指紋、聲紋、虹膜、人臉等。
2、綜合利用數字證書和數字簽名技術保障報文的機密性以及不可否認性。在電子商務交易的整個過程中，交易各方欲提供自己的真實身份信息必須通過權威的第三方“CA機構”為其頒發身份憑證。數字證書將各方的身份信息結合在一起作為信息加密和數字簽名的密鑰，通過PKI提供公鑰加密和數字簽名服務的安全基礎平臺，管理密鑰和證書信息，從而保障電子交易渠道的網絡通訊安全和數據報文的機密及不可否認性。
3、利用隱私保護技術來實現大數據的隱私保護。（1）基于數據失真的隱私保護技術。數據失真技術通過擾動原始數據，使攻擊者不能發現真實的原始數據，且失真后的數據保持某些性質不變，大數據技術在應用中可以通過該技術實現隱私數據的保護；（2）基于數據加密的隱私保護技術?；跀祿用艿碾[私保護技術采用加密技術在數據挖掘過程隱藏敏感數據，包括安全多方計算、分布式匿名化等方法，實現數據集之間隱私的保護；（3）基于限制的隱私保護技術?；谙拗频碾[私保護技術通過有選擇地原始數據、不或者精度較低的敏感數據，實現隱私保護。
“互聯網+”時代已經到來，大數據技術在電子商務領域的應用是大勢所趨。電商企業應該積極應用大數據技術進行產品、市場和客戶等信息的分析，通過分析的結果輔助管理者進行經營管理的決策，提高電商企業的市場競爭力。
主要參考文獻：
[1]張昶，靳偉，靳艷峰.web數據挖掘在移動電子商務領域的應用研究[J].價值工程，2015.26.
[2]錢敏.數據挖掘與隱私在電子商務的關系[J].中國科技信息，2016.8.
關鍵詞：大數據 數據挖掘 數據分析
中圖分類號：TP311 文獻標識碼：A 文章編號：1007-9416（2015）11-0000-00
隨著我國網絡技術的快速發展，大數據挖掘技術越來越成為影響影響網絡信息發展的重要因素，而大數據挖掘技術的主要內容以及經常采用的主要方法直接影響了我國未來網絡技術的發展方向。因此，這一技術的發展直接影響了網絡的發展。本文從大數據挖掘技術的角度出發，研究大數據挖掘技術的應用情況。
1大數據挖掘技術的概念分析
大數據挖掘及時是KDD的一個重要的過程，這種技術是從許多數據中還有一些不完整的應用中，以及一些比較純凈的應用或者是模糊不清的應用中隨機抽取出來的。這些抽取出來的數據都是潛在存在的，但是不為人所發現的信息內容。那么什么叫做KDD（Knowledge Discovery In Database）呢？KDD是發現知識的一個過程。
通常情況下，大數據挖掘系統主要包含七方面的內容：用戶圖形界面接口、模式評估、數據挖掘引擎、數據庫或數據倉庫服務器、數據基地、數據倉庫以及知識儲備庫（如圖1所示）。由圖1可知，數據庫還有數據倉庫服務器有大量的信息和數據，這些數據對很多用戶都有著吸引力。圖1中的知識儲存庫是一個簡單的應用，用這個知識儲存庫來進行知識的探索和評價，從而確定總體的模式是不是有意義。數據挖掘引擎是整個大數據挖掘系統中十分重要的組成內容。它能夠對數據的特征、關聯、類別、價值等進行分類。模式評估的主要功能是在對數據進行評價的同時還要和大數據挖掘技術相互聯系，從而把大數據挖掘的技術全面的應用到系統中。模型的進口是用戶圖形界面的接口。能夠方便使用者使用這一模型。并且利用大數據挖掘技術進行信息的查詢和分析。
2大數據挖掘技術的應用與挑戰
2.1挖掘對象
大數據的挖掘技術面對的主要對象為大的數據庫。這樣一來能夠有效的進行信息的搜索和查詢。
2.2大數據挖掘技術體現形式局限性
當前，大數據挖掘技術在處理數據以及信息的時候所使用的方法比較有限，具有一定的局限性。通常情況下，這種技術能夠分析數值型的數據，數據內容比較簡單，可是仍然不能夠對文本文件、公式、圖片等這種沒有結構或者是無結構的數據形式開展數據挖掘的工作。
2.3使用人員參加的過程和相關領域的信息
通常情況下，大數據挖掘技術的過程常常要進行信息和數據的交流。當前，所實用的數據挖掘系統很難讓使用者參與到信息以及數據的篩選過程中。使用人員自身的知識能力以及經驗對挖掘的開展速度有著直接的影響。而且能夠順利的獲取大量的利用度十分高的數據信息等。
2.4進行知識的表現和內容的解析
很多應用程序中主要的內容都是用戶自己發現并分析出來的知識。這就需要大數據技術在挖掘信息的時候不但要有分析數字還有符號的能力還需要對圖片、語言等理解分析的技術。
2.5幫助保護知識內容和信息的更新換代
伴隨著知識量的增多，以往舊的知識會逐漸的失去自己的作用，被新的知識內容所取代。所以知識需要不斷的保護和進行及時的更新換代。當前采取的主要更新知識的方法包括維護關聯規則的增量算法等。
2.6支持局限性的系統發展
當前的大數據挖掘系統還不能夠在廣大的系統平臺上進行推廣使用。一些應用程序是應用在PC上面的，還有一些應用是針對大型的主機系統中的。除此之外，還有一些是專門針對用戶的。
3結語
數據挖掘技術是近幾年新產生的網絡技術，可是它的廣泛應用性受到了很多公司以及研究人員的喜愛。這些年來，伴隨著時間的推移以及網絡技術的不斷發展大數據挖掘技術不斷的被更新，開發，而且在金融、管理、教學等行業中都得到了廣泛的應用。我相信隨著網絡技術的不斷發展，大數據挖掘技術的應用面將會越來越廣。
參考文獻
[1]呂竹筠，張興旺，李晨暉 等.信息資源管理與云服務融合的內涵即共性技術體系研究[J].情報理論與實踐，2012，35（09）：26-32.
[2]《中國電子科學研究院學報》編輯部.大數據時代[J].中國電子科技研究院學報，2013（01）：41-43.
[3]淮曉永，熊范倫，趙星.一種基于粗集理論的增量式分類規則知識挖掘方法.南京大學學報（自然科學版，計算機專輯），2000，（11）：203～209.
[4]方開泰.實用多元統計分析[M].上海：華東師范大學出版社，1992：189～193.
大數據并不是一蹴而就、空穴來風的概念，在它的背后有很多趨勢在推動這個概念的到來。簡單地說有幾個方面推動大數據的到來：
第一是數據化。我們現在有了更多的傳感器去記錄數據。大家最能理解和最常見的傳感器就是手機。有了手機，我們就能通過技術監測知道你生活在哪個地方，有沒有網絡購物等個人信息。正是有了越來越多的記錄數據的傳感器，使得我們獲得的數據一直在增長。
第二大變化是數據形態發生了變化 。我們現在有了各種各樣的數據，既包括傳統的結構化數據，例如門店的銷售數據、后臺數據等也包括互聯網的各種數據。
在大數據時代，互聯網用戶通常作為同一個對象使用多個網絡平臺。我們通過對特別對象或人物的網絡（性格、社交圈等）和行為（購物、評論等）的特征進行分析和挖掘，打破了孤立的個人數據特征，成功建立了以人為對象的跨越多個網絡和數據平臺的關系數據群，實現個人跨平臺數據的打通。
正是在這樣的大背景下，2011年5月，麥肯錫麥肯錫全球研究院（MGI）了一份報告――《大數據：創新、競爭和生產力的下一個新領域》，推動了工業界和學術界對大數據的關注，同年11月IBM公司在產品會上推出大數據概念。
大數據有四個特點：規模巨大；產生數據的速度非常快，我們處理它的速度也非常快；數據庫的多樣性；數據中潛藏價值。
我們認為大數據不是技術的變化，而是全方位理念的變化，它是基于多源異構、跨域關聯的海量數據分析所產生的決策流程、商業模式以及生活方式和觀念形態上的顛覆性變化的總和。
大數據的創新
整個大數據在商業中的創新體現在數據的外部化。也就是我們如何把自己的業務數據拿出去給別人用或者怎么樣把別人的數據拿進來自己用？
一個門店、一個品牌的生存都不能僅僅依靠自己的數據。當下基于互聯網基礎的社交媒體、論壇、電子商務及移動電子商務數據給我們提供了很多可能的資源。我從不同角度，簡單闡釋一下這個問題。
如果從大的角度來談化妝品行業的整體發展趨勢及哪些品類會成為消費者期盼的商品，互聯網就給了我們很好的答案。
在10年前，中國還沒有男士護膚的概念和市場，但是到今天男士護膚品已經是一個很大的市場。如果我們回溯到十年前，互聯網的論壇討論就是男士護膚市場起步的端倪。因為有一些消費者由于和歐美國家的接觸，他們比化妝品市場從業人員更敏感，他們首先發現了男士護膚市場的商機與需求。所以通過大數據的檢測你可能會遇到行業可能的機會。
從小的角度來看，大數據的運用，我在一個城市開店，我只想知道什么樣的東西受消費者的喜愛，未來的市場變化趨勢是怎樣的？這個時候電子商務和移動電子商務的數據就給了我們很好的答案。
我們可以通過分布式網絡爬蟲技術，直接爬取互聯網數據。當你覆蓋足夠多的電子商務平臺，你就很容易知道哪類產品、哪類品牌甚至某個單品在哪個城市的銷售狀況。我甚至可以通過精準的計算技術，更好的了解我們商業合作與競爭的利益。
如果再深一層，面對一個個體，我應該給哪些人推送精準營銷或者說一個產品面世后它在互聯網的美譽度是怎么樣的，有沒有可能出現重大安全問題，需要產品方做怎樣的調整，這些東西都不是我們自身的數據能解決的而是需要外部的數據輔助我們做決策。
舉幾個非化妝品行業的例子。搜索網站谷歌通過人們在網上的搜索記錄完成流感的預測。谷歌每天都會收到來自全球超過30億條的各種搜索指令，如此龐大的數據資源足以支撐和幫助它預測流感的傳染程度。
我們要注意到大數據運用的創新之處。谷歌不是通過疾控中心和醫院的數據來預測傳染病，它是通過搜索指令的數據資源來預測傳染病的流行程度。也就是說谷歌在用自身業務產生的數據，拿出去解決其他地方的重大問題。
再舉一個非常典型的例子，告訴大家我們的數據要流動起來，才能發揮更大的價值。
國家電網每年會兩個指數一個是重工業用電指數，一個是輕工業用電指數，這兩個指數是整個中國工業制造業的晴雨表。如果將國家電網的數據和用水的數據結合起來，這些數據產生更大的價值。如果把用水和用電的數據結合運用到個人住戶，則可以給公安部門維護社會穩定起到積極作用。
公安部門可以通過異常的用水及用電數據判斷哪些住宅是傳銷聚集地。因為傳銷三、四十個人擠在一個小房子里，用水量是超過正常范圍的。
同時，用水用電數據為國家安全委員會維護穩定和反恐有重大意義。我們國家有一些被列入黑名單的，這些人一旦發生了不正常的移動或者居住地用水用電發生異常，公安部門需要第一時間實地走訪，掌握情況。
此外，用水用電的數據是所有銀行為中小企業發放貸款的重要依據。眾所周知，中小企業的財報數據都不太真實，銀行在為他們做風險評估的時候，基本不看財報，而是看企業的用水用電數據以及交管委的攝像頭記錄的貨車進出數據，判斷企業的整體規模及信貸風險。
所以，我再次強調大數據創新的核心是怎么樣把自己的數據拿出去支持其他行業以及如何用其他行業的數據支持自己做決策。
大數據的商業實踐
將大數據用于品牌商業分析的時候，有三點和以前不一樣：
第一，我們所有的分析都是全樣的數據而不是抽樣的數據。從某種意義上講，世界上沒有全樣數據，我們所能掌握的都只是部分，但從另一個意義上講，我們團隊能夠監控到大量的電子商務及手機移動終端的數據。這些數據不再與以前做數據分析時，到某幾家店，通過某幾個產品的試用和觀察得出的數據一樣。因此大數據時代的數據分析報告，比以前更細、更高速、更高準確率
第二，大數據的分析包括很多非結構化的數據。做移動電子商務的人會知道， 我們除了關注日常銷售、生產等結構化的數據之外，還會非?？粗厣唐吩谏缃幻襟w上的影響力如何，品牌的粉絲影響力如何。所以每一件商品的美譽度如何以及在論壇上遭遇的輿情危機等都可以通過非結構化的數據分析獲得認識。
第三，我們所有的數據都是關聯的數據。我們要打通一個用戶、 一款產品在不同社交媒體上的購買行為、瀏覽行為及被收藏被評價行為，從而獲得更全面的認知，同時發現產品從A平臺到B平臺的商業機會。
我建議有條件的品牌商及經營者要實現外部數據的戰略儲備。我們團隊的數據其實來自兩方面：一個是自有數據的積累，二是公開數據的爬取。現在的這些數據對于我們將來做擴展包括趨勢分析、競爭品牌的分析及了解用戶做精準營銷等意義重大。
在了解用戶的時候，我們需要進行全面了解。我們不僅要了解他的購買瀏覽記錄，還要了解他的時間和空間軌跡等。我們給很多品牌商做過服務，你對同一個對象在不同時間點給他推送廣告的打開率可以相差10幾倍。此外，了解一個用戶的行為軌跡，也能讓你做到精準的廣告投放和店鋪選址。
很多人在運用大數據營銷的時候，會步入邏輯結構的誤區。一般我們理解的大數據營銷是產品經理會通過思考去想像，我的產品適合什么層次的消費者，而企業的老總會思考我的產品選擇哪個明星做代言。有了這些想法之后，品牌才會根據媒體、銷售渠道及電子商務數據找到它們想要的的代言人。這樣的大數據營銷在邏輯上是不正確的，因為他太強烈的依賴于產品經理對產品的定位。
而正確的大數據營銷是首先找到自己產品和競爭產品的已有用戶以及對這些產品表達過興趣、發表過評價的幾萬人甚至是幾十萬人。然后在通過分析這幾十萬人從事的職業、感興趣的電視節目、關注的明星、日常瀏覽哪些論壇的數據結論，選擇與品牌形象及消費定位匹配的代言人，進行點對點的精準營銷。
在這樣的設計流程中， 產品經理和企業決策者的重要性體現在他們憑借敏銳的直覺，，將適合消費者使用的產品設計出來。一件產品問世，就像一個小孩出生，他已經是活生生的生命個體，父母已經無法再改變他。在這種情況下，父母對他的理解， 都比不上他在成長過程中自身生命力的勃發。許多父母會希望小孩子做各種事情，為小孩貼上標簽。但真正成功的父母，總是會從小孩的成長過程中看到驚喜。 同樣的每一件產品有了自己的生命力，它在面對市場的時候會遇到各種評價，我們利用這些大數據的分析能比產品經理更多知道一件產品它真正的目標用戶在哪里，它他真正需要的廣告投放在哪里。
在這么一套新的邏輯框架支持下，給大家舉一個化妝品行業的例子。歐萊雅集團有一款價值千余元的超聲波潔面儀。當時這一款產品的產品經理找到我們，給我們提出的是針對20歲至40歲的白領女性的產品定位。超聲波潔面儀的產品在電子商務渠道上有很多同類型的品牌，我們通過數據分析得出二三線城市的中小學老師的職業群體是被他們忽略掉的群體。
中小學老師每天接觸大量的粉筆灰塵，因此她們對潔面儀器的關注最活躍、使用頻次也最高。當我們把這個現象告訴歐萊雅的產品經理時，他們一下子就明白了這個道理。
