主講
主旨演講：大數據時代的政策與標準初探
非常榮幸今天有這個機會跟大家分享一下有關大數據時代的一些政策和標準的話題，非常高興在數據貴陽、爽爽的貴陽跟大家一起探討有關大數據的一些問題，今天主要從幾個方面去考慮，跟大家進行一個交流，通過這幾天大家的討論，我想作為標準化，回過頭來我們還是要看看何為大數據，大數據到底是什么，這個話題可能是需要大家思考，不斷深入分析的一個過程。按照很多人的探討過程中，大數據并不是一個“大”字就能解決的，它是我們在時代的發展過程中，網絡、數據各個方面采集到的一些信息泛濫出來的一個新的名詞，有了這些大量的數據資源的基礎上，我們可以去解決以前無法解決的一些問題。在這種大數據的時代過程中，我們需要的是一種新興的處理模式，來處理提高有效的決策點，洞察觀察力和流程優化的能力，這些多樣的資產稱為真正意義上的大數據。在個人的不同的眼中我們如何來看待大數據的概念?首先它是一種新興的數據的分析方式，在早期的過程中，我們一直在做數據的分析，當時我們所做數據分析過程中都是一些小樣、抽樣的數據，當這些數據龐大以后我們要對這些不同類型的數據按需類型進行有效的分析，這就產生了一種新興的數據分析的方式，另一方面，它是一種新興的數據的應用模式，我們有大量的數據在那里，我們如何將這種數據有效的加工和利用，這是我們在不同的人的調查中所看到的，還有更大范圍的信息，在我們今天的調查過程中是這樣的一種方式，還有我們有一些新型的引入的數據采集的方式，另外一些非傳統的，實時的數據。很多人按照四維的方式來看大數據，我們做了一些研究，在這個過程中，在跟相關的產業專家進行探討的過程中，我們提出一種五維的方式，把它稱之為五維，首先是數量上，大數據過程中，在聚集在一起分析的數量是非常龐大的，在長期的發展過程中，尤其是互聯網時代發展過程中，我們天天在創造一些數據，飛速的在發展。每天所創建的數據相當于我們人類社會到2003年所創造的數據量的組合，我們今天每天談到的，談論的，是發展中的一些數據，這是數量上的需求。
另一個是多樣性，大數據的形態的不是傳統的結構化的數據，有非結構化的，傳感性的，我們社交媒體所獲得的所有的數據，有文本的、圖片的、音頻的、視頻的等;有結構化的、半結構化的、非結構化的;有公司數據，有政府數據，有我們每個人所產生的數據，我們生活在一個數據不斷產生的時代。我們數據產生的數量是非常快的，數據增長的速度是非常巨大的，另一方面由于信息社會的快速發展，我們對信息處理的能力也在不斷提升，在訪問方面、處理方面，我們也是發生了翻天覆地的變化，從而奠定了我們大數據時代的一個重要的物質基礎。另外一方面大數據時代過程中，我們要挖掘數據的價值，我們在所擁有的數據過程中，我們并沒有把相關的數據的價值得到有效的發揮，在如何進行數據進一步的挖掘過程中，這也是我們肩負的一個使命。
另一方面是數據的真實性，在虛擬化社會過程中我們所生產的大量的數據，一方面要通過一種方式來確保數據的真實、有效、客觀，這是我們大數據業務發展分析的迫切的需求。同時，我們也可以通過大數據的分析，來真實的還原和洞悉數據背后所隱藏的真實的數據發展趨勢。這也就是說我們用數據的方式來還原真相，使我們對后續的發展帶來有效的基礎。在不同的人的心目中，在大數據的發展過程中多數認為多樣性、價值和真實性，和追求的這些內容。
大數據的發展應用過程中，今天我們很多論壇都從不同的角度去考慮大數據應用的作用，它從改善經濟發展方式，改善管理方式，促進行業的發展，推動產業升級，助力智慧城市等等，改變我們人類的生活方式，方方面面，我們今天會議的主題也是在談。同時我們有了數據，如何使我們的生活更加安全，另一方面通過數據的分析來進一步的改進我們的信息安全產業，服務于信息安全產業，這也是我們很多方面需要考慮的問題。大數據之所以這么重要，各個國家也從各個政策上去考慮發展促進大數據產業的發展。美國作為信息社會發展最為先驅的國家，它們從2012年就開始討論研究大數據的研究和戰略的布局，它在2012年3月份公布了大數據的計劃，通過大數據的分析，從提升美國政府，從海量復雜的數據集合中獲取知識和洞察觀察未來發展的能力，我想大數據的過程中最為主要的是將這些復雜的數據如何進行有效的發現彼此之間的價值，這里面就要開發能對大量數據進行收集、存儲、維護、管理、分析、共享的這些先進的技術，大數據并不是簡單的信息處理技術，是一種對海量信息進行充分挖掘的過程，所以需要在這方面進一步的提升核心技術。另一方面要利用這些科學技術來加快科學和功能領域中探索發現的步伐，加強國家安全，轉變現有的相關的安全的認識，培養一批從事大數據技術研發的人才。大數據過程中，數據這么多，我們如何發掘它的價值，靠的是什么?關鍵在于人的思維和我們人的智慧。澳大利亞政府也在大數據過程中感到，要利用政府的數據來去提升服務改革，制定更好的公共服務政策，保護公民的隱私，使澳大利亞政府能在這個領域中躋身全球的領先地位。英國也將數據作為新的機遇，把英國的數據提升作為一種戰略目標，通過進入信息經濟的條件下，英國政府希望在數據挖掘和價值提升方面獲得全球的領先地位，為英國公民、企業、學術機構和公共部門創造更多的收益。從而使英國在整個信息社會中占有領先的地位。
我國也非常重視大數據發展的動向，在14年12月份，國家發改委和工信部也共同探討了有關大數據發展應用的理論研討會。大數據的發展過程中更需要底層的設計和發展方向，完善相關的配套法律法規，強化政府在數據共享、開放和深化利用機制上的加強合作，同時加強人才建設等方面的措施。中關村作為中國IT方面發展非常前沿的一個地區，中關村管委會在2014年3月份正式出臺了《加快培育大數據產業集群推動產業轉型升級的意見》，圍繞著建設全球大數據終極目標從六個方面探討了大數據集群打造的相關措施。這方面在有效的新的決定的過程中，大家如何創造新的一些價值機會，是一個未來發展的重點。
第三，就是我們看到了貴州，我們今天來到的這個地方，貴州省將大數據作為一種產業加以推動，在今天這樣一個會議，我們有這樣一個過程，他們希望通過兩到三年的積淀，來促進它，把發展大數據作為一種產業的機會，作為提升產業的重要抓手，現在大家在朋友圈里面刷的比較多的就是貴州大數據博覽會，貴州省抓住了一個重點，來去考慮如何發揮大數據的作用。談到了這么多，我們如何從技術角度來看大數據呢?在國際一些相關的組織和企業中，我們和相關的一些機構一直在探討，從不同的視角，把大數據作為一種技術的參考模型加以考慮，我們通過不同的視角將不同的角色找到不同的決策方，通過不同的角色轉換來考慮彼此之間的對應關系，大數據有數據的提供方、有數據系統之間的協調者、大數據應用的提供者、大數據的消費者以及大數據整個框架的提供方，那么技術框架的提供方，我們要依托的是傳統的信息技術，來考慮從物理資源到基礎設施、網絡、計算、存儲、虛擬資源以及相關的數據處理平臺，包括我們的數據組織、分布，索引，文件系統，以及對數據進一步的加工和處理的方面，包括了計算、分析、批量處理、交互處理、流量處理等等內容，還有我們需要進行數據有效的交互界面，通過這種方式來去加以管理，同時還包括了資源有效的管理和配置。這是作為技術層面上的，作為大數據提供者方面需要考慮的問題。
另外我們不能忘了安全和隱私的保護內容，這也是在大數據的處理過程中我們需要從這個角度來去考慮的，另外對大數據應用的提供者來說，我們需要對數據進行有效的收集，對數據進行清洗，我們要對數據進行有效的準備，另一方面有這么大量的數據，我們如何進行加工和處理呢?我們重要的是要通過不同的應用對象，找到相關的分析方法，產生不同的應用的主題，為大家做數據的有效分析，產生有效的價值。數據產生過程中我們如何讓更多的人能看懂數據呢?我們要把數據進行有效的可視化，進行有效的處理。另一方面我們還要讓不同的人，針對不同的方式，對數據的結果進行有效的訪問，我們又要采取不同的方式和方法，來提供相關的訪問手段。對于數據的提供者來說，我們要通過相關的一些方式，將數據通過一種軟件工具把它獲取，給應用的提供者;另一方面對數據的交互者來說，通過我們的消費方式獲得相關的一些數據所需要的資源，從而構成了一個有效的管理的基礎框架，這是一種抽象的方式，從而產生了我們IT的信息技術本身的價值鏈，同時通過服務的應用和挖掘，產生了信息的價值鏈。這樣促進了整個大數據整體的發展，這個技術框架也是在國際相關的組織在進一步的討論和完善的過程中。
大數據這么重要，如何使大家有效的互通和了解呢?國內相關的組織也在考慮相關得標準的研究，在這個過程中，我在這里依次給大家介紹一些相關的組織，國際上ISO、IEC、JTC1、SC32，有一個數據管理和交換分技術委員會，他們的重點是在研究有關的相關的信息管理的基礎技術的一些通用技術的研究標準，重點就包括了我們常用的傳統數據的語言源數據的管理，我們流程的管理，以及非傳統意義上結構化的一些非結構化的語言處理，這個技術委員會正在研究這方面的內容，同時他們也專門成立了大數據的研究工作特別小組，研究在信息技術領域過程中，如何運用已有的傳統技術服務于大數據應用，另一方面JTC1在國際標準化組織和ic0全國電子工業委員會專門成立了一個大數據研究組，這個在2014年成立了這個組織，專門在討論如何考慮國際上的大數據相關的標準方案，標準的計劃，ITU，國際電信電聯，也在考慮大數據的相關的基礎方面，在通信領域如何應用大數據的技術，美國NTST有一個大數據公共工作組，考慮討論有關在大數據方面的一些開放性的方式，來研究探討和相關大數據相關的一些標準，我們國家相關的有全國信息技術標準化委員會，成立了工作組討論研究制定符合國家大數據相關的標準，采取一種開放的方式，請大家能夠參與到大數據的標準的制定過程中。
大數據如何構建一個有效的大數據應用框架呢?實際上大數據的內容，我們看到的框架技術過程中，所涉及的內容是非常多的，為此我們通過一套有效的標準體系框架，來將大數據的標準有機的進行分類和分析，將相關的內容有機結合起來，為后續的標準制定和起草奠定一定的基礎，在奠定過程中我們保證基礎的標準，首先我們的術語概念，大家在交流的過程中我們概念的統一是作為基礎的，另一方面參考模型，我們框架討論的原點，第二大類是數據的處理，包括了我們數據如何進行整理，對數據如何進行分析，對數據進行保護訪問，第三大類，保護數據安全的本身也是進行大數據應用的一個基礎，包括了通用的基礎要求，以及針對大數據應用過程中我們的隱私保護。還有第四大類是如何保證數據的質量，這也是我們需要考慮的一個主要的問題，這里面包括我們如何通過原數據質量的獲取，對數據質量的評價，數據溯源等等方面的內容。第五大類，我們數據的處理離不開相關的數據處理的產品，以及相關得以平臺，這里面包括最為基礎的關系數據庫的產品，非結構化數據的產品，以及商業智能、可視化工具、數據處理平臺等等一系列的內容。最后就是應用和服務，如何將這些有效的應用提供給用戶，對平臺應用的質量，包括我們的測試規范，開放數據的要求，以及數據服務平臺的要求，和針對不同領域的數據如何進行有效的分類分級，我們從這個類型上來去考慮。
目前，我們國家已經開始起草制定相關的一些標準，現在有十項標準正在起草制定過程中，還有一些相關的基礎標準正在征求大家的意見，有一些新的要求和新的需求大家可以給我們反映出來。最重要的是大數據的數據，我們對概念如何進行統一，是我們制定和交流的基礎，包括了何為大數據，何為小數據，何為快數據等等內容，都是需要我們在概念上加以統一規范的。另一方面剛剛在談到了技術標準大數據的技術參考模型，技術參考模型還是一個草案階段，如何讓技術參考模型讓更多的人理解，定義一種抽象的，能夠彼此交流的一種基礎，我覺得技術參考模型是很重要的基礎，另外一方面我們今天談到了數據交易，我們在數據交易平臺，我們如何對交易類型進行描述，如何對通用的一些交易功能進行要求。另一方面我們還在做的數據導入接口規范，對不同類型的內容，對數據本身我們也在考慮多媒體的數據語義描述的要求，另一方面我們對數據質量，我們也在考慮數據質量評價的指標。那么何為一個成熟的大數據呢?我們也要通過數據能力的評估，建立一套有效的評價體系。對數據源的有效的追溯，我們也在考慮數據溯源的描述的框架。在數據應用過程中，我們在領域應用過程中，我們也在考慮科學數據的引用等等的技術方面。這些正是全國大數據標準工作組在開展的工作，我們竭誠的歡迎各位能加入到這個工作組中，把你們的智慧共同參與進來，因為標準的制定是需要一種開放的態度，需要大家不斷的交流促進才能使標準得到有效的應用。
我想在大數據時代過程中，最為重要的是數據為王，必須采取一種開放、分享、協作、共進的態度，才能促進我們大數據的產業不斷發展，才能夠推動大數據新的安全產業在大數據的過程中得到有效的促進。謝謝大家!