主講
城市計算--用大數據解決城市中的大挑戰
謝謝大家，今天我跟大家分享一下我們在城市計算最近的實驗。現在城市越來越大，問題越來越多，交通擁堵，這樣那樣的問題。在過去看幾乎不可能，城市的設計很復雜，牽一發而動全身，現在因為有云計算單元的成熟，從氣象條件到地理數據，如果使用得當我們就可以從這些數據里面發現問題，并進一步利用這些數據解決我們城市面臨的問題。基于這樣的挑戰和機遇我們從2008年開始提出城市計算這樣的愿景，包括從城市數據下面的感知到城市數據的管理到城市數據的分析和挖掘再到服務和提供。然后把這4個環節連成環，在自動不干擾人的生活的情況下，利用大數據解決我們城市計算大挑戰，這是多任務的系統。我們有很多不同的數據就是今天的主題塊數據來自不同的領域行業。我們任務很多：可以緩解交通擁堵，可以改變城市計劃，我們需要同時用到一個數據源，如何利用不同的數據源做到1+1大于2，這是很大的挑戰。我今天在這個方面展開介紹一些實際的案例。
從2008年開始我們從智慧的城市規劃，交通到現在的環保做了一系列的工作。今天我就舉一個例子，講講我們如何用大數據看一下空氣質量的前世今生。大家知道我們現在空氣質量并不是很好，現在在城市里面建了空氣質量檢測站點，建這樣的站點很貴，而且需要后續維護，在北京也只有35個站點，我們空氣質量分布是非常不均勻的，這是真實的數據。投入的字數就是空氣質量指數AQI，越大越不好，綠色表示優，紅色表示嚴重污染，我們看到同一城市，相鄰兩站它的相差很大。為什么，因為空氣質量受很多復雜東西的影響，房屋擴散條件，是不是有綠地，這些因素在城市各個角落里都是不一樣的。現在的問題來了，如果這些問題沒有建空氣質量檢測站點，這個地方空氣質量是多少，我們現在開會的地方空氣質量是多少我們不得而知。我們結合兩部分大數據做實時的細膩度質量空氣分析。所以兩個大數據，包括第一部分是已有站點的歷史和實時的空氣質量度數，第二包括來自5個不同行業的數據源，氣象條件，刮風，下雨，氣壓，風速，交通流量問題，車的速度是多少，車的方差是多少，這個區域里面有多少廠礦，多少公司，多少企業它的密度是怎么樣，有多少紅綠燈口，有多少高速路，把這些數據融合起來就可以建立一個地方的空氣質量跟它對應的數據模型，以后哪怕這個地方沒有建空氣質量站點我們也可以算出這個地方的空氣質量，有了一公里乘一公里的空氣質量信息我們就知道政府的決策，知道什么時候該開窗戶，什么時候關窗戶，去哪里跑步。那這個東西到底有多準呢，大數據模型跟傳統方法比有什么優勢，我們怎么驗證我們的方法，我們現在已經在60個城市驗證了我們的方法。每個小時，每個站點對這個結果進行驗證，如果他說是100，我們讀出來是80，這個誤差就是20%。這個比傳統的物理模型，機理模型提高很多倍。現在這個東西已經被官用，商用，民用。這個數據目前在環保部官方使用。我們為什么說民用，民用大家手機里面有可以下載，你有安卓和Iphone里面就可以用，你只要點任何一個地方都可以告訴你這個地方空氣質量是多少。以前只能告訴你這個城市是多少，這個站點度數是多少，還有我們可以告訴你未來，未來48小時這個地方空氣質量是怎么樣。我們可以看一下這個站點長什么樣子這個是公開的。我們可以點地圖任何地方告訴你這個地方的空氣質量，PM2.5是多少。
現在我們做到京津冀聯動，很多時候這個城市聯動不在城市，而是在外面，我們做一公里乘一公里的空氣的細膩分析，就可以計算出這個地方的空氣質量。這個圖顯示北京空氣質量排名前200名的地方，這個地方大概是集中在南邊靠近河北的地方，可能河北有一部分污染真的傳播到了北京。還有預測，這個預測我們是做細膩度的預測，我強調一下，我不是說整個城市怎么樣，因為那個信息對我們幫助有限，我告訴你某一個站點未來48個小時空氣怎么變化，其中前6個小時可以做到預報，預報每個站點空氣質量讀數是多少。這個預報就是一個細膩度從空間尺度和時間尺度來講也是細膩度。我不是用這個站點本身數據做這個站點空氣質量預測，我把周邊300個站的數據輸入，我們做的時候把北京，山東，天津，石家莊的數據全部拿來輸入，最后我們就可以預測這個地方空氣變化怎么樣。我們可以點地圖任何一個站點，我們可以看到這個地方未來48小時的不變化是什么樣子。有一段時間空氣質量上升到100度，我們是不是把更遠的工廠關掉呢，我們有了這個就可以預判就不用關閉工廠。我們做大數據，為什么用大數據，為什么說空氣質量預測很難，因為空氣質量預測有很多復雜因素決定，我們沒有詳細的數據。比如我們知道他受到汽車尾氣排放影響，我們不可能拿到每輛車的汽車尾氣排放量，我們沒有辦法得到氣象在未來48小時，每個小時到底刮風還是下雨，風速，風向怎么樣我們做不到，天氣預報準確只有40%，如何把這些做得更好，它第一個難點就是這些。每個時間段預測的時間長段不一樣，我們要做分別的預測。我們這個樓周邊的情況跟貴陽市又不一樣。我們在北京在不同時間段建立了很多個模型，有很多模型在算。這個準確率怎么樣，我們在20個城市做了驗證，北京，天津，廣東，深圳，還有成都也已經上線了，在北京準確率比較低在前6小時可以做到85%，在深圳可以做到89。這個圖顯示紅色區間是真實的，空氣質量變化有多么劇烈，可以發現我們的預測跟真實值跟得非常緊密。我們跟傳統模型進行了比較。如果拿天氣預報模型做這個方法我們有4個方向可以看，第一我們做得更細致，做空氣質量預測整個區。我們做48小時預報，現在空氣質量預報根據天氣預報這樣只能做12個小時的預報。大數據的特點是數據積累越多我們準確率越高。我們整個城市預測只需要在幾秒之中完成，傳統要做6個小時，傳統是每天預報一次，我們現在可以一小時預報一次。
我們要看看未來到底什么原因導致空氣污染，這個問題非常復雜，我們先回答子問題到底有多少尾氣排放來自于車輛，我們問一下，有誰能告訴我，在過去一個小時我們貴陽市所有在路上跑的車輛它的總油耗有多少，以及它的總PM2.5的排量是多少，這個問題我們可以回答就可以跟我們空氣質量數據關聯我們可以做決策。這個做完大會我們在聯合國官方報告做了第一報告，我們對整個城市五過去10分鐘每條路的車輛的尾氣排放來算，我們用了一部分車GPS，這個圖左邊就是北京各個道路車輛油耗分布情況，紅色是高油耗路段，綠色是低油耗路段，下面是全部總和，這樣的數據可以給我們帶來什么樣的結果，有人說最低油耗數據這個肯定可以做，以前只能是一做最短時間，最短路徑。那規劃人員看出來有不同看法，為什么有些地方總是高油耗路段，我們能不能把這些地方做改進，做到真正降低油耗，降低霧霾。
下一個圖更有意義，這個是整個城市一氧化碳的排量在各個道路上的分布，紅色是高排放路段，綠色是低排放路段，下面是排放綜合。有了這個我們就知道有些地方尾氣排放并不是很高，我們以后限行只需要局部限行，這也是把空氣污染物度數跟我們大數據結合。我們現在回過頭看一下什么叫大數據，大家在很多地方聽了不同的報告，根據我們的經驗，第一不是一個單一數據很大，是多元數據的融合。大數據不是全數據不是什么數據都有有可能我們拿到的是數據車的采樣。大數據不是密數據，他可能只是一個采樣點數據，它很稀疏，比如我們空氣質量站在整個城市只有幾十個。第四，大數據并不是我們所有模型在，我們只要拿模型算就可以得出結果，我們今天講的塊數據對我們數據融合分析我們還是要大量投入分析，請大家保持冷靜的態度。大數據是端到端的實力，從數據獲得，管理，到分析到可視化需要很強的知識，需要真正數據科學家推動，大家問我什么是數據科學家，他需要什么。下面就是真正的數據科學家，他知道這個信息跟什么因素相關，他理解各種各樣的數據，知道不同數據里面反映什么含義，把數據跟問題對接。他知道各種各樣的模型，包括數據管理模型，數據挖掘模型，以及可視化的模型。數據科學家需要站在這個平臺上看三個問題，把三好看透，提取智能，拿到數據放到自己的模型里面有機結合，最后做到端到端的結合，這就是真正的數據科學家。我的演講就到這里，謝謝大家!