大數據技術與應用最全完整版

1、大數據技術與應用,目錄,引言 → 電影《點球成金》,基于歷史數據，利用數據建模定量分析不同球員特點，合理搭配，重新組隊；,打破傳統(tǒng)思維，通過分析比賽數據，尋找“性價比”最高球員，運用數據取得成功；,布拉德?皮特主演的《點球成金》是一部美國奧斯卡獲獎影片，所講述的是皮特扮演的棒球隊總經理利用計算機數據分析，對球隊進行了翻天覆地的改造，讓一家不起眼的小球隊能夠取得巨大的成功。,數據本質是生產資料和資產,僅供開采162年,僅供開采45年,僅供

2、開采60年,不可再生資源VS數據,數據不再是社會生產的“副產物”，而是可被二次乃至多次加工的原料，從中可以探索更大價值，它變成了生產資料。,,數據爆炸式增長（每分鐘……）,數據資產管理的挑戰(zhàn),數據資產管理的挑戰(zhàn),需要不同“看”數據的方式,7,可視：結構化資料 15%,未視：半/非結構化數據 85%,DB/DW,主管們看的戰(zhàn)情數位儀表板，其實是殘缺的…,10萬 GB,10萬 TB,需要更高性價比的數據計算與儲存方式,8,數據庫,數據

3、倉庫,,,,計算更快 存儲更省,9,需要不同的數據管理策略,,當我們想要擴充時，才發(fā)覺：架構只能 scale-up， scale-out 不易處理時間過長， time-to-value 受限成本過高， cost-efficiency 受限,15% 結構化的 DB/DW,,遺憾,殘缺,,,,每天幾百 GB、 幾 TB 的資料，且持續(xù)成長中,,儲存Storing,在收數據的同時做必要的前置處理 (

4、pre-processing)，并區(qū)分數據處理的優(yōu)先等級 (prioritizing),,計算Processing,如何有效的避免因硬件毀壞所導致的資料損毀,,管理Managing,如何從中挖掘出所關注事件的 pattern 或 behavior,,分析Analyzing,超越企業(yè)現有 IT 的數據解決能量,10,中央政府對大數據的重視程度,11,,目錄,二、什么是大數據,,一、大數據的來源,,13,Social Media,M

5、achine / Sensor,DOC / Media,Web Clickstream,,Apps,Call Log,Log,什么是數據？,半結構化/非結構化數據,3/13/2012,4,什么是大數據？,何為大？—數據度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB =

6、 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024

7、 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,3/13/2012,6,什么是大數據？,《紅樓夢》含標點87萬字（不含標點853509字）每個漢字占兩個字節(jié)：1漢字=16bit = 2*8位=2bytes1GB 約等于 671部紅樓夢1TB 約等于 631,903 部1PB

8、約等于 647,068,911部美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數據235TB ）中國國家圖書館：2631萬冊1EB = 4000倍 美國國會圖書館存儲的信息量600美元的硬盤就可以存儲全世界所有的歌曲MGI估計,全球企業(yè) 2010 年在硬盤上存儲了超過 7EB(1EB 等于 10 億 GB)的新數據,同時,消費者在 PC 和筆記本等設備上存儲了超過 6EB 新數據,3/13/

9、2012,7,數據沒有辦法在可容忍的時間下使用常規(guī)軟件方法完成存儲、管理和處理任務,什么是大數據？,大數據的解釋,大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數據就是“未來的新石油”。,大數據帶來的思維變革,更好不是因果關系而是相關關系,更多不是隨機樣本而是全部數據,,更雜不是精確性而是混雜性,大數據帶來的思維變革（更多）,人口大普查全數據模式,隨機采樣樣本模式,

10、大數據應用全數據模式,是指在國家統(tǒng)一規(guī)定的時間內，按照統(tǒng)一的方法、統(tǒng)一的項目、統(tǒng)一的調查表和統(tǒng)一的標準時點，對全國人口普遍地、逐戶逐人地進行的一次性調查登記；主要特點是調查組織高度集中性，普查對象的全面完整性；人口大普查耗時耗費，一般來講是十年一次，新中國成立以來共進行了6次人口大普查；人口大普查是一種典型的全數據模式；,大數據時代,小數據時代,大數據帶來的思維變革（更多）,人口大普查全數據模式,隨機采樣樣本模式,大數據應用

11、全數據模式,人口大普查是一種耗時耗費的工程，一般是以十年為單位；各國每年需要進行幾百次的小規(guī)模人口調查，采取隨機采樣分析的方式，這是一種樣本模式；源于實用并且很好的創(chuàng)新！隨機采樣分析是小數據時代的產物；,大數據時代,小數據時代,LOREM IPSUM,Lorem ipsum dolor,大數據帶來的思維變革（更多）,人口大普查全數據模式,隨機采樣樣本模式,大數據應用全數據模式,我們已具備了大數據的各種技術能力，思維需要轉換

12、到大數據的全數據模式：樣本=全部；大數據不用隨機分析法這樣的捷徑，而采用所有數據的方法；這里的“大”是相對的——相撲比賽所有數據存儲還不需要一個TB，但是是所有的數據！在大數據時代采用隨機采樣法，就像在汽車時代騎馬一樣，雖然特定情況下仍可采樣隨機采樣法，但是慢慢地我們會放棄它；,大數據時代,小數據時代,大數據帶來的思維變革（更多）,大數據帶來的思維變革（更雜）,從皮尺到哈勃望遠鏡，人類一直在追求測量的精確性，一方面源于對未知世界的

13、認知；一方面也源于收集信息的有限性；,大數據的簡單算法比小數據的復雜算法更有效；IBM的機器翻譯 VS Google的機器翻譯；紛繁的數據越多越好；大數據時代要求我們重新審視數據精確性的優(yōu)略；大數據不僅讓我們不再期待精確性，也讓我們無法實現精確性；錯誤不是大數據固有的問題，而是一個需要我們去解決的問題，而且會將長期存在；混雜性，不是竭力避免，而是標準途徑；,大數據帶來的思維變革（更好）,Kaggle，一個為所有人提供數據挖掘

14、競賽的公司，在一次關于二手車的數據分析比賽中得到，橙色汽車有質量問題的可能性是其它顏色汽車的一半。為什么？探尋事物的因果關系是人類的本性，但是大數據時代可以做某種程度的妥協(xié)，可以只需要關注“是什么”，而忽略“為什么？”,大數據的4V特征,Big Data大數據,TBPBEB,StreamsReal timeNear timeBatch,StructuredUnstructured Semi-structured

15、All the above,大數據的4V特征（Volume）,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,大數據的4V特征（Velocity）,大數據的4V特征（Variety）,大數據的4V特征（Value）,挖掘大數據的價值類似沙里淘金，從海量數據中挖掘稀疏但珍貴的信息；價值密度低，是大數據的一個典型特征；,大數據不僅僅是技術，關鍵是產生價值可以從各個層面進行優(yōu)化，更要考慮整體,,,,,,,

16、,,,,,,,,,,,,,13,大數據商業(yè)價值,大數據商業(yè)價值---大數據為“未來的新石油”,32,2013年，世界上存儲的數據預計能達到約1.2澤（約12億TB）字節(jié)，如果把這些數據全部印刷成書，這些書可以覆蓋整個美國52次，如果將之存儲于標準的光盤，這些光盤可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奧巴馬政府宣布投資2億美元拉動大數據相關產業(yè)發(fā)展，將“大數據戰(zhàn)略”上升為國家戰(zhàn)略。奧巴馬政府甚至將大數據定義為“未來

17、的新石油”。,大數據商業(yè)價值---企業(yè)經營決策,33,某商店賣牛奶，通過數據分析，知道在本店買了牛奶的顧客以后常常會再去另一店買包子，人數還不少，那么這家店就可以考慮與包子店合作，或直接在店里出售包子。,,大數據商業(yè)價值---個性化營銷,34,銀行與客戶的交流渠道進行了整合，只要某個客戶在網上點擊查詢了有關房貸利率的信息，系統(tǒng)就會提示呼叫中心在電話交流時推薦房貸產品，如果發(fā)現顧客確實對此感興趣，銷售部門就會發(fā)送推介信息給客戶，如果這位顧

18、客到銀行網點辦事，業(yè)務人員就會詳細介紹房貸產品，開始只有少量的線索，但通過多渠道的與顧客交互接觸，在這個過程中，令顧客體驗了銀行精準、體貼的服務，其結果是營業(yè)收入大為增加，成本大幅降低，,大數據商業(yè)價值---互聯(lián)網金融的核心是大數據,35,互聯(lián)網金融并非簡單的把傳統(tǒng)金融業(yè)務搬到網上去，而是充分利用大數據來顛覆銀企之間信息不對稱的問題。數據是一個平臺，因為數據是新產品和新商業(yè)模式的基石。推動互聯(lián)網金融發(fā)展的核心正是大數據的價值。,

19、大數據商業(yè)價值---所有互聯(lián)網公司都將是大數據公司,36,大數據商業(yè)價值---數據列入企業(yè)資產負債表只是時間問題,37,用資產的要素來盤點一下什么樣的數據符合資產的要求：1，從擁有和控制的角度來看，數據可以分為第一方數據、第二方數據和第三方數據。2，對于數據資產的貨幣計量，可以參照無形資產的計量規(guī)則。3，目前直接利用數據為企業(yè)帶來經濟利益的方法主要有數據租售、信息租售、數據使能三種模式。4，要實現數據的保值增值，就要從擴

20、大數據規(guī)模，提高數據活性，提升收集運用數據的能力,大數據改變生活,38,。,大數據對政府、金融機構、企業(yè)來說，象空氣一樣不可或缺！,軟件是大數據的引擎,和數據中心（Data Center） 一樣，軟件是大數據的驅動力.軟件改變世界!,IBM C&P Industry,需求海量數據存儲技術實時數據處理技術數據高速傳輸技術搜索技術,描述分布式文件系統(tǒng)流計算引擎

21、服務器/存儲間高速通信文本檢索、智能搜索、實時搜索,技術Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch,數據分析技術,Text Analytics Engine 自然語言處理、文本情感分析、Visual Data Modeling 機器學習、聚類關聯(lián)、數據模型

22、第 10 頁,大數據涉及的關鍵技術,,,,基于SQL語言: 面對OLAP的傳統(tǒng)行和列,不基于SQL或map-reduce的: 由谷歌率先發(fā)起,數據流: 基于運行商數據直接生成任意圖形,,,,,,數據入口/匯聚,數據平臺,分析,,,,,傳統(tǒng)交付模式 - 單片或基于設備的解決方案,,云: 能夠充分利用物理設施的彈性，以實現處理快速增長數據的能力,“數據庫將演變成一個虛擬的，基于云計算，超級可擴展的分布式平臺?！? F

23、orrester analyst Jim Kobielus,大數據涉及的關鍵技術,,,,Copyright © 2012, Oracle and/or its affiliates. All rights reserved.,11,大數據涉及的關鍵技術,,大數據的安全威脅,,大數據基礎設施安全威脅,大數據存儲安全威脅,隱私泄露問題,數據訪問安全威脅,針對大數據的高級持續(xù)性攻擊,其他安全威脅,大數據挑戰(zhàn),,目錄,三、大數據的應用

24、,,一、大數據的來源,,,,,,大數據業(yè)務戰(zhàn)略,大數據建設目標,大數據架構設計,大數據實施,大數據運維,企業(yè)戰(zhàn)略目標業(yè)務目標業(yè)務模式,大數據目標服務對象服務模式應用場景,大數據服務定義大數據信息模型大數據管理定義技術選擇,容量規(guī)劃安裝、配置驗收測試系統(tǒng)上線,大數據服務管理系統(tǒng)監(jiān)控資源調度

25、生命周期管理,服務性能管理,驗證測試大數據持續(xù)改進,架構優(yōu)化,技術升級,服務改進,企業(yè)大數據建設方法,逐步擴展現有架構，滿足大數據要求：第 1 步：更深入地分析當前數據第 2 步：針對數據多樣性和數據量進行設計第 3 步：針對高數據速度設計第 4 步：發(fā)現新模式,提高,業(yè)務價值,企業(yè)大數據建設方法,信息分析,信息供應,(In-Database),數據挖掘,文本挖掘,統(tǒng)計分析,語義分析,空間地理分析,In

26、-DB,MapReduce,說明性分析預測分析,報告,儀表板,用戶層,最終客戶,供應商,市場營銷,管理人員,客戶服務,業(yè)務流程,合作伙伴,應用系統(tǒng),數據沙箱（Sandbox),Distributed File Systems,NoSQL,Relational,Data Streams,文檔,多媒體,網絡和社交媒體,機器生成,大數據處理,大數據處理&發(fā)現海量非結構化數據&流數據處理,信息發(fā)現,數據轉化,存儲層

27、數據源,數據倉庫海量非結構化&結構化數據訪問，轉換和存儲,分析主題庫（數據集市）,Faceted Unstructured,Spatial/Relational,企業(yè)部門應用,企業(yè)大數據建設方法,,,目錄,一、大數據的來源,四、成功案例,商品零售大數據,49,此事經被《紐約時報》報道后，塔吉特“大數據”的巨大威力轟動全美在美國，有一位父親怒氣沖沖地跑到塔吉特賣場，質問為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送

28、給他正在念高中的女兒?然而后來證實，他的女兒果真懷孕了。這名女孩搜尋商品的關鍵詞，以及在社交網站所顯露的行為軌跡，使沃爾瑪捕捉到了她的懷孕信息。模型發(fā)現，許多孕婦在第2個妊娠期的開始會買許多大包裝的無香味護手霜；在懷孕的最初20周大量購買補充鈣、鎂、鋅的善存片之類的保健品。最后塔吉特選出了25種典型商品的消費數據構建了“懷孕預測指數”，通過這個指數，Target能夠在很小的誤差范圍內預測到顧客的懷孕情況，因此Target就能

29、早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。,消費大數據,50,亞馬遜 “預測式發(fā)貨”的新專利，可以通過對用戶數據的分析，在他們還沒有下單購物前，提前發(fā)出包裹。這項技術可以縮短發(fā)貨時間，從而降低消費者前往實體店的沖動。從下單到收貨之間的時間延遲可能會降低人們的購物意愿，導致他們放棄網上購物。所以，亞馬遜可能會根據之前的訂單和其他因素，預測用戶的購物習慣，從而在他們實際下單前便將包裹發(fā)出。根據該專利文件，雖然包裹會提前從亞馬遜發(fā)出，但在用戶正

30、式下單前，這些包裹仍會暫存在快遞公司的轉運中心或卡車里。亞馬遜為了決定要運送哪些貨物，亞馬遜可能會參考之前的訂單、商品搜索記錄、愿望清單、購物車，甚至包括用戶的鼠標在某件商品上懸停的時間。,,大數據+政治,51,,在籌備過程中，奧巴馬背后的數據分析團隊一直在收集、存儲和分析選民數據。在這次的大選中，奧巴馬競選陣營的高級助理們決定將參考這一團隊所得出的數據分析結果來制定下一步的競選方案。利用在競選中可獲得的選民行動、行為、支持偏向

31、方面的大量數據。比如，在東海岸找到一位對女性群體具備相同號召力的名人，從而復制“克魯尼效應”并為奧巴馬籌集競選資金?！癟witter的政治指數”提供了一個衡量社會化媒體平臺的用戶如何評價候選人的方式。奧巴馬積極的情緒指數是59，而羅姆尼的只有53,證監(jiān)會大數據,52,回顧“老鼠倉”的查處過程，在馬樂一案中，“大數據”首次介入。深交所此前通過“大數據”查出的可疑賬戶高達300個。實際上，早在2009年，上交所曾經有過利用“大數

32、據”設置“捕鼠器”的設想。通過建立相關的模型，設定一定的指標預警，即相關指標達到某個預警點時監(jiān)控系統(tǒng)會自動報警。而此次在馬樂案中亮相的深交所的“大數據” 監(jiān)測系統(tǒng)，更是引起了廣泛關注。深交所有幾十人的監(jiān)控室，設置了200多個指標用于監(jiān)測估計，一旦出現股價偏離大盤走勢，深交所利用大數據查探異動背后是哪些人或機構在參與。,金融大數據,53,阿里“水文模型”是按小微企業(yè)類目、級別等分別統(tǒng)計一個阿里系商戶的相關“水文數據”庫。如過往每到

33、某個時點，該店鋪銷售會進入旺季，銷售額就會增長，同時每在這個時段，該客戶對外投放的額度就會上升，結合這些水文數據，系統(tǒng)可以判斷出該店鋪的融資需求；結合該店鋪以往資金支用數據及同類店鋪資金支用數據，可以判斷出該店鋪的資金需求額度。,金融交易大數據,54,量化交易，程序化交易，高頻交易是大數據應用比較多的領域。全球2/3的股票交易量是由高頻交易所創(chuàng)造的，參與者總收益每年高達80億美元。其中，大數據算法被用來作出交易決定?，F在，大多數

34、股權交易都是通過大數據算法進行，這些算法越來越多地開始考慮社交媒體網絡和新聞網站的信息來在幾秒內做出買入和賣出的決定。當一個產品可以在多個交易所交易時，會形成不同的定價，在這當中，誰能夠最快地捕捉到同一個產品在不同交易所之間的顯著價差，誰就能捕捉到瞬間套利機會，技術成為了重要因素,,制造業(yè)大數據,55,在摩托車生產廠商哈雷·戴維森公司位于賓尼法尼亞州約克市新翻新的摩托車制造廠，軟件不停的在記錄著微小的制造數據，如噴漆室風扇

35、的速度等等。當軟件察覺風扇速度、溫度、濕度或其它變量脫離規(guī)定數值，它就會自動調節(jié)機械。哈雷·戴維森同時還使用軟件，還尋找制約公司每86秒完成一臺摩托車制造工作的瓶頸。最近，這家公司的管理者通過研究數據，認為安裝后擋泥板的時間過長。通過調整工廠配置，哈雷·戴維森提高了安裝該配件的速度。美國一些紡織及化工生產商，根據從不同的百貨公司POS機上收集的產品銷售速度信息，將原來的18周送貨速度減少到3周，這對百貨公司分銷

36、商來說，能以更快的速度拿到貨物，減少倉儲。對生產商來說，積攢的材料倉儲也能減少很多。,56,谷歌基于每天來自全球的30 多億條搜索指令設立了一個系統(tǒng)，這個系統(tǒng)在2009 年甲流爆發(fā)之前就開始對美國各地區(qū)進行“流感預報”，并推出了“谷歌流感趨勢”服務。谷歌在這項服務的產品介紹中寫道：搜索流感相關主題的人數與實際患有流感癥狀的人數之間存在著密切的關系。雖然并非每個搜索“流感”的人都患有流感，但谷歌發(fā)現了一些檢索詞條的組合并用特定的數學模

37、型對其進行分析后發(fā)現，這些分析結果與傳統(tǒng)流感監(jiān)測系統(tǒng)監(jiān)測結果的相關性高達97%。這也就表示，谷歌公司能做出與疾控部門同樣準確的傳染源位置判斷，并且在時間上提前了一到兩周?！?,醫(yī)療大數據,能源大數據,57,國際大石油公司一直都非常重視數據管理。如雪佛龍公司將5萬臺桌面系統(tǒng)與1800個公司站點連接，消除煉油、銷售與運輸“下游系統(tǒng)”中的重復流程和系統(tǒng)，每年節(jié)省5000萬美元，過去4年已獲得了凈現值約為2億美元的回報。準確預測太陽能和

38、風能需要分析大量數據，包括風速、云層等氣象數據。丹麥風輪機制造商維斯塔斯( Vestas Wind Systems)，通過在世界上最大的超級計算機上部署IBM大數據解決方案，得以通過分析包括PB量級氣象報告＼潮汐相位、地理空間、衛(wèi)星圖像等結構化及非結構化的海量數據，優(yōu)化風力渦輪機布局，有效提高風力渦輪機的性能，為客戶提供精確和優(yōu)化的風力渦輪機配置方案不但幫助客戶降低每千瓦時的成本，并且提高了客戶投資回報估計的準確度，同時它將業(yè)務用戶請求

39、的響應時間從幾星期縮短到幾小時。,交通大數據,58,UPS最新的大數據來源是安裝在公司4.6萬多輛卡車上的遠程通信傳感器，這些傳感器能夠傳回車速、方向、剎車和動力性能等方面的數據。收集到的數據流不僅能說明車輛的日常性能，還能幫助公司重新設計物流路線。大量的在線地圖數據和優(yōu)化算法，最終能幫助UPS實時地調配駕駛員的收貨和配送路線。該系統(tǒng)為UPS減少了8500萬英里的物流里程，由此節(jié)約了840萬加侖的汽油。,,,公安大數據,59,大數據

40、挖掘技術的底層技術最早是英國軍情六處研發(fā)用來追蹤恐怖分子的技術。中國大數據的概念其實源于最早公安部抓法輪功分子。大數據篩選犯罪團伙，與鎖定的罪犯乘坐同一班列車，住同一酒店的兩個人可能是同伙，過去，刑偵人員要證明這一點，需要通過把不同線索拼湊起來排查疑犯。通過對越來越多數據的挖掘分析，某一片區(qū)域的犯罪率以及犯罪模式都將清晰可見。大數據可以幫助警方定位最易受到不法分子侵擾的區(qū)域，創(chuàng)建一張犯罪高發(fā)地區(qū)熱點圖和時間表。不但有利于警方

41、精準分配警力，預防打擊犯罪，也能幫助市民了解情況，提高警惕。,文化傳媒大數據,60,與傳統(tǒng)電視劇有別，《紙牌屋》是一部根據“大數據”制作的作品。制作方Netflix是美國最具影響力的影視網站之一，在美國本土有約2900萬的訂閱用戶。Netflix成功之處在于其強大的推薦系統(tǒng)Cinematch，該系統(tǒng)基于用戶視頻點播的基礎數據如評分、播放、快進、時間、地點、終端等，儲存在數據庫后通過數據分析，計算出用戶可能喜愛的影片，并為他提供定制化

42、的推薦。Netflix發(fā)布的數據顯示，用戶在Netflix上每天產生3000多萬個行為，比如暫停、回放或者快進，同時，用戶每天還會給出400萬個評分，以及300萬次搜索請求。Netflix遂決定用這些數據來制作一部電視劇，投資過億美元制作出《紙牌屋》。Netflix發(fā)現，其用戶中有很多人仍在點播1991年BBC經典老片《紙牌屋》，這些觀眾中許多人喜歡大衛(wèi)·芬奇，觀眾大多愛看奧斯卡得主凱文·史派西的電影，由此Ne

43、tflix邀請大衛(wèi)·芬奇為導演，凱文·史派西為主演翻拍了《紙牌屋》這一政治題材劇。2013年2月《紙牌屋》上線后，用戶數增加了300萬，達到2920萬。,航空大數據,61,Farecast 已經擁有驚人的約2 000 億條飛行數據記錄。用來推測當前網頁上的機票價格是否合理。作為一種商品，同一架飛機上每個座位的價格本來不應該有差別。但實際上，價格卻千差萬別，其中緣由只有航空公司自己清楚。Farecast預測當前的機