關於大資料的文章

General 更新 2024年12月28日

  科技的進步在很多的時候總會超出我們的想象,試想如果未來我們一個人擁有的電腦裝置超過現在全球現在計算能力的總和,一個人產生的資料量超過現在全球資料量的總和,大資料已經越來越被人們重視!下面是小編為大家整理的關於的相關資料,供您參考!

  篇1:看懂工業大資料不得不讀的一篇文章!

  工業大資料是網際網路、大資料和工業產業結合的產物,是中國製造2025、工業4.0等國家戰略在企業的落腳點。

  對於企業而言,瞭解工業大資料產生的背景,歸納工業企業大資料的分類和特點,從資料流推動工業價值創造的視角看待、重造工業價值流程,將具有很強的現實意義。文章最後,筆者分享幾個在工業領域資料驅動價值創造的案例,希望起到拋磚引玉的作用。

  工業大資料產生的背景

  在工業生產中,無時不刻都在產生資料。生產機床的轉速、能耗,食品加工的溫溼度,火力發電機組的燃燒和燃煤消耗,汽車的裝備資料,物流車隊的位置和速度等,都是在生產過程中的資料。

  自從工業從社會生產中獨立成為一個門類以來,工業生產的資料採集、使用範圍就逐步加大。從泰勒拿著秒錶計算工人的用鐵鍬送煤到鍋爐的時間開始,是對製造管理資料的採集;福特汽車的流水化生產,是對汽車生產過程的工業資料的採集和工廠內使用;豐田的精益生產模式,將資料的採集和使用擴大到工廠和上下游供應鏈;核電站發電過程中全程自動化將生產過程資料的自動化水平提高到更高程度。

  任何資料的採集和使用都是有成本的,工業資料也不例外。但隨著資訊、電子和數學技術的發展,感測器、物聯網等技術的發展,一批智慧化、高精度、長續航、高性價比、微型感測器面世,以物聯網為代表的新一代網路技術在移動資料通訊的支援下,能做到任何時間、任何地點採集、傳送資料。以雲端計算為代表的新型資料處理基礎架構,大幅降低工業資料處理的技術門檻和成本支出。

  社會需求變革是最大拉動力。在商品過剩經濟時代,以個性化為代表的消費文化,使得工業企業的產出物,要最大限度匹配個性需求。從服裝定製,車輛選配,到T恤印花和個性化教育。

  國策方針是重要影響力。完成了工業自動化過程的德國工業界,在自動化基礎上,以工業資料為基礎,引入雲端計算和人工智慧技術,提升工業的智慧化水平,以滿足大批量個性化定製的社會生產需求;美國擁有強大的雲端計算、網際網路及資料處理能力,基於此,提出工業網際網路戰略,將單個裝置、單條生產線、單個工廠的資料聯網,通過大資料處理後,在診斷、預測、後服務等方面挖掘工業服務的價值。

  中國相對於德國、美國而言,在工業自動化、在雲端計算等領域都處於發展期,因此提出中國製造2025計劃,通過工業化和資訊化融合發展的方式,將工業化和資訊化整體規劃,並制定一系列的重點工程和推進計劃。

  工業大資料的特點和分類

  隨著行業發展,工業企業收集的資料維度不斷擴大。主要體現在三個方面:

  一是時間維度不斷延長。經過多年的生產經營,積累下來歷年的產品資料、工業資料、原材料資料和生產裝置資料;

  二是資料範圍不斷擴大。隨著企業資訊化建設的過程,一方面積累了企業的財務、供應商資料,也通過CRM系統積累了客戶資料,通過CAD等積累了研發過程資料,通過攝像頭積累了生產安全資料等,另一方面越來越多的外部資料也被收集回來,包括市場資料、社交網路資料、企業輿情資料等;

  三是資料粒度不斷細化。從一款產品到多款、多系列產品使得產品資料不斷細化,從單機機床到聯網機床,使得資料互動頻率大大增強;加工精度從1mm提升到0.2mm,從5分鐘每次的統計到每5秒的全程監測,都使得采集到的資料精細度不斷提升。

  以上三個維度最終導致企業所積累的資料量以加速度的方式在增加,構成了工業大資料的集合。不管企業是否承認,這些資料都堆砌在工廠的各個角落,而且在不斷增加。

  再從企業經營的視角來看待這些工業資料。可以按照資料的用途分成三類:

  第一類是經營性資料,如財務、資產、人事、供應商基礎資訊等資料,這些資料在企業資訊化建設過程中陸陸續續積累起來,表現了一個工業企業的經營要素和成果。

  第二類是生產性資料,這部分是圍繞企業生產過程中積累的資料,包括原材料、研發、生產工藝、半成品、成品、售後服務等。隨著數字機床、自動化生產線、SCADA系統的建設,這些資料也被企業大量記錄下來。這些資料是工業生產過程中價值增值的體現,是決定企業差異性的核心所在。

  第三類是環境類資料,包括佈置在機床的裝置診斷系統,庫房、車間的溫溼度資料,以及能耗資料,廢水廢氣的排放等資料。這些資料對工業生產過程中起到約束作用。

  從目前的資料採用情況看,經營類資料利用率最高,生產性資料和環境類資料相比差距比較大。從未來資料量來說,生產線資料在工業企業資料中的佔比將越來越大,環境類資料也將越來越多樣化。

  篇2:大資料的初步理解

  似乎一夜之間,大資料Big Data變成一個IT行業中最時髦的詞彙。

  首先,大資料不是什麼完完全全的新生事物,Google的搜尋服務就是一個典型的大資料運用,根據客戶的需求,Google實時從全球海量的數字資產或數字垃圾中快速找出最可能的答案,呈現給你,就是一個最典型的大資料服務。只不過過去這樣規模的資料量處理和有商業價值的應用太少,在IT行業沒有形成成型的概念。現在隨著全球數字化、網路寬頻化、網際網路應用於各行各業,累積的資料量越來越大,越來越多企業、行業和國家發現,可以利用類似的技術更好地服務客戶、發現新商業機會、擴大新市場以及提升效率,才逐步形成大資料這個概念。

  有一個有趣的故事是關於奢侈品營銷的。PRADA在紐約的旗艦店中每件衣服上都有RFID碼。每當一個顧客拿起一件PRADA進試衣間,RFID會被自動識別。同時,資料會傳至PRADA總部。每一件衣服在哪個城市哪個旗艦店什麼時間被拿進試衣間停留多長時間,資料都被儲存起來加以分析。如果有一件衣服銷量很低,以往的作法是直接幹掉。但如果RFID傳回的資料顯示這件衣服雖然銷量低,但進試衣間的次數多。那就能另外說明一些問題。也許這件衣服的下場就會截然不同,也許在某個細節的微小改變就會重新創造出一件非常流行的產品。

  還有一個是關於中國糧食統計的故事。中國的糧食統計是一個老大難的問題。中國的統計,雖然有組織、有流程、有法律,但中央的統計人員依靠省統計人員,省靠市,市靠縣,縣靠鎮,鎮靠村,最後真正幹活或上報的是基層兼職的調查人員,由於眾所周知的KPI考核導向的原因,層層加碼,幾乎沒有人相信這個調查資料,而其中國家統計局的人是最不信的。在前兩年北京的一個會議上,原國家統計局總經濟師姚景源向我們講述了他們是如何做的。他們採用遙感衛星,通過影象識別,把中國所有的耕地標識、計算出來,然後把中國的耕地網格化,對每個網格的耕地抽樣進行跟蹤、調查和統計,然後按照統計學的原理,計算或者說估算出中國整體的整體糧食資料。這種做法是典型採用大資料建模的方法,打破傳統流程和組織,直接獲得最終的結果。

  從這些案例來看,大資料並不是很神奇的事情。就如同電影《永無止境》提出的問題:人類通常只使用了20%的大腦,如果剩餘80%大腦潛能被激發出來,世界會變得怎樣?在企業、行業和國家的管理中,通常只有效使用了不到20%的資料甚至更少,如果剩餘80%資料的價值激發起來,世界會變得怎麼樣呢?特別是隨著海量資料的新摩爾定律,資料爆發式增長,然後資料又得到更有效應用,世界會怎麼樣呢?

  單個的資料並沒有價值,但越來越多的資料累加,量變就會引起質變,就好像一個人的意見並不重要,但1千人、1萬人的意見就比較重要,上百萬人就足以掀起巨大的波瀾,上億人足以改變一切。

  資料再多,但如果被遮蔽或者沒有被使用,也是沒有價值的。中國的航班晚點非常多,相比之下美國航班準點情況好很多。這其中,美國航空管制機構一個的好做法發揮了積極的作用,說起來也非常簡單,就是美國會公佈每個航空公司、每一班航空過去一年的晚點率和平均晚點時間,這樣客戶在購買機票的時候就很自然會選擇準點率高的航班,從而通過市場手段牽引各航空公司努力提升準點率。這個簡單的方法比任何管理手段如中國政府的巨集觀調控手段都直接和有效。這裡多說一兩句,過去一個暴政國家對內的控制主要是物理上的暴力,就是強力機構權力無限大,搞國家恐怖主義;而現在一個暴政國家,主要是就靠壟斷資訊、封鎖資訊,讓民眾難以獲得廣泛而真實的資訊,從而實現國家的控制。這個資訊封鎖,就是對大資料的封鎖。

  沒有整合和挖掘的資料,價值也呈現不出來。《永無止境》中的庫珀如果不能把海量資訊圍繞某個公司的股價整合起來、串聯起來,這些資訊就沒有價值。

  因此,海量資料的產生、獲取、挖掘及整合,使之展現出巨大的商業價值,這就是我理解的大資料。在網際網路對一切重構的今天,這些問題都不是問題。因為,我認為大資料是網際網路深入發展的下一波應用,是網際網路發展的自然延伸。目前,可以說大資料的發展到了一個臨界點,因此才成為IT行業中最熱門的詞彙之一。

  二、大資料將重構很多行業的商業思維和商業模式

  我想以對未來汽車行業的狂野想象來展開這個題目。

  在人的一生中,汽車是一項巨大的投資。以一部30萬車、七年換車週期來算,每年折舊費4萬多這裡還不算資金成本,加上停車、保險、油、維修、保養等各項費用,每年耗費應在6萬左右。汽車產業也是一個很長產業鏈的龍頭產業,這個方面只有房地產可以媲美。

  但同時,汽車產業鏈是一個低效率、變化慢的產業。汽車一直以來就是四個輪子、一個方向盤、兩排沙發李書福語。這麼一個昂貴的東西,圍繞車產生的資料卻少的可憐,行業產業鏈之間幾無任何資料傳遞。

  我們在這裡狂野地想象一番,如果將汽車全面數字化,都大資料了,會產生什麼結果?

  有些人說,汽車數字化,不就是加個MBB模組嗎?不,這太小兒科了。在我理想中,數字化意味著汽車可以隨時聯上網際網路,意味著汽車是一個大型計算系統加上傳統的輪子、方向盤和沙發,意味著可以數字化導航、自動駕駛,意味著你和汽車相關的每一個行動都數字化,包括每一次維修、每一次駕駛路線、每一次事故的錄影、每一天汽車關鍵部件的狀態,甚至你的每一個駕駛習慣如每一次的剎車和加速都記錄在案。這樣,你的車每月甚至每週都可能產生T位元的資料。

  好了,我們假設這些資料都可以儲存並分享給相關的政府、行業和企業。這裡不討論隱私問題帶來的影響,假設在隱私保護的前提下,資料可以自由分享。

  那麼,保險公司會怎麼做呢?保險公司把你的所有資料拿過去建模分析,發現幾個重要的事實:一是你開車主要只是上下班,南山到阪田這條線路是非繁華路線,紅綠燈很少,這條路線過去一年統計的事故率很低;你的車況車的使用年限、車型好,此車型在全深圳也是車禍率較低;甚至統計你的駕駛習慣,加油平均,臨時剎車少,超車少,和周圍車保持了應有的車距,駕駛習慣好。最後結論是你車型好,車況好,駕駛習慣好,常走的線路事故率低,過去一年也沒有出過車禍,因此可以給予更大幅度的優惠折扣。這樣保險公司就完全重構了它的商業模式了。在沒有大資料支撐之前,保險公司只把車險客戶做了簡單的分類,一共分為四種客戶,第一種是連續兩年沒有出車禍的,第二種過去一年沒有出車禍,第三種過去一年出了一次車禍,第四種是過去一年出了兩次及以上車禍的,就四種類型。這種簡單粗暴的分類,就好像女人找老公,僅把男人分為沒有結過婚的、結過一次婚的、結過二次婚的、結過三次及以上婚的四種男人,就敢嫁人一樣。在大資料的支援下,保險公司可以真正以客戶為中心,把客戶分為成千上萬種,每個客戶都有個性化的解決方案,這樣保險公司經營就完全不同,對於風險低的客戶敢於大膽折扣,對於風險高的客戶報高價甚至拒絕,一般的保險公司就完全難以和這樣的保險公司競爭了。擁有大資料並使用大資料的保險公司比傳統公司將擁有壓倒性的競爭優勢,大資料將成為保險公司最核心的競爭力,因為保險就是一個基於概率評估的生意,大資料對於準確評估概率毫無疑問是最有利的武器,而且簡直是量身定做的武器。

  在大資料的支援下,4S店的服務也完全不同了。車況資訊會定期傳遞到4S店,4S店會根據情況及時提醒車主及時保養和維修,特別是對於可能危及安全的問題,在客戶同意下甚至會採取遠端干預措施,同時還可以提前備貨,車主一到4S店就可以維修而不用等待。

  對於駕駛者來說,不想開車的時候,在大資料和人工智慧的支援下,車輛可以自動駕駛,並且對於你經常開的線路可以自學習自優化。谷歌的自動駕駛汽車,為了對周圍環境作出預測,每秒鐘要收集差不多1GB的資料,沒有大資料的支援,自動駕駛是不可想象的;在和周圍車輛過近的時候,會及時提醒車主避讓;上下班的時候,會根據實時大資料情況,對於你經常開車的線路予以提醒,繞開擁堵點,幫你選擇最合適的線路;在出現緊急狀況的時候,比如爆胎,自動駕駛系統將自動接管,提高安全性人一輩子可以難以碰到一次爆胎,人在緊急時的反應往往是災難性的,只會更糟;到城市中心,尋找車位是一件很麻煩的事情,但未來你可以到了商場門口後,讓汽車自己去找停車位,等想要回程的時候,提前通知讓汽車自己開過來接。

  車輛是城市最大最活躍的移動物體,是擁堵的來源,也是最大的汙染來源之一。數字化的車輛、大資料應用將帶來很多的改變。紅綠燈可以自動優化,根據不同道路的擁堵情況自動進行調整,甚至在很多地方可以取消紅綠燈;城市停車場也可以大幅度優化,根據大資料的情況優化城市停車位的設計,如果配合車輛的自動駕駛功能,停車場可以革命性演變,可以設計專門為自動駕駛車輛的停車樓,地下、地上樓層可以高達幾十層,停車樓層可以更矮,只要能高於車高度即可或者把車豎起來停,這樣將對城市規劃產生巨大的影響;在出現緊急情況,如前方塌方的時候,可以第一時間通知周圍車輛尤其是開往塌方道路的車輛;現在的燃油稅也可以發生革命性變化,可以真正根據車輛的行駛路程,甚至根據汽車的排汙量來收費,排汙量少的車甚至可以搞碳交易,賣排放量賣給高油耗的車;政府還可以每年公佈各類車型的實際排汙量、稅款、安全性等指標,鼓勵民眾買更節能、更安全的車。

  電子商務和快遞業也可能發生巨大的變化。運快遞的車都可以自動駕駛,不用趕白天的擁堵的道路,晚上半夜開,在你家門口設計自動接收箱,通過密碼開啟自動投遞進去,就好像過去報童投報一樣。

  這麼想象下來,我認為,汽車數字化、網際網路化、大資料應用、人工智慧,將對汽車業及相關的長長的產業鏈產生難以想象的巨大變化和產業革命,具有無限的想象空間,可能完全被重構。當然,要實現我所描述的場景,估計至少50年、100年之後的事情了,估計我這輩子是看不到的。

  這裡,我想系統回顧一下工業文明的發展歷程,首先是物理世界的工業文明,典型是蒸汽機的發明,使汽車、輪船進入生活;然後是數字世界的工業文明,就是IT技術的使用,使PC及各種電子產品進入生活,以及企業數字化系統的建立,使沃爾瑪這樣的巨型企業產生成為可能;下一步就是物理世界和數字世界的融合,這也就是業界熱炒的“工業網際網路”、“IT 3.0”,而這裡面除了數字技術在傳統行業的使用這個事實上已經在廣泛使用、電子商務在渠道的廣泛推行,更重要的就是大資料的產生及挖掘、使用,使企業在管理方式、市場機會挖掘、產品設計、營銷、服務、商業模式等發生巨大的變化,這種巨大的變化帶來了很多行業的革命性變局,也就是顛覆與改造。這種變化在所謂的低效率的大行業將最為明顯與直接。這些所謂的的低效率大行業,就是壟斷特徵明顯、產業規模大、產業鏈長、歷史悠久但長時間變化少、IT應用水平低的行業,如汽車、金融、保險、醫療等。

  在這個章節的最後,我想總結一下自己對大資料的看法。

  第一,大資料使企業真正有能力從以自我為中心改變為以客戶為中心。企業是為客戶而生,目的是為股東獲得利潤。只有服務好客戶,才能獲得利潤。但過去,很多企業是沒有能力做到以客戶為中心的,原因就是相應客戶的資訊量不大,挖掘不夠,系統也不支援,目前的保險業就是一個典型。大資料的使用能夠使對企業的經營物件從客戶的粗略歸納就是所謂提煉歸納的“客戶群”還原成一個個活生生的客戶,這樣經營就有針對性,對客戶的服務就更好,投資效率就更高。

  第二,大資料一定程度上將顛覆了企業的傳統管理方式。現代企業的管理方式是來源於對軍隊的模仿,依賴於層層級級的組織和嚴格的流程,依賴資訊的層層彙集、收斂來制定正確的決策,再通過決策在組織的傳遞與分解,以及流程的規範,確保決策得到貫徹,確保每一次經營活動都有質量保證,也確保一定程度上對風險的規避。過去這是一種有用而笨拙的方式。在大資料時代,我們可能重構企業的管理方式,通過大資料的分析與挖掘,大量的業務本身就可以自決策,不必要依靠膨大的組織和複雜的流程。大家都是基於大資料來決策,都是依賴於既定的規則來決策,是高高在上的CEO決策,還是一線人員決策,本身並無大的區別,那麼企業是否還需要如此多層級的組織和複雜的流程呢?

  第三,大資料另外一個重大的作用是改變了商業邏輯,提供了從其他視角直達答案的可能性。現在人的思考或者是企業的決策,事實上都是一種邏輯的力量在主導起作用。我們去調研,去收集資料,去進行歸納總結,最後形成自己的推斷和決策意見,這是一個觀察、思考、推理、決策的商業邏輯過程。人和組織的邏輯形成是需要大量的學習、培訓與實踐,代價是非常巨大的。但是否這是唯一的道路呢?大資料給了我們其他的選擇,就是利用資料的力量,直接獲得答案。就好像我們學習數學,小時候學九九乘法表,中學學幾何,大學還學微積分,碰到一道難題,我們是利用了多年學習沉澱的經驗來努力求解,但我們還有一種方法,在網上直接搜尋是不是有這樣的題目,如果有,直接抄答案就好了。很多人就會批評說,這是抄襲,是作弊。但我們為什麼要學習啊?不就是為了解決問題嘛。如果我任何時候都可以搜尋到答案,都可以用最省力的方法找到最佳答案,這樣的搜尋難道不可以是一條光明大道嗎?換句話說,為了得到“是什麼”,我們不一定要理解“為什麼”。我們不是否定邏輯的力量,但是至少我們有一種新的巨大力量可以依賴,這就是未來大資料的力量。

  第四,通過大資料,我們可能有全新的視角來發現新的商業機會和重構新的商業模式。我們現在看這個世界,比如分析家中食品腐敗,主要就是依賴於我們的眼睛再加上我們的經驗,但如果我們有一臺顯微鏡,我們一下就看到壞細菌,那麼分析起來完全就不一樣了。大資料就是我們的顯微鏡,它可以讓我們從全新視角來發現新的商業機會,並可能重構商業模型。我們的產品設計可能不一樣了,很多事情不用猜了,客戶的習慣和偏好一目瞭然,我們的設計就能輕易命中客戶的心窩;我們的營銷也完全不同了,我們知道客戶喜歡什麼、討厭什麼,更有針對性。特別是顯微鏡再加上廣角鏡,我們就有更多全新的視野了。這個廣角鏡就是跨行業的資料流動,使我們過去看不到的東西都能看到了,比如前面所述的汽車案例,開車是開車,保險是保險,本來不相關,但當我們把開車的大資料傳遞到保險公司,那整個保險公司的商業模式就全變了,完全重構了。

  最後一點,我想談的是大資料發展對IT本身技術架構的革命性影響。大資料的根基是IT系統。我們現代企業的IT系統基本上是建立在IOEIBM小型機、Oracle資料庫、EMC儲存+Cisco模型基礎上的,這樣的模型是Scale-UP型的架構,在解決既定模型下一定資料量的業務流程是適配的,但如果是大資料時代,很快會面臨成本、技術和商業模式的問題,大資料對IT的需求很快就會超越了現有廠商架構的技術頂點,超大資料增長將帶來IT支出增長之間的線性關係,使企業難以承受。因此,目前在行業中提出的去IOE趨勢,利用Scale-out架構+開源軟體對Scale-up架構+私有軟體的取代,本質是大資料業務模型所帶來的,也就是說大資料將驅動IT產業新一輪的架構性變革。去IOE潮流中的所謂國家安全因素,完全是次要的。

  所以,美國人說,大資料是資源,和大油田、大煤礦一樣,可以源源不斷挖出大財富。而且和一般資源不一樣,它是可再生的,是越挖越多、越挖越值錢的,這是反自然規律的。對企業如此,對行業、對國家也是這樣,對人同樣如此。這樣的東西誰不喜歡呢?因此,大資料這麼熱門,是完全有道理的。

  篇3:一篇文章讀懂大資料思維

  真正的革命並不在於分析資料的機器,而在於資料本身和我們如何運用資料。將大規模的資料與運用融合一起,將會顛覆很多我們原來的思維。大資料思維原理到底是什麼?筆者概括為10項原理。

  一、資料核心原理:從“流程”核心轉變為“資料”核心

  大資料時代,計算模式也發生了轉變,從“流程”核心轉變為“資料”核心。Hadoop體系的分散式計算框架已經是“資料”為核心的正規化。非結構化資料及分析需求,將改變IT系統的升級方式:從簡單增量到架構變化。大資料下的新思維——計算模式的轉變。

  例如:IBM將使用以資料為中心的設計,目的是降低在超級計算機之間進行大量資料交換的必要性。大資料下,雲端計算找到了破繭重生的機會,在儲存和計算上都體現了資料為核心的理念。

  大資料和雲端計算的關係:雲端計算為大資料提供了有力的工具和途徑,大資料為雲端計算提供了很有價值的用武之地。而大資料比雲端計算更為落地,可有效利用已大量建設的雲端計算資源,最後加以利用。

  科學進步越來越多地由資料來推動,海量資料給資料分析既帶來了機遇,也構成了新的挑戰。大資料往往是利用眾多技術和方法,綜合源自多個渠道、不同時間的資訊而獲得的。為了應對大資料帶來的挑戰,我們需要新的統計思路和計算方法。

  說明:用資料核心思維方式思考問題,解決問題。以資料為核心,反映了當下IT產業的變革,資料成為人工智慧的基礎,也成為智慧化的基礎,資料比流程更重要,資料庫、記錄資料庫,都可開發出深層次資訊。雲端計算機可以從資料庫、記錄資料庫中搜索出你是誰,你需要什麼,從而推薦給你需要的資訊。

  二、資料價值原理:由功能是價值轉變為資料是價值

  大資料真正有意思的是資料變得線上了,這個恰恰是網際網路的特點。非網際網路時期的產品,功能一定是它的價值,今天網際網路的產品,資料一定是它的價值。

  例如:大資料的真正價值在於創造,在於填補無數個還未實現過的空白。有人把資料比喻為蘊藏能量的煤礦,煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。

  與此類似,大資料並不在“大”,而在於“有用”,價值含量、挖掘成本比數量更為重要。不管大資料的核心價值是不是預測,但是基於大資料形成決策的模式已經為不少的企業帶來了盈利和聲譽。

  資料能告訴我們,每一個客戶的消費傾向,他們想要什麼,喜歡什麼,每個人的需求有哪些區別,哪些又可以被集合到一起來進行分類。大資料是資料數量上的增加,以至於我們能夠實現從量變到質變的過程。

  舉例來說,這裡有一張照片,照片裡的人在騎馬,這張照片每一分鐘,每一秒都要拍一張,但隨著處理速度越來越快,從1分鐘一張到1秒鐘1張,突然到1秒鐘10張後,就產生了電影。當數量的增長實現質變時,就從照片變成了一部電影。

  美國有一家創新企業Decide,它可以幫助人們做購買決策,告訴消費者什麼時候買什麼產品,什麼時候買最便宜,預測產品的價格趨勢,這家公司背後的驅動力就是大資料。他們在全球各大網站上搜集數以十億計的資料,然後幫助數以十萬計的使用者省錢,為他們的採購找到最好的時間,降低交易成本,為終端的消費者帶去更多價值。

  在這類模式下,儘管一些零售商的利潤會進一步受擠壓,但從商業本質上來講,可以把錢更多地放回到消費者的口袋裡,讓購物變得更理性,這是依靠大資料催生出的一項全新產業。這家為數以十萬計的客戶省錢的公司,在幾個星期前,被eBay以高價收購。

  再舉一個例子,SWIFT是全球最大的支付平臺,在該平臺上的每一筆交易都可以進行大資料的分析,他們可以預測一個經濟體的健康性和增長性。比如,該公司現在為全球性客戶提供經濟指數,這又是一個大資料服務。

  定製化服務的關鍵是資料。《大資料時代》的作者維克托·邁爾·舍恩伯格認為,大量的資料能夠讓傳統行業更好地瞭解客戶需求,提供個性化的服務。

  說明:用資料價值思維方式思考問題,解決問題。資訊總量的變化導致了資訊形態的變化,量變引發了質變,最先經歷資訊爆炸的學科,如天文學和基因學,創造出了“大資料”這個概念。

  如今,這個概念幾乎應用到了所有人類致力於發展的領域中。從功能為價值轉變為資料為價值,說明資料和大資料的價值在擴大,資料為“王”的時代出現了。資料被解釋是資訊,資訊常識化是知識,所以說資料解釋、資料分析能產生價值。

  三、全樣本原理原理:從抽樣轉變為需要全部資料樣本

  需要全部資料樣本而不是抽樣,你不知道的事情比你知道的事情更重要,但如果現在資料足夠多,它會讓人能夠看得見、摸得著規律。資料這麼大、這麼多,所以人們覺得有足夠的能力把握未來,對不確定狀態的一種判斷,從而做出自己的決定。

  這些東西我們聽起來都是非常原始的,但是實際上背後的思維方式,和我們今天所講的大資料是非常像的。

  舉例:在大資料時代,無論是商家還是資訊的蒐集者,會比我們自己更知道你可能會想幹什麼。現在的資料還沒有被真正挖掘,如果真正挖掘的話,通過信用卡消費的記錄,可以成功預測未來5年內的情況。

  統計學裡頭最基本的一個概念就是,全部樣本才能找出規律。為什麼能夠找出行為規律?一個更深層的概念是人和人是一樣的,如果是一個人特例出來,可能很有個性,但當人口樣本數量足夠大時,就會發現其實每個人都是一模一樣的。

  說明:用全資料樣本思維方式思考問題,解決問題。從抽樣中得到的結論總是有水分的,而全部樣本中得到的結論水分就很少,大資料越大,真實性也就越大,因為大資料包含了全部的資訊。

  四、關注效率原理:由關注精確度轉變為關注效率

  關注效率而不是精確度,大資料標誌著人類在尋求量化和認識世界的道路上前進了一大步,過去不可計量、儲存、分析和共享的很多東西都被資料化了,擁有大量的資料和更多不那麼精確的資料為我們理解世界打開了一扇新的大門。

  大資料能提高生產效率和銷售效率,原因是大資料能夠讓我們知道市場的需要,人的消費需要。大資料讓企業的決策更科學,由關注精確度轉變為關注效率的提高,大資料分析能提高企業的效率。

  例如:在網際網路大資料時代,企業產品迭代的速度在加快。三星、小米手機制造商半年就推出一代新智慧手機。利用網際網路、大資料提高企業效率的趨勢下,快速就是效率、預測就是效率、預見就是效率、變革就是效率、創新就是效率、應用就是效率。

  競爭是企業的動力,而效率是企業的生命,效率低與效率高是衡量企來成敗的關鍵。一般來講,投入與產出比是效率,追求高效率也就是追求高價值。手工、機器、自動機器、智慧機器之間效率是不同的,智慧機器效率更高,已能代替人的思維勞動。智慧機器核心是大資料制動,而大資料制動的速度更快。

  在快速變化的市場,快速預測、快速決策、快速創新、快速定製、快速生產、快速上市成為企業行動的準則,也就是說,速度就是價值,效率就是價值,而這一切離不開大資料思維。

  說明:用關注效率思維方式思考問題,解決問題。大資料思維有點像混沌思維,確定與不確定交織在一起,過去那種一元思維結果,已被二元思維結果取代。

  過去尋求精確度,現在尋求高效率;過去尋求因果性,現在尋求相關性;過去尋找確定性,現在尋找概率性,對不精確的資料結果已能容忍。只要大資料分析指出可能性,就會有相應的結果,從而為企業快速決策、快速動作、創佔先機提高了效率。

  五、關注相關性原理:由因果關係轉變為關注相關性

  關注相關性而不是因果關係,社會需要放棄它對因果關係的渴求,而僅需關注相關關係,也就是說只需要知道是什麼,而不需要知道為什麼。這就推翻了自古以來的慣例,而我們做決定和理解現實的最基本方式也將受到挑戰。

  例如:大資料思維一個最突出的特點,就是從傳統的因果思維轉向相關思維,傳統的因果思維是說我一定要找到一個原因,推出一個結果來。

  而大資料沒有必要找到原因,不需要科學的手段來證明這個事件和那個事件之間有一個必然,先後關聯發生的一個因果規律。它只需要知道,出現這種跡象的時候,我就按照一般的情況,這個資料統計的高概率顯示它會有相應的結果,那麼我只要發現這種跡象的時候,我就可以去做一個決策,我該怎麼做。

  這是和以前的思維方式很不一樣,老實說,它是一種有點反科學的思維,科學要求實證,要求找到準確的因果關係。

  在這個不確定的時代裡面,等我們去找到準確的因果關係,再去辦事的時候,這個事情早已經不值得辦了。所以“大資料”時代的思維有點像迴歸了工業社會的這種機械思維——機械思維就是說我按那個按鈕,一定會出現相應的結果,是這樣狀態。

  而農業社會往前推,不需要找到中間非常緊密的、明確的因果關係,而只需要找到相關關係,只需要找到跡象就可以了。社會因此放棄了尋找因果關係的傳統偏好,開始挖掘相關關係的好處。

  例如:美國人開發一款“個性化分析報告自動視覺化程式”軟體從網上挖掘資料資訊,這款資料探勘軟體將自動從各種資料中提取重要資訊,然後進行分析,並把此資訊與以前的資料關聯起來,分析出有用的資訊。

  非法在屋內打隔斷的建築物著火的可能性比其他建築物高很多。紐約市每年接到2.5萬宗有關房屋住得過於擁擠的投訴,但市裡只有200名處理投訴的巡視員,市長辦公室一個分析專家小組覺得大資料可以幫助解決這一需求與資源的落差。

  該小組建立了一個市內全部90萬座建築物的資料庫,並在其中加入市裡19個部門所收集到的資料:欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當地犯罪率、鼠患投訴,諸如此類。

  接下來,他們將這一資料庫與過去5年中按嚴重程度排列的建築物著火記錄進行比較,希望找出相關性。果然,建築物型別和建造年份是與火災相關的因素。不過,一個沒怎麼預料到的結果是,獲得外磚牆施工許可的建築物與較低的嚴重火災發生率之間存在相關性。

  利用所有這些資料,該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統。他們所記錄的建築物的各種特徵資料都不是導致火災的原因,但這些資料與火災隱患的增加或降低存在相關性。

  這種知識被證明是極具價值的:過去房屋巡視員出現場時簽發房屋騰空令的比例只有13%,在採用新辦法之後,這個比例上升到了70%——效率大大提高了。

  全世界的商界人士都在高呼大資料時代來臨的優勢:一家超市如何從一個17歲女孩的購物清單中,發現了她已懷孕的事實;或者將啤酒與尿不溼放在一起銷售,神奇地提高了雙方的銷售額。大資料透露出來的資訊有時確實會起顛覆。

  比如,騰訊一項針對社交網路的統計顯示,愛看家庭劇的男人是女性的兩倍還多;最關心金價的是中國大媽,但緊隨其後的卻是90後。而在過去一年,支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內蒙古地區。

  說明:用關注相關性思維方式來思考問題,解決問題。尋找原因是一種現代社會的一神論,大資料推翻了這個論斷。

  過去尋找原因的信念正在被“更好”的相關性所取代。當世界由探求因果關係變成挖掘相關關係,我們怎樣才能既不損壞建立在因果推理基礎之上的社會繁榮和人類進步的基石,又取得實際的進步呢?這是值得思考的問題。

  解釋:轉向相關性,不是不要因果關係,因果關係還是基礎,科學的基石還是要的。只是在高速資訊化的時代,為了得到即時資訊,實時預測,在快速的大資料分析技術下,尋找到相關性資訊,就可預測使用者的行為,為企業快速決策提供提前量。

  比如預警技術,只有提前幾十秒察覺,防禦系統才能起作用。比如,雷達顯示有個提前量,如果沒有這個預知的提前量,雷達的作用也就沒有了,相關性也是這個原理。比如,相對論與量子論的爭論也能說明問題,一個說上帝不擲骰子,一個說上帝擲骰子,爭論幾十年,最後承認兩個都存在,而且量子論取得更大的發展——一個適用於宇宙尺度,一個適用於原子尺度。

  

未來的機器人閱讀答案
人工智慧有了定製大腦中考語文說明文閱讀題及答案
相關知識
關於大資料的文章
關於大自然的文章_描寫大自然的文章
關於大自然的文章散文詩
關於大自然的文章_描寫大自然的文章***2***
關於大資料時代下的隱私保護探究論文
關於健康成長資料的文章
關於健康安全資料的文章
關於談戀愛的文章
關於寫愛情的文章傷感
關於虛榮心的文章