大資料思維方式

　　大資料是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。有關大資料的思維方式有哪些呢?今天小編為大家帶來了，一起來看看吧!

　　大資料研究專家舍恩伯格指出，大資料時代，人們對待資料的思維方式會發生如下三個變化：

　　1人們處理的資料從樣本資料變成全部資料;

　　2由於是全樣本資料，人們不得不接受資料的混雜性，而放棄對精確性的追求;

　　3人類通過對大資料的處理，放棄對因果關係的渴求，轉而關注相關關係。

　　事實上，大資料時代帶給人們的思維方式的深刻轉變遠不止上述三個方面。筆者認為，大資料思維最關鍵的轉變在於從自然思維轉向智慧思維，使得大資料像具有生命力一樣，獲得類似於“人腦”的智慧，甚至智慧。

　　1、總體思維

　　社會科學研究社會現象的總體特徵，以往取樣一直是主要資料獲取手段，這是人類在無法獲得總體資料資訊條件下的無奈選擇。在大資料時代，人們可以獲得與分析更多的資料，甚至是與之相關的所有資料，而不再依賴於取樣，從而可以帶來更全面的認識，可以更清楚地發現樣本無法揭示的細節資訊。

　　正如舍恩伯格總結道：“我們總是習慣把統計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統計抽樣其實只是為了在技術受限的特定時期，解決當時存在的一些特定問題而產生的，其歷史不足一百年。如今，技術環境已經有了很大的改善。在大資料時代進行抽樣分析就像是在汽車時代騎馬一樣。

　　在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析資料的主要方式。”也就是說，在大資料時代，隨著資料收集、儲存、分析技術的突破性發展，我們可以更加方便、快捷、動態地獲得研究物件有關的所有資料，而不再因諸多限制不得不採用樣本研究方法，相應地，思維方式也應該從樣本思維轉向總體思維，從而能夠更加全面、立體、系統地認識總體狀況。

　　2、容錯思維

　　在小資料時代，由於收集的樣本資訊量比較少，所以必須確保記錄下來的資料儘量結構化、精確化，否則，分析得出的結論在推及總體上就會“南轅北轍”，因此，就必須十分注重精確思維。然而，在大資料時代，得益於大資料技術的突破，大量的非結構化、異構化的資料能夠得到儲存和分析，這一方面提升了我們從資料中獲取知識和洞見的能力，另一方面也對傳統的精確思維造成了挑戰。

　　舍恩伯格指出，“執迷於精確性是資訊缺乏時代和模擬時代的產物。只有5%的資料是結構化且能適用於傳統資料庫的。如果不接受混亂，剩下95%的非結構化資料都無法利用，只有接受不精確性，我們才能開啟一扇從未涉足的世界的窗戶”。也就是說，在大資料時代，思維方式要從精確思維轉向容錯思維，當擁有海量即時資料時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在巨集觀層面擁有更好的知識和洞察力。

　　3、相關思維

　　在小資料世界中，人們往往執著於現象背後的因果關係，試圖通過有限樣本資料來剖析其中的內在機理。小資料的另一個缺陷就是有限的樣本資料無法反映出事物之間的普遍性的相關關係。而在大資料時代，人們可以通過大資料技術挖掘出事物之間隱蔽的相關關係，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現在和預測未來，而建立在相關關係分析基礎上的預測正是大資料的核心議題。

　　通過關注線性的相關關係，以及複雜的非線性相關關係，可以幫助人們看到很多以前不曾注意的聯絡，還可以掌握以前無法理解的複雜技術和社會動態，相關關係甚至可以超越因果關係，成為我們瞭解這個世界的更好視角。舍恩伯格指出，大資料的出現讓人們放棄了對因果關係的渴求，轉而關注相關關係，人們只需知道“是什麼”，而不用知道“為什麼”。我們不必非得知道事物或現象背後的複雜深層原因，而只需要通過大資料分析獲知“是什麼”就意義非凡，這會給我們提供非常新穎且有價值的觀點、資訊和知識。也就是說，在大資料時代，思維方式要從因果思維轉向相關思維，努力顛覆千百年來人類形成的傳統思維模式和固有偏見，才能更好地分享大資料帶來的深刻洞見。

　　4、智慧思維

　　不斷提高機器的自動化、智慧化水平始終是人類社會長期不懈努力的方向。計算機的出現極大地推動了自動控制、人工智慧和機器學習等新技術的發展，“機器人”研發也取得了突飛猛進的成果並開始一定應用。應該說，自進入到資訊社會以來，人類社會的自動化、智慧化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬於線性、簡單、物理的自然思維，智慧水平仍不盡如人意。

　　但是，大資料時代的到來，可以為提升機器智慧帶來契機，因為大資料將有效推進機器思維方式由自然思維轉向智慧思維，這才是大資料思維轉變的關鍵所在、核心內容。眾所周知，人腦之所以具有智慧、智慧，就在於它能夠對周遭的資料資訊進行全面收集、邏輯判斷和歸納總結，獲得有關事物或現象的認識與見解。同樣，在大資料時代，隨著物聯網、雲端計算、社會計算、可視技術等的突破發展，大資料系統也能夠自動地搜尋所有相關的資料資訊，並進而類似“人腦”一樣主動、立體、邏輯地分析資料、做出判斷、提供洞見，那麼，無疑也就具有了類似人類的智慧思維能力和預測未來的能力。

　　“智慧、智慧”是大資料時代的顯著特徵，大資料時代的思維方式也要求從自然思維轉向智慧思維，不斷提升機器或系統的社會計算能力和智慧化水平，從而獲得具有洞察力和新價值的東西，甚至類似於人類的“智慧”。

　　舍恩伯格指出，“大資料開啟了一個重大的時代轉型。就像望遠鏡讓我們感受宇宙，顯微鏡讓我們能夠觀測到微生物一樣，大資料正在改變我們的生活以及理解世界的方式，成為新發明和新服務的源泉，而更多的改變正蓄勢待發”。

　　大資料時代將帶來深刻的思維轉變，大資料不僅將改變每個人的日常生活和工作方式，改變商業組織和社會組織的執行方式，而且將從根本上奠定國家和社會治理的基礎資料，徹底改變長期以來國家與社會諸多領域存在的“不可治理”狀況，使得國家和社會治理更加透明、有效和智慧。

　　大資料的結構

　　大資料包括結構化、半結構化和非結構化資料，非結構化資料越來越成為資料的主要部分。據IDC的調查報告顯示：企業中80%的資料都是非結構化資料，這些資料每年都按指數增長60%。大資料就是網際網路發展到現今階段的一種表象或特徵而已，沒有必要神話它或對它

　　保持敬畏之心，在以雲端計算為代表的技術創新大幕的襯托下，這些原本看起來很難收集和使用的資料開始容易被利用起來了，通過各行各業的不斷創新，大資料會逐步為人類創造更多的價值。

　　其次，想要系統的認知大資料，必須要全面而細緻的分解它，著手從三個層面來展開：

　　第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這裡從大資料的特徵定義理解行業對大資料的整體描繪和定性;從對大資料價值的探討來深入解析大資料的珍貴所在;洞悉大資料的發展趨勢;從大資料隱私這個特別而重要的視角審視人和資料之間的長久博弈。

　　第二層面是技術，技術是大資料價值體現的手段和前進的基石。在這裡分別從雲端計算、分散式處理技術、儲存技術和感知技術的發展來說明大資料從採集、處理、儲存到形成結果的整個過程。

　　第三層面是實踐，實踐是大資料的最終價值體現。在這裡分別從網際網路的大資料，政府的大資料，企業的大資料和個人的大資料四個方面來描繪大資料已經展現的美好景象及即將實現的藍圖。

　　大資料的意義

　　現在的社會是一個高速發展的社會，科技發達，資訊流通，人們之間的交流越來越密切，生活也越來越方便，大資料就是這個高科技時代的產物。[12] 阿里巴巴創辦人馬雲來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology資料科技，顯示大資料對於阿里巴巴集團來說舉足輕重。

　　有人把資料比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大資料並不在“大”，而在於“有用”。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模資料是贏得競爭的關鍵。

　　大資料的價值體現在以下幾個方面：

　　1對大量消費者提供產品或服務的企業可以利用大資料進行精準營銷

　　2 做小而美模式的中小微企業可以利用大資料做服務轉型

　　3 面臨網際網路壓力之下必須轉型的傳統企業需要與時俱進充分利用大資料的價值

　　不過，“大資料”在經濟發展中的巨大意義並不代表其能取代一切對於社會問題的理性思考，科學發展的邏輯不能被湮沒在海量資料中。著名經濟學家路德維希·馮·米塞斯曾提醒過：“就今日言，有很多人忙碌於資料之無益累積，以致對問題之說明與解決，喪失了其對特殊的經濟意義的瞭解。”這確實是需要警惕的。

　　在這個快速發展的智慧硬體時代，困擾應用開發者的一個重要問題就是如何在功率、覆蓋範圍、傳輸速率和成本之間找到那個微妙的平衡點。企業組織利用相關資料和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。例如，通過結合大資料和高效能的分析，下面這些對企業有益的情況都可能會發生:

　　1及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。

　　2為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。

　　3分析所有SKU，以利潤最大化為目標來定價和清理庫存。

　　4根據客戶的購買習慣，為其推送他可能感興趣的優惠資訊。

　　5從大量客戶中快速識別出金牌客戶。

　　6使用點選流分析和資料探勘來規避欺詐行為