大數據需求分析怎麼寫?

General 更新 2024-12-18

如何利用大數據進行用戶需求分析

1.可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明瞭。

2. 數據挖掘算法

大數據分析的理論核心就是數據挖掘算法，各種數據挖掘的算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統

計

學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的算法才能更快速的處理大數據，如

果一個算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

3. 預測性分析

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。

4. 語義引擎

非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智能以足以從數據中主動地提取信息。

5.數據質量和數據管理。大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。

大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術

數據採集： ETL工具負責將分佈的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

數據存取：關係數據庫、NOSQL、SQL等。

基礎架構：雲存儲、分佈式文件存儲等。

數

據處理：自然語言處理(NLP，Natural Language

Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機地理解地自然語言，所以自然語言處理又叫做自然語言理

解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智能的核心課題之一。

統計分析：

假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、

卡方分析、偏相關分析、距離分析、迴歸分析、簡單迴歸分析、多元迴歸分析、逐步迴歸、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、

因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。

數

據挖掘：分類

（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity

grouping or association rules）、聚類（Clustering）、描述和可視化、Description and

Visualization）、複雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)

模型預測：預測模型、機器學習、建模仿真。

結果呈現：雲計算、標籤雲、關係圖等。

大數據的處理

1. 大數據處理之一：採集

大

數據的採集是指利用多個數據庫來接收發自客戶端（Web、App或者傳感器形式等）的

數據，並且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關係型數據庫MySQL和Oracle等來存儲每一筆事務數據，除

此之......

需求分析中的數據分析一般指什麼?如何書寫? 10分

接上面的訂貨系統員工薪金貨物購入價的等都可以做動態具體變化的需求之類的都應該是動態繼續為個人看法請各位指教

數據需求分析是什麼 55分

需求分析，簡單來說就是用編程知識分析用戶提出的要求是不是合理，能不能實現，如何實現

你可以看看軟件工程相關的書，講得比較詳細

一般需求分析後面要進行概要設計、詳細設計和界面設計。如果有數據庫還要同時進行數據庫設計。這些東西都是將來編寫系統時指導性的東西，如果前面分析的不全面或者錯誤了，後面在具體弄的時候會發現沒法幹了。

如何進行大數據分析及處理？

大數據的分析從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的複雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？1. 可視化分析。大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明瞭。2. 數據挖掘算法。大數據分析的理論核心就是數據挖掘算法，各種數據挖掘的算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的算法才能更快速的處理大數據，如果一個算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。3. 預測性分析。大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。4. 語義引擎。非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智能以足以從數據中主動地提取信息。5.數據質量和數據管理。大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。大數據的技術數據採集：ETL工具負責將分佈的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。數據存取：關係數據庫、NOSQL、SQL等。基礎架構：雲存儲、分佈式文件存儲等。數據處理：自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機”理解”自然語言，所以自然語言處理又叫做自然語言理解(NLU，Natural Language Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、迴歸分析、簡單迴歸分析、多元迴歸分析、逐步迴歸、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。數據挖掘：分類（Classification）、估計（Estimation）、預測（Predic膽ion）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化......

大數據分析到底需要多少種工具

比如R語言偏向繪圖、python偏向兼容數據庫、spark是未來趨勢、hadoop

大數據分析到底需要多少種工具

大數據分析工具有很多，國外的tableau、qlikview，好用但價格昂貴。

國內的有大數據魔鏡，國內首款免費的大數據可視化分析工具。

如何創建一個大數據平臺

所謂的大數據平臺不是獨立存在的，比如百度是依賴搜索引擎獲得大數據並開展業務的，阿里是通過電子商務交易獲得大數據並開展業務的，騰訊是通過社交獲得大數據並開始業務的，所以說大數據平臺不是獨立存在的，重點是如何蒐集和沉澱數據，如何分析數據並挖掘數據的價值。

我可能還不夠資格回答這個問題，沒有經歷過一個公司大數據平臺從無到有到複雜的過程。不過說說看法吧，也算是梳理一下想法找找噴。

這是個需求驅動的過程。

曾經聽過spotify的分享，印象很深的是，他們分享說，他們的hadoop集群第一次故障是因為，機器放在靠窗的地方，太陽晒了當機了（笑）。從簡單的沒有機房放在自家窗前的集群到一直到現在複雜的數據平臺，這是一個不斷演進的過程。

對小公司來說，大概自己找一兩臺機器架個集群算算，也算是大數據平臺了。在初創階段，數據量會很小，不需要多大的規模。這時候組件選擇也很隨意，Hadoop一套，任務調度用腳本或者輕量的框架比如luigi之類的，數據分析可能hive還不如導入RMDB快。監控和部署也許都沒時間整理，用腳本或者輕量的監控，大約是沒有ganglia、nagios，puppet什麼的。這個階段也許算是技術積累，用傳統手段還是真大數據平臺都是兩可的事情，但是為了今後的擴展性，這時候上Hadoop也許是不錯的選擇。

當進入高速發展期，也許擴容會跟不上計劃，不少公司可能會遷移平臺到雲上，比如AWS阿里雲什麼的。小規模高速發展的平臺，這種方式應該是經濟實惠的，省了運維和管理的成本，擴容比較省心。要解決的是選擇平臺本身提供的服務，計算成本，打通數據出入的通道。整個數據平臺本身如果走這條路，可能就已經基本成型了。走這條路的比較有名的應該是netflix。

也有一個階段，你發現雲服務的費用太高，雖然省了你很多事，但是花錢嗖嗖的。幾個老闆一合計，再玩下去下個月工資發佈出來了。然後無奈之下公司開始往私有集群遷移。這時候你大概需要一群靠譜的運維，幫你監管機器，之前兩三臺機器登錄上去看看狀態換個磁盤什麼的也許就不可能了，你面對的是成百上千臺主機，有些關鍵服務必須保證穩定，有些是數據節點，磁盤三天兩頭損耗，網絡可能被壓得不堪重負。你需要一個靠譜的人設計網絡佈局，設計運維規範，架設監控，值班團隊走起7*24小時隨時準備出臺。然後上面再有平臺組真的大數據平臺走起。

然後是選型，如果有技術實力，可以直接用社區的一整套，自己管起來，監控部署什麼的自己走起。這個階段部署監控和用戶管理什麼的都不可能像兩三個節點那樣人肉搞了，配置管理，部署管理都需要專門的平臺和組件；定期Review用戶的作業和使用情況，決定是否擴容，清理數據等等。否則等機器和業務進一步增加，團隊可能會死的很慘，疲於奔命，每天事故不斷，進入惡性循環。

當然有金錢實力的大戶可以找Cloudera，Hortonworks，國內可以找華為星環，會省不少事，適合非互聯網土豪。當然互聯網公司也有用這些東西的，比如Ebay。

接下去你可能需要一些重量的組件幫你做一些事情。

比如你的數據接入，之前可能找個定時腳本或者爬log發包找個服務器接收寫入HDFS，現在可能不行了，這些大概沒有高性能，沒有異常保障，你需要更強壯的解決方案，比如Flume之類的。

你的業務不斷壯大，老闆需要看的報表越來越多，需要訓練的數據也需要清洗，你就需要任務調度，比如oozie或者azkaban之類的，這些系統幫你管理關鍵任務的調度和監控。

數據分析人員的數據大概可能漸漸從RDBMS搬遷到集群了，因為傳統數據庫已經完全hold不住了，但他們不會寫代碼，所以你上......

數據庫需求分析

數據庫設計

1、數據庫需求分析

1）針對超市進銷存管理系統，分別對採購部門、銷售部門和庫存保管部門進行詳細的調研和分析，總結出如下的需求信息：

商品按類管理，所以需要有一商品類型信息。

商品必須屬於一個商品類型。

如果一個商品類型存在商品，或存在下級商品類型，則該類型不可刪除。

需要記錄供應商品信息。

在涉及商品數量的地方，要給出相應的單位。

商品銷售信息單中要包含登記商品銷售數量、單價等信息。

在進貨信息中要包含商品供應商等信息。

商品報損要有報損原因。

進貨、銷售、報損操作要有相應操作員信息。

只有管理員登錄之後才可以使用系統。

默認的管理員不可以刪除。

進貨、銷售、庫存、報損信息都要可以添加、修改、刪除、分類查找。

當進行進貨、銷售和報損操作後，能相應更新庫存。

需要對進貨、銷售、庫存、報損進行分析，總結熱門商品。

2）經上述系統功能分析和需求總結，考慮到將來功能的擴展，設計如下的數據項和數據結構：

商品類型信息，包括數據項有：商品類型編號、商品類型名稱等。

商品信息，包括的數據項有：商品編號、商品名稱、商品介紹、庫存量等。

商品單位信息，包括單位編號、單位名稱等。

供應商信息，包括供應商名稱、介紹等。

進貨信息，包括進貨商品、數量、單位、單價、進貨時間經手人等。

銷售信息，包括銷售商品、數量、單位、單價、登記時間等。

報損信息，包括報損商品、數量、單位、原因、登記時間等。

管理員信息，包括管理員賬號、密碼、是否是默認賬號等。

2、數據庫概念結構設計

本系統根據以上的設計規劃出的實體有：商品類型信息實體、商品信息實體、商品單位信息實體、供應商信息實體、進貨信息實體、銷售信息實體、報損信息實體和管理員信息實體。

大數據需要什麼人才

統計學，數據庫，數據挖掘知識，懂得業務需要，理解業務的複合型人才

學習大數據分析要用到哪些知識？

1、需要有應用數學、統計學、數量經濟學專業本科或者工學碩士層次水平的數學知識背景。

2、至少熟練SPSS、STATISTIC、Eviews、SAS等數據分析軟件中的一門。

3、至少能夠用Acess等進行數據庫開發；