淺談大數(shù)據(jù)應用的質量控制

一、大數(shù)據(jù)質量概述
現(xiàn)階段大數(shù)據(jù)采集、處理及其應用過程中，其數(shù)據(jù)質量始終是人們的關注重點。而目前學術界對大數(shù)據(jù)質量的定義尚未明確統(tǒng)一。國內(nèi)外分別從數(shù)據(jù)可得性、分析框架、數(shù)據(jù)分析與判斷、數(shù)據(jù)代表性等方面進行探究，并得出不同結論。立足于數(shù)據(jù)特征、用戶需求角度進行分析，本文認為大數(shù)據(jù)質量涉及到經(jīng)濟性、及時性、適用性、準確性以及完整性等方面。同時考慮到大數(shù)據(jù)存在的復雜性、不確定性特點，數(shù)據(jù)質量還需囊括可分析性、可得性等要素。由此表明，大數(shù)據(jù)質量是指在滿足用戶需求的基礎上，進行準確性、及時性、可得性等上述要素的衡量，且各要素需體現(xiàn)在大數(shù)據(jù)形成、挖掘及其分析使用等全過程中。
二、大數(shù)據(jù)應用質量問題的分析
（一）與數(shù)據(jù)使用目的存在較低的契合度
用戶數(shù)據(jù)使用出現(xiàn)質量問題的最根本因素在于契合度的缺失，通常情況下，除天文觀測、基因檢測之外，大數(shù)據(jù)的生成并非以特定目的或需求為根源，只是在現(xiàn)代信息技術廣泛普及下衍生出的數(shù)據(jù)資源。從某種角度而言，大數(shù)據(jù)的形成屬于自然過程，而傳統(tǒng)數(shù)據(jù)的生成會以相關統(tǒng)計目的或需求為前提。所以數(shù)據(jù)使用期間，要想保證其數(shù)據(jù)使用契合用戶需求，需以數(shù)據(jù)篩選、挖掘為必要手段。有人將大數(shù)據(jù)挖掘過程比作“大海撈針”的過程，由此體現(xiàn)出海量數(shù)據(jù)信息的低密度價值，所以用戶數(shù)據(jù)使用過程中極易出現(xiàn)不契合使用目的的問題。
（二）數(shù)據(jù)系統(tǒng)性誤差可能性的產(chǎn)生
無論是傳統(tǒng)數(shù)據(jù)還是大數(shù)據(jù)，誤差的產(chǎn)生不可避免。諸多客觀、主觀因素的影響下使得大數(shù)據(jù)應用出現(xiàn)誤差問題，而其中誤差又分為系統(tǒng)性誤差與偶然性誤差。相較于偶然誤差而言，系統(tǒng)性誤差的產(chǎn)生更難以被有效測度、鑒別，尤其是在試用期間因操作不當形成的系統(tǒng)性誤差。分析系統(tǒng)性誤差的出現(xiàn)情況，具體體現(xiàn)為：（1）數(shù)據(jù)未做到全面覆蓋，繼而在應用期間出現(xiàn)偏差誤差，即未覆蓋數(shù)據(jù)特征與大戶數(shù)特征存在明顯差異；（2）在人群相互影響下前提下，所形成的具有方向性特點的數(shù)據(jù)品茶，以微信群為例，相互影響下群友所探討的內(nèi)容可能出現(xiàn)共性偏差；（3）因個體小數(shù)據(jù)存在造假的可能，使得大數(shù)據(jù)應用出現(xiàn)傾向性虛假偏差啊，如社交平臺中人們通常會選擇對自身性別、年齡、外表等進行美化、夸大或造假等，導致大數(shù)據(jù)應用出現(xiàn)較大誤差。
（三）數(shù)據(jù)可比性問題突出
可比性是大數(shù)據(jù)發(fā)揮出應有價值的關鍵所在，針對傳統(tǒng)數(shù)據(jù)而言，因其在測度標準、獲取方式、指標定義、銜接調(diào)整、獲取范圍等方面有著嚴格要求，所以傳統(tǒng)數(shù)據(jù)在時間、空間等方面有較強的可比性。但是大數(shù)據(jù)受到表現(xiàn)多樣性、測度非標準、非統(tǒng)一來源區(qū)域、形態(tài)復雜性、語境差異性等方面的影響，使得數(shù)據(jù)不存在時間連續(xù)可比性，在空間方面同樣缺失橫向比對性。即便能夠做到大量生產(chǎn)數(shù)據(jù)資源的谷歌、百度等企業(yè)，受到標準要求、范疇變化等方面的影響，也難以以一致性的標準進行前后數(shù)據(jù)的控制，在實際統(tǒng)計分析過程中無法體現(xiàn)出大數(shù)據(jù)的可比性。
三、大數(shù)據(jù)應用的質量控制對策
盡管大數(shù)據(jù)應用期間些許質量問題的存在影響到其作用與價值的體現(xiàn)，但是現(xiàn)階段大數(shù)據(jù)應用已然成為我國社會發(fā)展建設的主要趨勢，所以亟需借助相關對策措施來加強對大數(shù)據(jù)應用質量的控制。
（一）重視對理論準備的完善
要想進一步提升大數(shù)據(jù)的應用質量，需要以完善理論支撐入手，站在理論層面進行大數(shù)據(jù)表現(xiàn)與特征的探討分析，避免大數(shù)據(jù)應用受到盲目探索的影響。在實際應用期間，需在全面掌握大數(shù)據(jù)內(nèi)涵的基礎上，結合以下幾點完善大數(shù)據(jù)的理論準備：（1）大數(shù)據(jù)來源認知的轉變。基于現(xiàn)代信息、互聯(lián)網(wǎng)等技術的普及應用，目前數(shù)據(jù)的定義不再是只能用于數(shù)字表現(xiàn)、加減乘除應用的數(shù)據(jù)，所有可記錄的事實均能以數(shù)據(jù)的形式體現(xiàn)。所以大數(shù)據(jù)的構成包括非結構化數(shù)據(jù)如聲音、文字、表情、文本、視頻等，以及相關數(shù)字化信息等。做到在統(tǒng)計學范圍內(nèi)納入上述數(shù)據(jù)信息，并嘗試在當前統(tǒng)計學教材中進行大數(shù)據(jù)理論知識的增設，以幫助人們加深對大數(shù)據(jù)的掌握，拓展對于數(shù)據(jù)應用的視野。（2）總體、個體、變量等認知的轉變。數(shù)據(jù)的應用需要以用戶明確數(shù)據(jù)類型為基礎，即掌握所使用的數(shù)據(jù)對應的個體、總體以及變量表達。不同于傳統(tǒng)數(shù)據(jù)而言，大數(shù)據(jù)的使用無法明確數(shù)據(jù)的個體、總體，所以其傳統(tǒng)變量、個體、總體的定義不適用于大數(shù)據(jù)中。為此可結合以下方面進行大數(shù)據(jù)處理的優(yōu)化。一方面是大數(shù)據(jù)應用目的是相關規(guī)律的探索，那么其總體可以確定為特定時段內(nèi)的所有數(shù)據(jù)，而個體則是截取數(shù)據(jù)內(nèi)的每一個具體數(shù)據(jù)，同時依據(jù)大數(shù)據(jù)分析目的、方向來確定變量。另一方面則是從具體數(shù)據(jù)的分析入手，進行來源背后事物、人物等方面的調(diào)查，經(jīng)過核對檢驗后進行個體、總體的科學定義。
（二）重視對質量控制方案的構建
完整且科學的質控方案是發(fā)揮出大數(shù)據(jù)價值與作用的關鍵所在，而針對質控方案的制定，需依據(jù)對用戶需求的分析，從事前、事中、事后三方面進行方案的優(yōu)化。針對事前控制而言，首先結合實際情況進行數(shù)據(jù)源、使用目的的分析研究，明確大數(shù)據(jù)應用的具體需求與目的。其次是判斷能否獲取相應的數(shù)據(jù)，并精準界定數(shù)據(jù)選擇的范圍，以相關法律制度為參照，確定數(shù)據(jù)生產(chǎn)者與使用者的權利、職責。針對事中控制而言，需做到在應用期間重視對數(shù)據(jù)對接的強化開展，以明確數(shù)據(jù)特點、使用目的、數(shù)據(jù)分類、數(shù)據(jù)測度為前提，以標準化的形式處理大數(shù)據(jù)與相關數(shù)據(jù)的銜接。例如政府CPI需要以相應的原則與方法來應用、處理京東、阿里巴巴平臺纏產(chǎn)生的數(shù)據(jù)，依照相關標準進行數(shù)據(jù)的分類，結合對價格、銷售數(shù)量等方面的分析，進行CPI層次權數(shù)的科學調(diào)整。再次，按照規(guī)定要求進行數(shù)據(jù)修補與審核，為避免些許完整性、準確性問題的存在而影響到大數(shù)據(jù)的利用，需在事中控制階段進行數(shù)據(jù)修補、清晰等。最后，加強數(shù)據(jù)驗證與比對，若大數(shù)據(jù)的獲取存在來源差異的情況，需要進行同步比較，通過對內(nèi)涵質量差異的控制來提升數(shù)據(jù)可比性。針對事后控制而言，則強調(diào)對大數(shù)據(jù)使用過程進行總體性評估、分析以及總結，具體涉及到有效性評估、邏輯性檢查等。并在使用后階段比對數(shù)據(jù)使用前后的差異，若存在差異則需深入挖掘其成因。
（三）重視對小數(shù)據(jù)的研究
小數(shù)據(jù)是形成大大數(shù)據(jù)資源的關鍵所在，是指個體、單個事物特征反映的數(shù)據(jù)，例如姓名、籍貫、性別、民族、體重等，主要體現(xiàn)為個人基本特征小數(shù)據(jù)，個人身體健康體現(xiàn)的小數(shù)據(jù)集則包括內(nèi)外科、血常規(guī)、眼鼻喉等體檢數(shù)據(jù)等[6]。針對大數(shù)據(jù)的應用，在某種程度而言可以體現(xiàn)為對小數(shù)據(jù)的利用，所以大數(shù)據(jù)契合性低、系統(tǒng)性誤差等問題的產(chǎn)生，均受到小數(shù)據(jù)生成的直接影響。所以，需要加大對小數(shù)據(jù)的研究與控制力度，依據(jù)實際需求加大對小數(shù)據(jù)影響因素、變化情況、來源等方面的研究與評估，做到按照規(guī)定標準進行小數(shù)據(jù)系統(tǒng)性的審核，結合對小數(shù)據(jù)集生成過程、動態(tài)變化過程的梳理，實現(xiàn)通過小數(shù)據(jù)集質量控制來促進大數(shù)據(jù)價值體現(xiàn)。
四、結語
綜上所述，大數(shù)據(jù)時代背景下如何最大化體現(xiàn)出大數(shù)據(jù)的價值及作用，需要以數(shù)據(jù)應用質量的控制為支撐。對此，需深度剖析大數(shù)據(jù)應用存在的質量問題，在此基礎上結合科學措施如重視對理論準備的完善、對質量控制方案的構建以及對小數(shù)據(jù)的研究來提升大數(shù)據(jù)質量控制水平。

本文來源：《魅力中國》：http://www.007hgw.com/w/wy/25805.html