大數(shù)據(jù)在農(nóng)產(chǎn)品物流管理系統(tǒng)中的應(yīng)用

21世紀(jì)是數(shù)據(jù)大發(fā)展、信息大爆炸的時(shí)代，互聯(lián)網(wǎng)（新聞、社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博、360衛(wèi)士）、物聯(lián)網(wǎng)（傳感器，智慧地球）、監(jiān)控（視頻、圖像、聲音）、通信（通話、短信）、金融（銀行、股市、保險(xiǎn)）等都在瘋狂產(chǎn)生著數(shù)據(jù)，各種數(shù)據(jù)正在迅速膨脹并變大。當(dāng)信息爆炸已經(jīng)積累到一定的程度，“大數(shù)據(jù)”概念應(yīng)運(yùn)而生，被稱為“第三次浪潮的華彩樂章”。馬云利用阿里巴巴平臺(tái)后臺(tái)的“大數(shù)據(jù)”成功預(yù)測(cè)2008年金融危機(jī)，中國(guó)工程院院士鄔賀銓說道“隨著智慧城市的建設(shè)，社會(huì)將步入“大數(shù)據(jù)”時(shí)代”，2012年3月29日奧巴馬政府公布了”大數(shù)據(jù)研發(fā)計(jì)劃”。騰訊、百度投資建立大數(shù)據(jù)數(shù)據(jù)處理中心，新浪推出企業(yè)微博產(chǎn)品，旨在通過對(duì)用戶行為分析，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)，提高經(jīng)營(yíng)和運(yùn)營(yíng)的效率，帶來業(yè)務(wù)和服務(wù)的增長(zhǎng)和發(fā)展。

當(dāng)前，我國(guó)物流業(yè)年均保持20%的高速增長(zhǎng)，伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展，我國(guó)物流業(yè)數(shù)據(jù)正以前所未有的速度在增長(zhǎng)。數(shù)據(jù)已經(jīng)滲透到每一個(gè)物流過程，數(shù)據(jù)將成為物流企業(yè)戰(zhàn)略資產(chǎn)，市場(chǎng)的激烈競(jìng)爭(zhēng)需要物流企業(yè)長(zhǎng)期保存各類數(shù)據(jù)，以進(jìn)行物流用戶行為分析、物流市場(chǎng)發(fā)展、物流業(yè)務(wù)增長(zhǎng)、物流企業(yè)決策等方面的研究。阿里巴巴成立菜鳥網(wǎng)，將建成一張能支撐日均300億元網(wǎng)絡(luò)零售額的智能物流骨干網(wǎng)絡(luò)，基于“大數(shù)據(jù)”技術(shù)的充分應(yīng)用，在網(wǎng)購(gòu)下單時(shí)，提供“時(shí)效最快”、“成本最低”、“最安全”、“服務(wù)最好”等多個(gè)快遞組合類型。還可根據(jù)以往的快遞公司的表現(xiàn)、各個(gè)分段的報(bào)價(jià)、即時(shí)運(yùn)力資源情況、該流向的即時(shí)件量等信息，甚至可以加上天氣預(yù)測(cè)、交通預(yù)測(cè)等數(shù)據(jù)，進(jìn)行相關(guān)的“大數(shù)據(jù)”分析，從而得到優(yōu)化線路選項(xiàng)，以供客戶選擇。之后，系統(tǒng)會(huì)將訂單數(shù)據(jù)發(fā)送到各個(gè)環(huán)節(jié)，由相應(yīng)的物流公司完成?！按髷?shù)據(jù)”的價(jià)值在于從海量的數(shù)據(jù)中發(fā)現(xiàn)新的知識(shí)，創(chuàng)造新的價(jià)值，通過對(duì)倉(cāng)儲(chǔ)、流通加工、貨物包裝、運(yùn)輸、配送等環(huán)節(jié)的海量數(shù)據(jù)挖掘、歸納、分類、提煉、整合，了解物流企業(yè)的經(jīng)營(yíng)現(xiàn)狀和業(yè)務(wù)情況，為物流企業(yè)戰(zhàn)略規(guī)劃、用戶行為分析、日常運(yùn)營(yíng)管理提供重要支持和指導(dǎo)，提升物流行業(yè)的整體服務(wù)水平。

2、大數(shù)據(jù)概述

2.1、大數(shù)據(jù)的定義 

大數(shù)據(jù)或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。通常由圖像、音頻、視頻、非結(jié)構(gòu)化、社交關(guān)系等海量數(shù)據(jù)和復(fù)雜類型的數(shù)據(jù)構(gòu)成，包括交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集。 

2.2、大數(shù)據(jù)的4V特征 

（1）Volume （體量）：數(shù)據(jù)體量巨大，非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)，從TB級(jí)別，躍升到PB級(jí)別。

（2）Variety（多樣性）：數(shù)據(jù)類型繁多，有很多不同類型的數(shù)據(jù)，如：文本、圖像、視頻、機(jī)器數(shù)據(jù)、地理位置信息等。

（3）Value（價(jià)值密度）：價(jià)值密度低，商業(yè)價(jià)值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。 

（4）Velocity（速度）：處理速度快，1秒定律，立竿見影而非事后見效。實(shí)時(shí)分析而非批量式分析 。

2.3、大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

名稱	需求	關(guān)鍵技術(shù)	技術(shù)描述
大數(shù)據(jù)采集處理	海量數(shù)據(jù)分布式處理	Hadoop生態(tài)系統(tǒng)	針對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的系統(tǒng)框架
	非結(jié)構(gòu)化數(shù)據(jù)處理	文本處理技術(shù)；自然語(yǔ)言理解；多媒體處理技術(shù)…	文本內(nèi)容分詞與分析；圖像、音視頻分析
	實(shí)時(shí)數(shù)據(jù)處理	流媒體數(shù)據(jù)	流計(jì)算引擎
大數(shù)據(jù)分析	可視化交互界面	交互式可視化探索分析技術(shù)	通過交互式可視化界面輔助用戶進(jìn)行分析
	智能數(shù)據(jù)分析	大規(guī)模機(jī)器學(xué)習(xí)技術(shù)	計(jì)算機(jī)模擬人類學(xué)習(xí)行為，包括特征提取、圖形生成等
存儲(chǔ)、組織、管理	數(shù)據(jù)隱私保護(hù)	數(shù)據(jù)隱私防范保護(hù)措施與數(shù)據(jù)安全技術(shù)	保護(hù)隱私數(shù)據(jù)與信息個(gè)體的對(duì)應(yīng)關(guān)系等安全技術(shù)
	高效存儲(chǔ)和管理大規(guī)模數(shù)據(jù)	數(shù)據(jù)存儲(chǔ)備份技術(shù)、數(shù)據(jù)放置和調(diào)度技術(shù)、數(shù)據(jù)溯源	存儲(chǔ)、放置、調(diào)度大規(guī)模的數(shù)據(jù)

表1：大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

3、大數(shù)據(jù)在農(nóng)產(chǎn)品物流管理系統(tǒng)中的應(yīng)用

針對(duì)傳統(tǒng)農(nóng)產(chǎn)品物流管理系統(tǒng)數(shù)據(jù)分散存儲(chǔ)、數(shù)據(jù)模型不統(tǒng)一、標(biāo)準(zhǔn)化程度低、無法支持非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)處理的要求、數(shù)據(jù)未能有效地進(jìn)行商業(yè)利用等特點(diǎn)，基于大數(shù)據(jù)的農(nóng)產(chǎn)品物流管理系統(tǒng)構(gòu)建數(shù)據(jù)集中、數(shù)據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)統(tǒng)一存儲(chǔ)和處理、多結(jié)構(gòu)化數(shù)據(jù)處理的模式，對(duì)農(nóng)產(chǎn)品搜索引擎和詢價(jià)日志進(jìn)行收集并管理，對(duì)海量農(nóng)產(chǎn)品數(shù)據(jù)進(jìn)行并行計(jì)算和分布式處理，實(shí)現(xiàn)海量農(nóng)產(chǎn)品數(shù)據(jù)的實(shí)時(shí)加載、實(shí)時(shí)復(fù)雜查詢和數(shù)據(jù)的實(shí)時(shí)入庫(kù)，結(jié)合用戶上網(wǎng)日志和互聯(lián)網(wǎng)農(nóng)產(chǎn)品網(wǎng)頁(yè)內(nèi)容，進(jìn)行深度數(shù)據(jù)挖掘和分析，為企業(yè)把握用戶行為偏好、改善用戶體驗(yàn)、精準(zhǔn)行銷、產(chǎn)品競(jìng)爭(zhēng)力分析提供數(shù)據(jù)支持。

3.1、農(nóng)產(chǎn)品物流管理系統(tǒng)工作流程

農(nóng)產(chǎn)品物流管理系統(tǒng)首先通過GPS、無線射頻、條碼掃描等方式從運(yùn)輸載體、人員、貨物中實(shí)時(shí)采集數(shù)據(jù)輸入到系統(tǒng)中，在處理之前，保存在系統(tǒng)數(shù)據(jù)庫(kù)中，以保證數(shù)據(jù)的完整性、實(shí)時(shí)性和準(zhǔn)確性。有些數(shù)據(jù)在處理之后還有利用價(jià)值，要將其保存下來，以供以后分析使用。同時(shí)，農(nóng)產(chǎn)品物流數(shù)據(jù)在系統(tǒng)中，要準(zhǔn)確、及時(shí)地傳輸?shù)礁鱾€(gè)職能環(huán)節(jié)，保證數(shù)據(jù)的使用價(jià)值。之后，系統(tǒng)將輸入的數(shù)據(jù)加工處理成系統(tǒng)所需要的物流信息，并進(jìn)行數(shù)據(jù)挖掘、分析和利用，形成大數(shù)據(jù)價(jià)值鏈。最后就是通過網(wǎng)站、微博、微信等方式實(shí)現(xiàn)農(nóng)產(chǎn)品物流信息發(fā)布，力求在輸出形式上力求易讀易懂，直觀醒目。

農(nóng)產(chǎn)品物流管理系統(tǒng)是農(nóng)產(chǎn)品信息的主要組成部分，對(duì)農(nóng)產(chǎn)品物流信息經(jīng)過收集、儲(chǔ)存、加工、處理和傳輸來實(shí)現(xiàn)對(duì)農(nóng)產(chǎn)品物流活動(dòng)的有效控制和管理，并通過對(duì)農(nóng)產(chǎn)品數(shù)據(jù)的挖掘、分析，為物流企業(yè)提供戰(zhàn)略規(guī)劃、溝通協(xié)調(diào)、運(yùn)營(yíng)管理、行為分析和決策支持的交互系統(tǒng)。系統(tǒng)由基礎(chǔ)管理、倉(cāng)儲(chǔ)管理、銷售管理和結(jié)算管理四大子系統(tǒng)構(gòu)成，主要功能如下：

（1）基礎(chǔ)管理：對(duì)農(nóng)產(chǎn)品貨主進(jìn)行身份驗(yàn)證、注冊(cè)、注銷等管理，及時(shí)將農(nóng)產(chǎn)品物流相關(guān)信息通過網(wǎng)頁(yè)、論壇、微博等方式進(jìn)行發(fā)布。

（2）倉(cāng)儲(chǔ)管理：對(duì)倉(cāng)庫(kù)內(nèi)的物資進(jìn)行入庫(kù)、出庫(kù)、作業(yè)、流程、安全和庫(kù)存進(jìn)行管理，。根據(jù)銷售管理系統(tǒng)提供的數(shù)據(jù)，對(duì)庫(kù)存進(jìn)行補(bǔ)貨或訂貨勸告，適時(shí)適量調(diào)整訂貨的信息。

（3）銷售管理：對(duì)訂貨信息的完整度、準(zhǔn)確度進(jìn)行檢查，并對(duì)訂單的相關(guān)制約條件進(jìn)行審批。根據(jù)銷售的農(nóng)產(chǎn)品銷售和客戶詢價(jià)情況，及時(shí)反饋給倉(cāng)儲(chǔ)管理系統(tǒng)，適當(dāng)控制存庫(kù)。

（4）結(jié)算管理：對(duì)農(nóng)產(chǎn)品合同進(jìn)行管理，對(duì)合同的訂立、履行、解除、轉(zhuǎn)讓等情況進(jìn)行管理。根據(jù)數(shù)據(jù)分析結(jié)果、客戶行為分析和市場(chǎng)導(dǎo)向，合理設(shè)定費(fèi)率和費(fèi)用，并根據(jù)設(shè)定的費(fèi)率和費(fèi)用，計(jì)算相關(guān)農(nóng)產(chǎn)品物流管理費(fèi)用。