數(shù)據(jù)準備階段

數(shù)據(jù)集描述

用于技術(shù)驗證的數(shù)據(jù)集來自kaggle上的醫(yī)藥銷售預測項目Rossmann Stores Clustering and Forecast，整個數(shù)據(jù)集包含三張表：訓練集、測試集、經(jīng)銷商信息表。測試集只比訓練集少銷售額Sales和Customers這兩個字段，其它字段完全相同，其中訓練集和測試集分別有1017209和41088條，訓練集和測試集前五條數(shù)據(jù)如下。

測試集包含未來六周的促銷等狀況，要求預測指定經(jīng)銷商的銷售額或則顧客總數(shù)。

經(jīng)銷商信息數(shù)據(jù)集store.csv有1115條數(shù)據(jù)，也就是1115家經(jīng)銷商，10個字段。

其中Store字段唯一代表一家經(jīng)銷商，可以將train.csv和test.csv分別與store.csv通過字段Store關(guān)聯(lián)起來。

數(shù)據(jù)預處理

首先從日期字段Date中提取出年月日以及該日期在所在年的第幾周，并將它們作為新的字段，方便之后對數(shù)據(jù)按時間進行聚合處理。

對三張表中的分類變量進行編碼轉(zhuǎn)換，采用sklearn內(nèi)置的LabelEncoder編碼。

查看每張表的字段缺失情況，train.csv，test.csv，store.csv缺失如下

在store表中，缺失字段CompetitionDistance表示最近競爭對手的距離，是一個連續(xù)變量，用中位值填充該變量的缺失值，其它的確實變量統(tǒng)統(tǒng)用0填充。對于test表中有11條變量確實Open字段，表面其沒有開業(yè)，在后面的建模中會被直接過濾掉，此處暫不處理。

合并字段CompetitionOpenSinceMonth表示距離最近的競爭對手開業(yè)的月份，CompetitionOpenSinceYear則表示開業(yè)的年份，構(gòu)造字段CompetitionOpenSince表示競爭對手開業(yè)以來的總的月份；Promo2SinceYear/ Promo2SinceWeek表示商店參與最近促銷的年份和參與時間所在的周，構(gòu)造字段Promo2Since表示商家參與促銷以來所經(jīng)歷的周數(shù)，根據(jù)經(jīng)驗Promo2Since與Promo會呈現(xiàn)負相關(guān)性，因為當前促銷Promo和之前促銷存在競爭關(guān)系。

相關(guān)性分析

進行變量之間的相關(guān)性分析，選取具有代表性的促銷相關(guān)的變量Promo，Promo2，Promo2Since，以及與競爭相關(guān)的變量CompetitionDistance，CompetitionOpenSince，做出它們的散點圖，如下

從圖中可以發(fā)現(xiàn)無論對于哪一種類型的經(jīng)銷商，當前促銷Promo能夠明顯提升當前的銷量，而之前的促銷Promo2則會降低當前的銷量，并且當前促銷后銷量會在周一達到峰值，另外可以發(fā)現(xiàn)當前促銷的商家在周六和周日都不開門，第三種類型的商家在周日一直都不開門，第四種商家在當前不促銷之前促銷時在周日不開門。

同時也做出促銷對銷量在月份上的影響，如下

可以發(fā)現(xiàn)所有商家在年底的銷量達到頂峰，表面月份對銷量有顯著的影響。

最后做出所有變量的相關(guān)系數(shù)矩陣，如下所示

發(fā)現(xiàn)Weekofyear和Month，Promo2和PromoInterval相關(guān)性非常之高，于是建模時舍棄Month和PromoInterval，其余變量全部用于建立機器學習模型。

建模

建立的模型主要建立包括三類：時間序列模型、機器學習模型、深度學習模型。

時間序列ARIMA模型

銷售數(shù)據(jù)是典型的時間序列數(shù)據(jù)，對銷售數(shù)據(jù)建立時間序列模型需要檢驗數(shù)據(jù)的平穩(wěn)性，趨勢性。建模的數(shù)據(jù)為所有經(jīng)銷商每天的銷售總額，為了避免數(shù)據(jù)波動過大，對原數(shù)據(jù)取對數(shù)，平穩(wěn)性檢驗采用最常用的adfuller單位根檢驗，結(jié)果如下

P值非常之小，在99%的置信水平上認為該序列是平穩(wěn)的。如若不平穩(wěn)，則可以進行差分運算直至平穩(wěn)為止，不過通常做3差分后已經(jīng)平穩(wěn)。

通過某些方法，例如傅里葉分解、小波分解、TSI分解等，將數(shù)據(jù)分解成可預測部分和不規(guī)則變動（隨機波動）部分，可預測部分占比比不規(guī)則變動大很多，那么就具備了預測未來的條件。為了查看其趨勢性，采用TSI分解，即將時間序列分解成趨勢trend，季節(jié)周期性seasonal，隨機部分residual這三個部分,然后對trend部分建立時間序列模型，然后加上seasonal作為預測值，residual因為是隨機的，不能預測。對銷量數(shù)據(jù)進行分解后的效果如下

不難發(fā)現(xiàn)沒有明顯的趨勢性，呈現(xiàn)波動狀態(tài)，seasonal部分放大了后發(fā)現(xiàn)周期為7，殘差部分residual存在毛刺，這可能與促銷或者節(jié)假日有關(guān)，暫且按下不表，先檢驗residual的平穩(wěn)性，結(jié)果如下

P值十分之小，在99%的置信度下是平穩(wěn)的。下面用ARIMA模型對trend部分建立模型，確定其AR，MA的階數(shù)都為4，另外沒有做差分，所以最終的階數(shù)為order=(4,0,4)，對trend的擬合效果如下

加上seasonal部分在進行指數(shù)還原后結(jié)果如下

對時間序列按照7：3劃分為訓練集和測試集，并且將原始數(shù)據(jù)和預測數(shù)據(jù)按照7天進行降采樣求和，看出在驗證集上的RMSE挺大的，意味著存在很大的預測偏差，達到21%。

機器學習模型

將數(shù)據(jù)集按照7：3的比例劃分為訓練集和測試集，分別采用了GBT，Xgboost，LightGBM，RandomForest這三種預測準確度比較高的樹模型進行預測，預測效果分別如下

驗證集上的平均預測誤差為10.91%，

驗證集上的平均預測誤差為5.57%，

驗證集上的平均預測誤差為8.57%。

最后選擇預測效果最好的Xgboost作為最終的機器學習模型進行銷量的預測，給銷量預測設(shè)置一個預測區(qū)間，當預測銷量不在區(qū)間范圍時，廠商或者經(jīng)銷商就應該相應進行庫存調(diào)整或者促銷方案或者銷售人員的安排做出變動。預測區(qū)間根據(jù)預測值的四分位數(shù)確定，預測上線為Q3+k1(Q3-Q1)，下線為Q1-k2(Q3-Q1)，其中k1，k2的值由商家的庫存狀況自行確定。加上預測區(qū)間后的預測效果如下

以上內(nèi)容是對整個公司所有經(jīng)銷商的銷售量進行預測，接下來對不同類型的經(jīng)銷商的銷售量進行預測，為此把經(jīng)銷商分成5種類型，采用層次聚類，效果如下

類型種數(shù)根據(jù)實際情況指定，然后可以按類別分別建模，除此之外，還可以按照每家經(jīng)銷商建立模型。于是，可以給出總銷量，某種類型或者某家經(jīng)銷商的銷量預測。如下圖，給出了編號為1這家經(jīng)銷商未來六周的銷售量預測值，以及預測區(qū)間，其中金色線為預測上限，土黃色線為預測下限

關(guān)于慧都大數(shù)據(jù)分析平臺

慧都大數(shù)據(jù)分析平臺，將學習、推理、思考、預測、規(guī)劃等能力賦予企業(yè)數(shù)據(jù)，讓數(shù)據(jù)驅(qū)動決策，創(chuàng)造最高業(yè)務價值。

歡迎撥打慧都熱線023-68661681或咨詢，我們將幫您轉(zhuǎn)接大數(shù)據(jù)專業(yè)團隊，并發(fā)送相關(guān)資料給您！