Statistics中的模型側重于統計分析技術, 而Modeler則側重于數據挖掘技術。它們都依據現有數據,運用某個或某幾個特定的算法,來預測用戶所關注信息的未來值。Statistics 和 Modeler提供眾多的預測模型,這使得它們可以應用在多種商業領域中:如超市商品如何擺放可以提高銷量;分析商場營銷的打折方案,以制定新的更為有效的方案;保險公司分析以往的理賠案例,以推出新的保險品種等等,具有很強的商業價值。
Statistics和 Modeler產品中含有大量基于高級數學統計算法的預測模型,為了保證算法的嚴密性及結果的精確性,模型往往還需要許多詳細的參數設定,這樣就要求用戶具有一定的統計專業知識,只有理解預測模型中的各項設置及運算結果的真實意義,才有可能結合結果做出正確的決策判斷;另外,為了滿足不同行業用戶的需求,Statistics和 Modeler涉及到數學領域中多個不同的范疇,即使專業用戶也很難了解所有模型,從而挑選出最適合他們應用的模型。
本系列文章從實際問題出發,通過一些實際生活中常見的商業問題來引出IBM SPSS 軟件家族中的典型預測模型,手把手地指導用戶如何在軟件中對該模型進行設置,如何查看運行結果,講解運行結果的真實意義,最后引申到如何將該結果應用于解決這個具體的商業問題中來。用這種最直觀簡單的方式使即使缺乏統計學背景的用戶也能容易地理解這些預測模型,從而很好地使用我們的產品。 同時,文中也涉及了一定的統計知識,使具有專業知識的用戶能依此線索盡可能多的了解我們的產品的方方面面,從而選擇最適合他們問題的模型。
該模型利用數據挖掘的技術,在海量數據中依據該模型的獨特算法發現數據內在的規律性聯系,進而提供具有洞察力的分析解決方案。以下我們將通過一則超市銷售商品的案例,利用 IBM SPSS Modeler 產品中的“關聯規則模型”,來分析商品交易流水數據,以其發現合理的商品擺放規則,來幫助提高銷量。文中將詳細地描述產品的設置和使用方法,以及對計算結果的分析及應用。
式 1中面包是規則前項(Antecedent),牛奶是規則后項 (Consequent)。實例數(Instances)表示所有購買記錄中包含面包的記錄的數量。支持度(Support)表示購買面包的記錄數占所有的購買記錄數的百分比。規則支持度(Rule Support)表示同時購買面包和牛奶的記錄數占所有的購買記錄數的百分比。置信度(confidence)表示同時購買面包和牛奶的記錄數占購買面包記錄數的百分比。提升(Lift)表示置信度與已知購買牛奶的百分比的比值,提升大于 1 的規則才是有意義的。關聯規則式 1的支持度 2% 意味著,所分析的記錄中的 2% 購買了面包。置信度 60% 表明,購買面包的顧客中的 60% 也購買了牛奶。如果關聯滿足最小支持度閾值和最小置信度閾值,就說關聯規則是有意義的。這些閾值可以由用戶或領域專家設定。就顧客購物而言,根據以往的購買記錄,找出滿足最小支持度閾值和最小置信度閾值的關聯規則,就找到顧客經常同時購買的商品。
此數據屬于表格格式數據,每條記錄表示顧客的一次購物。記錄的字段包括卡號、顧客基本信息、付款方式和商品名稱(每個商品一個字段 , 該商品字段值為 T, 表示購買該商品 , 值為 F 表示未購買,具體可參考表 2, 表格格式數據)。商品名稱都有 fruitveg(水果蔬菜),freshmeat(生鮮肉),dairy(奶制品),cannedveg(罐裝蔬菜),cannedmeat(罐裝肉),fozenmeal(凍肉),beer(啤酒), wine(酒類),softdrink(軟飲),fish(魚), confectionery(甜食)。如何對這些數據進行分析和處理,本節會給出詳細的演示。
類型節點是顯示和設置數據每個字段的類型、格式和角色。從界面下方的“字段選項”卡中,將“類型”節點拖放到界面中,接著將數據節點和類型節點連接起來,或者直接在“字段選項”卡中雙擊“類型”節點,將兩者連接起來。這時雙擊打開“類型”節點,此時“類型”節點中顯示了數據的字段和其類型,點擊“類型”節點界面上的“讀取值”按鈕,這時會將數據節點中的數據讀取過來。如下圖所示。
輸入表示該字段可供建模使用,目標表示該字段為建模的預測目標,兩者表示該字段為布爾型的輸入字段,無表示該字段不參與建模。Apriori 節點需要一個或多個輸入字段和一個或多個目標字段,輸入字段和輸出字段必須是符號型字段。在此可以選擇一個或多個字段為目標字段,表明該模型的預測目標字段;對于 Apriori 建模節點,也可以不設置目標字段,則需要在建模節點中設置“后項”。
過濾節點,將不參與的字段排除在外。該步驟為可選步驟。從“字段選項”卡中選擇“過濾”節點,并將其拖入到界面中,將“過濾”節點加入到流中。雙擊打開“過濾”節點,在不參與建模字段的箭頭上點擊,會出現一個紅叉,表示該字段被過濾掉了,不參與建模,如圖所示。
網絡節點,建立此節點的目的是為了讓用戶首先可以直觀的看到商品之間的關聯程度,有一個感性認識。選擇“圖形”選項卡中的“網絡”節點,將此拖入界面,將“網絡”節點加入流中,與“過濾”節點連接起來。雙擊打開網絡節點,在“字段”列表中選擇添加字段,可以將所有的商品字段添加進來;也可以點擊“僅顯示真值標志”,將只顯示那些“兩者”的字段,如圖所示。圖 6. 網絡節點設置
第五步,添加“建模”節點到流中,開始關聯規則模型設置和使用的篇章。首先點擊界面下方“建模”選項卡,再點擊“關聯”分類,將 Apriori 節點拖放到界面中,連接該節點到過濾節點上,或者雙擊 Apriori 節點。接著設置 Apriori 節點的參數,建立關聯規則模型。雙擊打開 Apriori 節點,如下圖所示。
分區允許您使用指定字段將數據分割為幾個不同的樣本,分別用于模型構建過程中的訓練、測試和驗證階段。如果設置了“分區”,除了在此選擇分區字段外,還需要在“模型”選項卡中,勾上“使用分區數據”的選擇框。關于“分區”的概念、作用和使用方法,本文不做詳細介紹。
從結果可以看出,通過關聯規則模型挖掘出了三個規則,分別是規則一,購買了凍肉(frozenmeal)和罐裝蔬菜(cannedveg)的顧客都會購買啤酒(beer);規則二,購買了凍肉的顧客都會購買啤酒;規則三,購買了罐裝蔬菜的顧客都會購買啤酒。其中,第一列代表結果,而下一列代表條件,后面的列包含規則信息,如置信度、支持度和提升等。
市場分析員對于模型結果的三條規則和規則信息,如何分析得出結論呢?首先分析第一條規則,購買了凍肉和罐裝蔬菜的顧客會購買啤酒,此規則中購買了凍肉和罐裝蔬菜的記錄有 173 條,占 17.3%,同時購買了凍肉、罐裝蔬菜和啤酒的記錄占 14.6%,而在購買了凍肉和罐裝蔬菜的顧客中會有 84.393% 的顧客會購買啤酒,并且提升為 2.88,表明此規則的相關性很強,部署能力和置信度類似,可以不考慮。對于規則二三,可以同樣分析。問題的關鍵是,哪些規則信息才能作為評判標準。通過對規則信息的分析和了解,建議將置信度和提升作為選擇規則的標準,因為置信度能反映出規則預測的準確程度,提升值越大,規則的相關性越強。據此,可以將規則一作為分析結果。
本文通過一個實際的商業場景,引入了 IBM SPSS Modeler 關聯規則模型,首先給出了關聯規則的相關概念,接著帶領您一步一步的創建了數據流,并且介紹了模型的建立和設置,并且對結果進行了分析。您可以將本模型應用到其他的場景中,如網絡日志分析、銀行潛在客戶分析、電子商務的捆綁銷售等。