數(shù)據(jù)量預(yù)估

• 樣本數(shù)：
  

假設(shè)客戶數(shù)為1000萬，目前A股有2800多股票，取過去1年購買記錄為樣例，大約是250天，那么產(chǎn)生的樣本數(shù)為大約7萬億，但只需記錄持倉信息，假設(shè)人均10只股票，那么需存儲的記錄大約為250億條。負(fù)樣本不用存儲，在模型計算時產(chǎn)生。

• 特征數(shù)：
  

客戶特征關(guān)聯(lián)股票特征再關(guān)聯(lián)市場特征，將產(chǎn)生百萬維以上特征，特征稀疏。

250億條百萬維稀疏矩陣，大約是幾十TB。估計需50臺普通PC服務(wù)器的Hadoop/Spark集群，可滿足數(shù)據(jù)處理和特征提取。對TB級百萬特征邏輯回歸模型運算，我嘗試過國內(nèi)廠商基于Spark的平臺，可以支持。另一條路是針對這個大規(guī)模機(jī)器學(xué)習(xí)的具體問題定制優(yōu)化。我也試用過國內(nèi)一家新興大數(shù)據(jù)公司第四范式公司的數(shù)據(jù)建模產(chǎn)品，他們對高維稀疏矩陣做了深度定制與優(yōu)化，僅在10臺普通PC服務(wù)器就可以處理該數(shù)據(jù)量級別邏輯回歸運算。

金融特征提取

由于我們將每日交易行為作為獨立事件。既假設(shè)股票特征，市場特征在樣本中都是獨立的，而我們在做交易決定時可能更關(guān)心特征在指定區(qū)間內(nèi)的變化如股票中技術(shù)指標(biāo)等。所以市場數(shù)據(jù)以及其他股票數(shù)據(jù)也需要將變化趨勢轉(zhuǎn)換為特征，如變化率，以及以漲跌標(biāo)記變化趨勢，如+代表漲-代表跌，++–表示過去四個周期的一種變化趨勢。

由于二級市場企業(yè)公告的時間周期為季，宏觀市場指標(biāo)有月也有年，而新聞的時間頻率可以為秒，并且客戶特征也是隨著時間變化的。將不同時間周期的數(shù)據(jù)統(tǒng)一歸結(jié)為按日期的特征必須處理有大量數(shù)據(jù)。從而可以保證，樣本是指定客戶在其當(dāng)時的特征下，根據(jù)當(dāng)時的市場特征以及股票特征做出的購買持倉決定。

模型效果評估

這是我很迷惑的部分，這么高維度的特征數(shù)據(jù)，如何根據(jù)需求判斷不同參數(shù)的結(jié)果優(yōu)劣。一般評估模型效果都是用AUC (Area under the Curve of ROC) ROC曲線下面積, ROC為接收者操作特征曲線（Receiver Operating Characteristic Curve)。

而我們實際會選擇排序列表作為推薦名單，這時，閥值Threshold的選取就很重要。一些商業(yè)的產(chǎn)品會使用其他參數(shù)來評估。每當(dāng)看到AUC莫名的增長，總是讓人喜悅的，雖然有時會發(fā)現(xiàn)是由于數(shù)據(jù)處理錯誤導(dǎo)致的：

實踐中，我們完全可以用模型預(yù)測過去一段時期的購買持倉，并和實際交易數(shù)據(jù)對比。在類似案例中的測試結(jié)果表明，相對于簡單規(guī)則和隨機(jī)預(yù)測，該模型的準(zhǔn)確率可提供10倍以上。這個結(jié)果也是可以預(yù)期的，在高維數(shù)據(jù)，不斷迭代局部優(yōu)化，可以捕抓一些長尾特征。如下圖，可以捕捉那些少數(shù)群體特征。

http://www.36dsj.com/wp-content/uploads/2016/02/32.png

總結(jié)

本文討論用邏輯回歸模型預(yù)測在金融市場情景下客戶對指定金融產(chǎn)品的購買概率。認(rèn)為可以假設(shè)客戶每日的持倉，是基于當(dāng)時金融市場情景以及金融產(chǎn)品屬性作出決策的獨立事件。從而可以在客戶特征，金融產(chǎn)品特征以及市場特征三個方面關(guān)聯(lián)作為樣本數(shù)據(jù)，并以當(dāng)日購買持倉為標(biāo)記使用邏輯回歸做預(yù)測。另外本文還探討了TB級百萬特征金融數(shù)據(jù)處理的一些方法與經(jīng)驗。

可能的應(yīng)用場景，該模型方法可應(yīng)用于金融產(chǎn)品推薦。

也許有人會疑惑該模型的商業(yè)價值，但難道您就沒看到該模型是在沿著行為金融學(xué)基本問題“基于有限理性的金融資產(chǎn)預(yù)期定價問題” [1]向著“看不見的手”發(fā)起挑戰(zhàn)嗎？
假設(shè)我們可以將人的金融需求特征完成特量化，又將股票特征量化，結(jié)合當(dāng)時市場場景，自動撮合交易。想象下，多么美好，再也沒有泡沫與股災(zāi)。
在Matrix（黑客帝國中的主機(jī)）中一切皆有定數(shù)。

以上言論純屬YY，人的行為當(dāng)然不能完全量化:)

「經(jīng)管之家」APP：經(jīng)管人學(xué)習(xí)、答疑、交友，就上經(jīng)管之家！
免流量費下載資料----在經(jīng)管之家app可以下載論壇上的所有資源，并且不額外收取下載高峰期的論壇幣。
涵蓋所有經(jīng)管領(lǐng)域的優(yōu)秀內(nèi)容----覆蓋經(jīng)濟(jì)、管理、金融投資、計量統(tǒng)計、數(shù)據(jù)分析、國貿(mào)、財會等專業(yè)的學(xué)習(xí)寶庫，各類資料應(yīng)有盡有。
來自五湖四海的經(jīng)管達(dá)人----已經(jīng)有上千萬的經(jīng)管人來到這里，你可以找到任何學(xué)科方向、有共同話題的朋友。
經(jīng)管之家（原人大經(jīng)濟(jì)論壇），跨越高校的圍墻，帶你走進(jìn)經(jīng)管知識的新世界。
掃描下方二維碼下載并注冊APP