賽道 | 深蘭包攬SIGIR eCOM'21雙賽道冠軍 自研自動特征工程框架神助攻
日前,信息檢索領域的國際重要會議SIGIR 2021正在線上舉行,深蘭科技DeepBlueAI團隊參加了SIGIR eCom'21 競賽,與來自NVIDIA、eBay、華東師范大學、樂天等知名企業和學校的團隊同臺競技,并在競賽僅設的兩個賽道中均獲得冠軍。
這是DeepBlueAI團隊繼2019年獲得該系列比賽冠軍以來的第二次奪冠,證明了深蘭在電商推薦系統領域的技術有著領先的地位。此外,更值得注意的是在第二個賽道,深蘭自研的自動特征工程框架助力隊伍獲得了冠軍,證明了其自動化機器學習的強大能力。
SIGIR eCom'21 競賽由Coveo承辦,是在2021 SIGIR Workshop on eCommerce上組織的一場電商商品推薦的比賽。該比賽從2017年開始,每年舉辦一次,今年已是第5屆。
冠軍方案解讀
賽題介紹
SIGIR eCom'21 競賽分為兩個賽題:
第一、商品推薦任務。賽題把一個會話分成前后兩部分,給出前面一部分的數據,要求預測出后面會交互的商品,是一個大數據量的推薦問題。
第二、購買意圖預測任務。賽題給出一個有添加購物車行為的會話的前面一部分,要求預測最后用戶是不是真的會買這個商品,是一個二分類問題。
團隊成績
比賽競爭非常激烈,最終DeepBlueAI團隊擊敗了NVIDIA團隊,在兩個任務都取得了冠軍。
數據分析
兩個任務使用的是同一批數據,訓練集測試集合起來一共有600多萬,其中有100萬會話數據和6萬多個商品。經過分析,這兩個任務分別有以下難點。
對于商品推薦任務:
首先數據量很大,需要對代碼質量要求很高;
第二有30%的測試集會話,給的初始信息很少,怎么有效優化冷啟動的會話,提升得分?
第三原始數據給出的字段極為豐富,怎么有效利用這些信息?
對于預測購買意圖任務,主要是這個任務的評分指標很復雜:
首先,它定義了一個k,k表示第一次添加購物車之后會話還有幾條記錄。評分指標要求對k越小的樣本預測正確獎勵越高,針對這一點,怎么設計模型或者策略能夠適應這個機制?
第二,每個k是一個分類,最終得分是每個類樣本的平均準確率之和。因為使用了準確率(accuracy),加上正負樣本不平衡,導致對模型的精度要求非常高。
競賽方案
對于商品推薦任務,團隊整體采用召回+排序的框架。
排序方面,團隊嘗試了很多方法,但是提升的效果有限。召回在這個任務里更為重要,在嘗試了很多種方法后,團隊最終使用了兩個效果較好的召回。
1. u2i_interact_i2i_itemcf:
先通過協同過濾的方法算出item與item之間的相似度,然后根據user歷史交互的item,推薦與它最相似的item。
2. u2url_url2i:
先統計訪問當前url之后,下次訪問每個item的概率;然后根據用戶最后一個url推薦那些概率大的item。
對于預測購買意圖任務:
首先是特征工程,團隊采用了手動特征與自動特征工程相結合的方式。手動特征方面,主要是提取一些比較明顯有效的特征,如用戶是否查看了添加購物車商品的細節、查看了多久、用戶一共交互了多少商品等比較直觀的特征,效果上評分指標提升0.008;自動特征工程則是利用深蘭自研autosmart框架提取的特征,這一部分特征效果提升0.002。
然后是后處理方面,針對評分指標的特性,基于k值不同對每個分類單獨進行閾值調整,達到本地最好效果。
-
8項冠亞季軍收官ECCV2020,深蘭獲三大視覺頂會挑戰賽大滿貫
計算機視覺 -
與騰訊、哈工大同臺競技,深蘭獲自然語言處理領域國際頂會NAACL2021冠軍
計算機視覺 -
捷報 | 深蘭科技“雙隊”出征CVPR2021 斬獲五冠共獲14項大獎
計算機視覺 -
2022CVPR傳捷報丨深蘭科技再度折桂,連續4屆獲得CVPR挑戰賽冠軍
計算機視覺 -
深蘭科技奪冠CCKS2022“帶條件的分層級多答案問答”評測任務競賽
自然語言處理 -
PK 656 個對手!深蘭科技在全球頂級AI賽事kaggle競賽中再次奪冠
計算機視覺 -
一冠三亞二季!深蘭科技在EMNLP2022國際頂級賽事再創佳績
數據挖掘 -
6個獎項!深蘭科技在CVPR 2023挑戰賽中再獲佳績
計算機視覺 -
6冠3亞2季!深蘭科技在RANLP2023國際賽事上斬獲11項大獎
計算機視覺