賽道 | 深蘭參賽團(tuán)隊(duì)閃耀KDD2021國際賽事,榮膺專項(xiàng)競賽冠軍
2021-08-14ACM SIGKDD(國際數(shù)據(jù)挖掘與知識發(fā)現(xiàn)大會,簡稱KDD)是數(shù)據(jù)挖掘領(lǐng)域的頂級國際學(xué)術(shù)會議,由美國計(jì)算機(jī)學(xué)會(ACM)數(shù)據(jù)挖掘及知識發(fā)現(xiàn)專委會(SIGKDD)主辦,被中國計(jì)算機(jī)學(xué)會(CCF)推薦為A類國際學(xué)術(shù)會議。自1995年以來,KDD已連續(xù)成功舉辦了26屆,應(yīng)運(yùn)而生的KDD Cup更是數(shù)據(jù)挖掘領(lǐng)域最有影響力的賽事。
8月14日-18日,KDD 2021盛會于新加坡拉開帷幕。深蘭科技DeepBlueAI(DBAI)團(tuán)隊(duì)積極參與今年賽事,并成為賽事焦點(diǎn),成績表現(xiàn)出色,在Multi-dataset Time Series Anomaly Detection競賽中獲得冠軍。值得一提的是,前7名還包括華為諾亞方舟實(shí)驗(yàn)室、阿里達(dá)摩院、海康威視、日立、三菱電機(jī)、日本產(chǎn)業(yè)技術(shù)綜合研究所和柏林洪堡大學(xué)等知名公司和高校的隊(duì)伍。比賽競爭非常激烈,吸引了超過500支隊(duì)伍積極參與,并接收了將近2000次有效結(jié)果提交。
賽事介紹
Multi-dataset Time Series Anomaly Detection
Multi-dataset Time Series Anomaly Detection競賽提供了250條時間序列,并且每條時間序列都包括一個異常點(diǎn)。主辦方希望選手們利用無監(jiān)督或自監(jiān)督的方法找到這些異常點(diǎn)的位置。
時序異常檢測旨在檢測數(shù)據(jù)中的意外或罕見事件項(xiàng)。它常用于許多工業(yè)應(yīng)用,如運(yùn)維、行業(yè)監(jiān)控、產(chǎn)品價格在線監(jiān)控等。
團(tuán)隊(duì)成績
深蘭團(tuán)隊(duì)名列首位
數(shù)據(jù)分析
這些時間序列中異常點(diǎn)的種類繁多,可能是點(diǎn)異常,也可能是群體異常,如下圖。單一方法很難找到所有文件的異常點(diǎn),因此需要一個適用的框架或者好的集成方法。
圖表 1不同異常類型
競賽方案
針對這一競賽,DeepBlueAI團(tuán)隊(duì)自主開發(fā)了一套高泛化性和靈活性的異常檢測框架TsaDetect。具體來說,每個時序會經(jīng)過周期分析,多模型預(yù)測,評估和集成三個模塊。
圖表 2 TsaDetect 時序異常檢測框架
首先,分析輸入時間序列以提取基本信息和周期,這對于需要窗口大小的算法很重要。然后,時間序列信號通過不同的模型進(jìn)行處理。所有模型都會生成時間序列殘差,這些殘差被傳遞到評估和集成模塊中。這些殘差被標(biāo)準(zhǔn)化為可比較并加權(quán)求和以產(chǎn)生最終的殘差。這一步中的權(quán)重由置信度決定,它表示模型在檢測該信號中的異常時的置信度。最后,異常位置由這個最終的殘差決定。
在檢測模型的選擇和開發(fā)上,主要專注于快速和穩(wěn)定。我們最終采用了基于傅里葉變換的方法,matrix profile方法,以及改進(jìn)的基于回歸的方法。每種方法都有自己的適用的異常類型,通過上述的框架整合起來,就得到了一個魯棒性,泛化性更強(qiáng)的檢測器。
總 結(jié)
2019年,深蘭團(tuán)隊(duì)就在KDD Cup 2019 AutoML Track 挑戰(zhàn)賽中取得第一名的佳績,此次深蘭的再次奪冠證明深蘭秉承“技術(shù)先行,深耕基礎(chǔ)研究”的理念,在數(shù)據(jù)挖掘領(lǐng)域占據(jù)領(lǐng)先地位。而其自主研發(fā)的時序異常檢測框架,也為AI運(yùn)維,AI時序監(jiān)控等領(lǐng)域的實(shí)踐和落地開闊了思路。
-
8項(xiàng)冠亞季軍收官ECCV2020,深蘭獲三大視覺頂會挑戰(zhàn)賽大滿貫
計(jì)算機(jī)視覺 -
與騰訊、哈工大同臺競技,深蘭獲自然語言處理領(lǐng)域國際頂會NAACL2021冠軍
計(jì)算機(jī)視覺 -
捷報(bào) | 深蘭科技“雙隊(duì)”出征CVPR2021 斬獲五冠共獲14項(xiàng)大獎
計(jì)算機(jī)視覺 -
2022CVPR傳捷報(bào)丨深蘭科技再度折桂,連續(xù)4屆獲得CVPR挑戰(zhàn)賽冠軍
計(jì)算機(jī)視覺 -
深蘭科技奪冠CCKS2022“帶條件的分層級多答案問答”評測任務(wù)競賽
自然語言處理 -
PK 656 個對手!深蘭科技在全球頂級AI賽事kaggle競賽中再次奪冠
計(jì)算機(jī)視覺 -
一冠三亞二季!深蘭科技在EMNLP2022國際頂級賽事再創(chuàng)佳績
數(shù)據(jù)挖掘 -
6個獎項(xiàng)!深蘭科技在CVPR 2023挑戰(zhàn)賽中再獲佳績
計(jì)算機(jī)視覺 -
6冠3亞2季!深蘭科技在RANLP2023國際賽事上斬獲11項(xiàng)大獎
計(jì)算機(jī)視覺