針對互聯(lián)網(wǎng)亂象紛飛的欺詐行為，芯盾時(shí)代一直秉持著零容忍的態(tài)度，在虛假交易、薅羊毛、信息泄露、信用欺詐、洗錢等場景的檢測防控技術(shù)手段一直在不斷演進(jìn)。經(jīng)過多年在證券、銀行、第三方支付、政府、互聯(lián)網(wǎng)金融等領(lǐng)域大數(shù)據(jù)機(jī)器學(xué)習(xí)項(xiàng)目的沉淀和積累，芯盾時(shí)代形成了一套完整有效的反欺詐解決方案，其中持續(xù)自適應(yīng)機(jī)器學(xué)習(xí)引擎迭代機(jī)制是其擁有不斷進(jìn)化能力的關(guān)鍵。

在實(shí)時(shí)檢測場景中，芯盾時(shí)代機(jī)器學(xué)習(xí)引擎應(yīng)用了大數(shù)據(jù)實(shí)時(shí)流-批混合特征計(jì)算、畫像數(shù)據(jù)分析探索、分布式圖挖掘技術(shù)、多模型在線實(shí)時(shí)預(yù)測服務(wù)等技術(shù)手段來鑒別欺詐行為。

圖1 機(jī)器學(xué)習(xí)引擎運(yùn)轉(zhuǎn)機(jī)制

芯盾時(shí)代機(jī)器學(xué)習(xí)引擎運(yùn)轉(zhuǎn)體制可以從實(shí)時(shí)流-批混合機(jī)器學(xué)習(xí)、案件庫管理、模型輸出可視化三個(gè)維度進(jìn)行說明。

實(shí)時(shí)流-批混合一站式機(jī)器學(xué)習(xí)引擎

反欺詐領(lǐng)域面對的欺詐模式可分為未知欺詐和已知欺詐。未知欺詐通過流式處理的異常檢測算法、實(shí)時(shí)圖譜技術(shù)進(jìn)行小樣本發(fā)掘，經(jīng)過差集檢測處理后，為批處理模式機(jī)器學(xué)習(xí)模型提供樣本標(biāo)簽。批處理模式機(jī)器學(xué)習(xí)則可以通過算法復(fù)雜度高的模型系統(tǒng)不斷挖掘新的欺詐模式，應(yīng)對黑色產(chǎn)業(yè)鏈的發(fā)展。

而機(jī)器學(xué)習(xí)引擎構(gòu)建也面臨兩個(gè)方面難題：

1）大數(shù)據(jù)量并行計(jì)算，支撐模型并行和數(shù)據(jù)并行計(jì)算；

2）離線特征和流式特征分離式開發(fā)，造成重復(fù)開發(fā)、維護(hù)困難。

圖2 實(shí)時(shí)流-批混合一站式機(jī)器學(xué)習(xí)引擎

芯盾時(shí)代實(shí)時(shí)流-批混合一站式機(jī)器學(xué)習(xí)引擎采用分層架構(gòu)模式，具體包括模型實(shí)時(shí)服務(wù)組件、消息中間件、實(shí)時(shí)計(jì)算組件、數(shù)據(jù)緩存組件、離線計(jì)算組件、圖計(jì)算組件等。整體架構(gòu)具備敏捷開發(fā)性、易部署性、可測試性、高伸縮性、易開發(fā)性等優(yōu)點(diǎn)。

數(shù)據(jù)實(shí)時(shí)計(jì)算組件實(shí)時(shí)消費(fèi)來自消息中間件報(bào)文數(shù)據(jù)并實(shí)時(shí)計(jì)算，加工完成的特征指標(biāo)采用冗余存儲(chǔ)方式，即數(shù)據(jù)緩存和離線拍照，數(shù)據(jù)緩存為模型在線實(shí)時(shí)服務(wù)提供特征來源。離線拍照數(shù)據(jù)為離線計(jì)算框架數(shù)據(jù)同步模塊從消息中間件提取數(shù)據(jù)，并按預(yù)定拍照方案沉淀數(shù)據(jù)，為離線機(jī)器學(xué)習(xí)模型、圖計(jì)算、OLAP等提供數(shù)據(jù)支撐。此種方式統(tǒng)一了離線和在線模型特征口徑，節(jié)省特征開發(fā)人力資源，方便后續(xù)特征版本升級更新。

模型輸出可視

IPA模型管理平臺為模型輸出可視化提供支撐，支持鉆取、切塊、旋轉(zhuǎn)等OLAP分析功能；

案件庫管理

通過流式異常檢測算法篩選出的疑似高欺詐風(fēng)險(xiǎn)記錄作為進(jìn)件沉淀到案件庫管理平臺，評審員參考IPA模型管理之用戶畫像體系、欺詐關(guān)聯(lián)圖譜可視化平臺對疑似案件作出專家判斷，判斷結(jié)果作為新進(jìn)案件沉淀到案件庫，為離線機(jī)器學(xué)習(xí)模型訓(xùn)練提供素材。

在大數(shù)據(jù)和人工智能快速發(fā)展的時(shí)代背景下，具備智慧的反欺詐系統(tǒng)才能在與欺詐產(chǎn)業(yè)鏈的持續(xù)對抗中立于不敗之地。芯盾時(shí)代本著“知人善認(rèn)，獨(dú)具匠芯” 的發(fā)展理念，臻于至善，讓欺詐無所遁形。