女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)項(xiàng)目特征工程實(shí)戰(zhàn)

lviY_AI_shequ ? 來源:未知 ? 作者:胡薇 ? 2018-08-09 10:09 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

找特征這件事,Andrew Ng在深度學(xué)習(xí)網(wǎng)課中提到過,原課件見第3課結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目中的2.9和2.10兩節(jié),筆記整理如下:

Andrew以Speech Recognition的場景為例,比較了pipeline和end-to-end兩種建模方式中特征工程的差異。

其中pipeline的搭建依賴于人工設(shè)計(jì)的特征,需要依賴于人類可以理解的音節(jié),將一段音頻轉(zhuǎn)化為文字;而end-to-end模型基于大量的音頻素材,自動找出語音和文字間的關(guān)系,不依賴于音節(jié)而自動翻譯成文字。

總而言之,除去語音和圖像等特定場景,對于大部分生活中的機(jī)器學(xué)習(xí)項(xiàng)目,由于沒有足夠的訓(xùn)練數(shù)據(jù)支撐,我們還無法完全信任算法自動生成的特征,因而基于人工經(jīng)驗(yàn)的特征工程依然是目前的主流。

人工經(jīng)驗(yàn)這件事比較虛,加之許多業(yè)界的項(xiàng)目由于隱私性的考慮,很少會透露底層的入模特征和計(jì)算邏輯,使得目前網(wǎng)絡(luò)上關(guān)于特征工程細(xì)節(jié)的文章少之又少。答主在這里結(jié)合自己這幾年在金融領(lǐng)域的建模經(jīng)驗(yàn),介紹一些常見的數(shù)據(jù)源類型和特征計(jì)算方法,希望可以幫助剛?cè)胄谢蛘呦肴胄械膹臉I(yè)者們開開腦洞。

(1)支付流水:通常包括支付賬戶、時(shí)間、金額、地點(diǎn)、目的、狀態(tài)等字段,可以反映出客戶的經(jīng)濟(jì)實(shí)力和消費(fèi)習(xí)慣。其中特別的,賬戶間的復(fù)雜交易關(guān)系和異常金額時(shí)間地點(diǎn)的支付行為,都可以在反欺詐場景中應(yīng)用,視為團(tuán)伙作案或者反洗錢的重要指標(biāo)。

(2)財(cái)富管理:基金理財(cái)類產(chǎn)品的申購歷史記錄,體現(xiàn)出客戶的資金儲備和購買偏好。對于風(fēng)險(xiǎn)偏好較低的客戶,我們可以推薦小金庫這類收益穩(wěn)定、波動較小的債券類產(chǎn)品;對于追求高收益的客戶,我們可以推薦在京東金融app上代銷的各類基金,以及智能投顧產(chǎn)品。

(3)貸款信息:伴隨著近幾年國內(nèi)現(xiàn)金貸以及場景貸市場的迅速發(fā)展,國家也在大力推動各家資方信貸數(shù)據(jù)的治理與共享。基于一個客戶在各個平臺上的貸款申請、提現(xiàn)、還款信息,可以刻畫出這個客戶的還款意愿和征信表現(xiàn),從而為其下一次的信貸申請決策提供建議。常見的,多個平臺申請和在貸以及當(dāng)前有貸款發(fā)生90天以上逾期的用戶,都會被其他平臺列入自動拒絕的名單。

(4)App登錄:從SDK埋點(diǎn)獲取的各類app登錄數(shù)據(jù)中,我們可以分析出用戶在每個app上的停留時(shí)間,從而側(cè)面了解這個用戶的興趣愛好,甚至預(yù)測用戶的年齡和性別。例如京東、阿里等電商app登錄較頻繁的用戶,通常以女性居多,并且消費(fèi)能力較強(qiáng);而抖音、快手等小視頻app停留時(shí)間較長的,一般為年輕人群體。

(5)電商流水:從電商公司豐富的訂單流水?dāng)?shù)據(jù)中,可以挖掘出較為完整的客戶畫像??蛻鬉lice近一年內(nèi)購買頻繁,但是平均單筆訂單金額較低,通常集中在生活用品以及水果生鮮,可以推斷出Alice應(yīng)該是一位家庭婦女;而客戶Ben消費(fèi)總金額較高,購買過車飾類產(chǎn)品,收貨地址集中在辦公場所,則大概率Ben是有車一族的白領(lǐng)青年。

(6)收貨地址:在信貸風(fēng)控場景中,通常近一年內(nèi)地址數(shù)量較少、地址穩(wěn)定性高的用戶,貸款逾期風(fēng)險(xiǎn)更低;而對于地址變動頻繁或者涉黑的用戶,建議貸前申請直接拒絕,或者把這些收貨地址運(yùn)用到貸后催收之中。

(7)運(yùn)營商信息:數(shù)據(jù)市場上比較常見的第三方數(shù)據(jù)源,可以用作各個場景下的身份證、姓名、手機(jī)號的三要素核驗(yàn),以及利用在網(wǎng)時(shí)長和在網(wǎng)狀態(tài)判斷一個用戶是否有欺詐風(fēng)險(xiǎn)。

除去上面整理的簡單底層特征,在實(shí)際工作中數(shù)據(jù)分析師和算法工程師們還需要針對不同的業(yè)務(wù)場景,利用規(guī)則和模型構(gòu)造一些復(fù)雜特征。

舉兩個實(shí)際的例子:

第一個例子,為了計(jì)算用戶的年收入,可以利用近一年內(nèi)支付總金額+理財(cái)總余額-信貸總負(fù)債的大公式,通過線性回歸擬合出三個指標(biāo)的系數(shù),來得到每個用戶預(yù)測的收入水平;

第二個例子,給自己在做的模型打個小廣告,京東金融金融科技業(yè)務(wù)部基于京東集團(tuán)商城、金融和物流三大自有數(shù)據(jù)源以及海量外部數(shù)據(jù)源,利用XGBoost、LightGBM、CatBoost等復(fù)雜集成樹類算法,計(jì)算得到玉衡分特征,用來衡量京東客戶在現(xiàn)金貸場景的信用等級,幫助服務(wù)的銀行和小貸公司搭建信貸智能決策系統(tǒng)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:在機(jī)器學(xué)習(xí)的項(xiàng)目中,特征是如何被找出來的

文章出處:【微信號:AI_shequ,微信公眾號:人工智能愛好者社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    【書籍評測活動NO.61】Yocto項(xiàng)目實(shí)戰(zhàn)教程:高效定制嵌入式Linux系統(tǒng)

    Yocto 項(xiàng)目,快速掌握 Yocto 項(xiàng)目的基礎(chǔ)知識與實(shí)戰(zhàn)技巧。 本書作者 本書作者孫杰是資深嵌入式軟件工程師 。長期深耕 Yocto 項(xiàng)目
    發(fā)表于 05-21 10:00

    《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》----- 學(xué)習(xí)如何開發(fā)視頻應(yīng)用

    再次感謝發(fā)燒友提供的閱讀體驗(yàn)活動。本期跟隨《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》這本書學(xué)習(xí)如何構(gòu)建開發(fā)一個視頻應(yīng)用。AI Agent是一種智能應(yīng)用,能夠根據(jù)用戶需求和環(huán)境變化做出相應(yīng)響應(yīng)。通常基于深度
    發(fā)表于 03-05 19:52

    《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》第1-2章閱讀心得——理解Agent框架與Coze平臺的應(yīng)用

    也好好抓住這次AI agent的廣闊應(yīng)用前景,努力學(xué)習(xí),厚積薄發(fā)。 作為一名數(shù)據(jù)挖掘工程師,在研讀《AI Agent 應(yīng)用與項(xiàng)目
    發(fā)表于 02-19 16:35

    傳統(tǒng)機(jī)器學(xué)習(xí)方法和應(yīng)用指導(dǎo)

    在上一篇文章中,我們介紹了機(jī)器學(xué)習(xí)的關(guān)鍵概念術(shù)語。在本文中,我們會介紹傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識和多種算法特征,供各位老師選擇。 01 傳統(tǒng)
    的頭像 發(fā)表于 12-30 09:16 ?1184次閱讀
    傳統(tǒng)<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>方法和應(yīng)用指導(dǎo)

    cmp在機(jī)器學(xué)習(xí)中的作用 如何使用cmp進(jìn)行數(shù)據(jù)對比

    機(jī)器學(xué)習(xí)領(lǐng)域,"cmp"這個術(shù)語可能并不是一個常見的術(shù)語,它可能是指"比較"(comparison)的縮寫。 比較在機(jī)器學(xué)習(xí)中的作用 模型評估 :比較不同模型的性能是
    的頭像 發(fā)表于 12-17 09:35 ?875次閱讀

    NPU與機(jī)器學(xué)習(xí)算法的關(guān)系

    緊密。 NPU的起源與特點(diǎn) NPU的概念最早由谷歌在其TPU(Tensor Processing Unit)項(xiàng)目中提出,旨在為TensorFlow框架提供專用的硬件加速。NPU的設(shè)計(jì)目標(biāo)是提高機(jī)器學(xué)習(xí)算法的運(yùn)行效率,特別是在處理
    的頭像 發(fā)表于 11-15 09:19 ?1212次閱讀

    eda在機(jī)器學(xué)習(xí)中的應(yīng)用

    機(jī)器學(xué)習(xí)項(xiàng)目中,數(shù)據(jù)預(yù)處理和理解是成功構(gòu)建模型的關(guān)鍵。探索性數(shù)據(jù)分析(EDA)是這一過程中不可或缺的一部分。 1.
    的頭像 發(fā)表于 11-13 10:42 ?891次閱讀

    數(shù)據(jù)準(zhǔn)備指南:10種基礎(chǔ)特征工程方法的實(shí)戰(zhàn)教程

    數(shù)據(jù)分析和機(jī)器學(xué)習(xí)領(lǐng)域,從原始數(shù)據(jù)中提取有價(jià)值的信息是一個關(guān)鍵步驟。這個過程不僅有助于輔助決策,還能預(yù)測未來趨勢。為了實(shí)現(xiàn)這一目標(biāo),特征
    的頭像 發(fā)表于 11-01 08:09 ?615次閱讀
    <b class='flag-5'>數(shù)據(jù)</b>準(zhǔn)備指南:10種基礎(chǔ)<b class='flag-5'>特征</b><b class='flag-5'>工程</b>方法的<b class='flag-5'>實(shí)戰(zhàn)</b>教程

    特征工程實(shí)施步驟

    數(shù)據(jù)中提取數(shù)值表示以供無監(jiān)督模型使用的方法(例如,試圖從之前非結(jié)構(gòu)化的數(shù)據(jù)集中提取結(jié)構(gòu))。特征工程包括這兩種情況,以及更多內(nèi)容。數(shù)據(jù)從業(yè)者通
    的頭像 發(fā)表于 10-23 08:07 ?904次閱讀
    <b class='flag-5'>特征</b><b class='flag-5'>工程</b>實(shí)施步驟

    【全新課程資料】正點(diǎn)原子《基于GD32 ARM32單片機(jī)項(xiàng)目實(shí)戰(zhàn)入門》培訓(xùn)課程資料上線!

    ,掌握ARM32單片機(jī)項(xiàng)目的開發(fā)流程; 三、課程特色 1、基礎(chǔ)入門,循序漸進(jìn) 從開發(fā)環(huán)境搭建和工程創(chuàng)建開始,逐步深入學(xué)習(xí)每一個外設(shè)的原理及應(yīng)用。通過實(shí)戰(zhàn)
    發(fā)表于 09-24 18:06

    【全新課程資料】正點(diǎn)原子《ESP32基礎(chǔ)及項(xiàng)目實(shí)戰(zhàn)入門》培訓(xùn)課程資料上線!

    您逐步實(shí)現(xiàn)功能,提高編程能力 四、適合群體 本課程會從基礎(chǔ)入門過渡到項(xiàng)目實(shí)戰(zhàn),層層遞進(jìn),因此非常適合以下人群學(xué)習(xí): (1)在校學(xué)生 (2)剛?cè)肼殘龅男聲x工程師 (3)想轉(zhuǎn)崗ESP32
    發(fā)表于 09-24 17:59

    【全新課程資料】正點(diǎn)原子《ESP32物聯(lián)網(wǎng)項(xiàng)目實(shí)戰(zhàn)》培訓(xùn)課程資料上線!

    正點(diǎn)原子《ESP32物聯(lián)網(wǎng)項(xiàng)目實(shí)戰(zhàn)》全新培訓(xùn)課程上線啦!正點(diǎn)原子工程師手把手教你學(xué)!通過多個項(xiàng)目實(shí)戰(zhàn),掌握ESP32物聯(lián)網(wǎng)
    發(fā)表于 09-24 17:05

    【「時(shí)間序列與機(jī)器學(xué)習(xí)」閱讀體驗(yàn)】時(shí)間序列的信息提取

    個重要環(huán)節(jié),目標(biāo)是從給定的時(shí)間序列數(shù)據(jù)中提取出有用的信息和特征,以支持后續(xù)的分析和預(yù)測任務(wù)。 特征工程(Feature Engineering)是將
    發(fā)表于 08-17 21:12

    【《時(shí)間序列與機(jī)器學(xué)習(xí)》閱讀體驗(yàn)】+ 時(shí)間序列的信息提取

    提高機(jī)器學(xué)習(xí)模型效果與性能的過程。 而我對特征工程的理解就是從一堆數(shù)據(jù)里找出能表示這堆數(shù)據(jù)的最小
    發(fā)表于 08-14 18:00

    【「時(shí)間序列與機(jī)器學(xué)習(xí)」閱讀體驗(yàn)】全書概覽與時(shí)間序列概述

    數(shù)據(jù)中提取特征并將其轉(zhuǎn)化為交易策略,以及機(jī)器學(xué)習(xí)在其他金融領(lǐng)域(包括資產(chǎn)定價(jià)、資產(chǎn)配置、波動率預(yù)測)的應(yīng)用。 全書彩版印刷,內(nèi)容結(jié)構(gòu)嚴(yán)整,條理清晰,循序漸進(jìn),由淺入深,是很好的時(shí)間序列
    發(fā)表于 08-07 23:03