介紹

w12scan是一款網(wǎng)絡(luò)資產(chǎn)發(fā)現(xiàn)引擎，通過(guò)WEB接口下發(fā)任務(wù)，w12scan會(huì)自動(dòng)將相關(guān)的資產(chǎn)聚合在一起方便分析使用。w12scan也是我的畢業(yè)設(shè)計(jì)。

w12scan分為WEB端（用于展示顯示數(shù)據(jù)）和Client端（用于搜索相關(guān)資產(chǎn)數(shù)據(jù)）。

這里是web端的開(kāi)源程序，client端在https://github.com/boy-hack/w12scan-client

設(shè)計(jì)思想

基于python3 + django + elasticsearch + redis(去重+web與client通信中間件)，使用WEB API添加掃描目標(biāo)，掃描完成后會(huì)在WEB端展示。

特點(diǎn)

WEB端

強(qiáng)大的搜索語(yǔ)法

title=“abc” # 從標(biāo)題中搜索

header=“abc” # 從http頭搜索

body=“123” # 從body搜索

url = “*.baidu.com” # 搜索baidu.com的子域名，*號(hào)是通配符

ip = ‘1.1.1.1’ # 搜索IP，支持CIDR'192.168.1.0/24'和通配符搜索'192.168.1.*'

port = ‘80’ # 搜索端口

app = ’nginx’ # 搜索組件

country = ‘cn’ # 搜索國(guó)家

service = ‘mysql’ # 搜索服務(wù)

bug = 'xx' # 搜索存在的某個(gè)漏洞

通過(guò)搜索語(yǔ)法可搜索cms，服務(wù)名稱，標(biāo)題，國(guó)家地區(qū)等等，能夠迅速找到相關(guān)目標(biāo)。

自定義資產(chǎn)配置

通過(guò)自定義某公司相關(guān)域名或ip資產(chǎn)，w12scan會(huì)自動(dòng)幫你找到對(duì)應(yīng)的資產(chǎn)目標(biāo)，當(dāng)你瀏覽該目標(biāo)時(shí)，有醒目的標(biāo)識(shí)提醒你該目標(biāo)的歸屬。

自動(dòng)關(guān)聯(lián)

進(jìn)入目標(biāo)詳情，若目標(biāo)為ip，則會(huì)自動(dòng)關(guān)聯(lián)該ip上的所有域名和該c段上的所有域名。若目標(biāo)為域名，則自動(dòng)關(guān)聯(lián)旁站，c段和子域名。

多節(jié)點(diǎn)管理

WEB端會(huì)每隔幾分鐘檢測(cè)一次節(jié)點(diǎn)的運(yùn)行狀況，你可以看到節(jié)點(diǎn)掃描的數(shù)量以及節(jié)點(diǎn)掃描日志。

任務(wù)restful

提供添加任務(wù)的接口，你可以在WEB端添加或者在任何軟件中集成該接口。

掃描端(Client)端

及時(shí)的poc驗(yàn)證

通過(guò)對(duì)接airbug接口api，在線調(diào)用最新的poc驗(yàn)證腳本，airbug保證了漏洞更新的及時(shí)性，你也可以fork airbug項(xiàng)目后自行添加poc規(guī)則。

驗(yàn)證性攻擊

掃描端內(nèi)置有常見(jiàn)的漏洞驗(yàn)證服務(wù)，每掃描一次網(wǎng)址，都會(huì)運(yùn)行這些服務(wù)，結(jié)果最終會(huì)反饋到w12scan的WEB端展現(xiàn)。

掃描與識(shí)別

端口掃描使用masscan，端口識(shí)別使用nmap，web應(yīng)用識(shí)別調(diào)用wappalyzer和精簡(jiǎn)版的w11scan（指紋識(shí)別）

容易的分布式

在程序架構(gòu)設(shè)計(jì)就考慮到了這一點(diǎn)，掃描端只接受任務(wù)，最后的結(jié)果只和WEB端進(jìn)行交互，所以在分布式上十分容易，直接在另一臺(tái)機(jī)器上運(yùn)行掃描端即可。能基于docker進(jìn)行分布式，也能很方便集成celery服務(wù)。

安裝

基于docker一鍵部署

git clone https://github.com/boy-hack/w12scan
cd w12scan
docker-compose up -d

等待一段時(shí)間后訪問(wèn)http://127.0.0.1:8000默認(rèn)用戶名密碼boyhack:boyhack

w12scan相關(guān)問(wèn)題

根據(jù)服務(wù)器配置修改docker-compose.yml參數(shù)，設(shè)置elasticsearch內(nèi)存占用大小，默認(rèn)設(shè)置是521M，如果你是1G內(nèi)存可以設(shè)置為128M。
具體=>在W12Scan跟目下，docker-compose.yml找到ES_JAVA_OPTS=-Xms512m -Xmx512m修改為ES_JAVA_OPTS=-Xms128m -Xmx128m,但是代價(jià)是在搜索和分析時(shí)可能會(huì)報(bào)內(nèi)存不足的錯(cuò)誤。所以內(nèi)存還是越高越好。

在Windows上安裝，需要注意.sh文件格式問(wèn)題。

Q:如何分布式部署？A:部署方案

https://github.com/w-digital-scanner/w12scan/blob/master/doc/DEPLOYMENT1.md

Q:啟動(dòng)后搜索數(shù)為0？A:需要添加掃描目標(biāo)

不要邊掃描邊搜索，elastisearch在插入數(shù)據(jù)時(shí)會(huì)作分析，分詞等等操作（此時(shí)效率不高），如果在此時(shí)搜索可能會(huì)返回503，建議掃描完畢后在進(jìn)行搜索。(后期會(huì)使用數(shù)據(jù)遷移解決)