白帽子講Web掃描內(nèi)容提要
Web 掃描器是一種可以對Web 應(yīng)用程序進行自動化安全測試的工具,它可以幫助我們快速發(fā)現(xiàn)目標(biāo)存在的安全風(fēng)險,并能夠?qū)ζ溥M行持續(xù)性安全監(jiān)控。
《白帽子講Web掃描》詳細講述了Web 掃描器的概念、原理、實踐及反制等知識,筆者憑借多年的安全工作經(jīng)驗,站在安全和開發(fā)的雙重角度,力求為讀者呈現(xiàn)出一個完整的Web 掃描知識體系。通過對《白帽子講Web掃描》的學(xué)習(xí)和實踐,可以讓你快速建立自己的Web 掃描體系,提高安全基礎(chǔ)能力。[1]
白帽子講Web掃描目錄
第1 章 掃描器基礎(chǔ)1
1.1 什么是Web 掃描器1
1.2 掃描器的重要性2
1.3 掃描器的類型3
1.4 常見的掃描器(掃描器的示例).4
1.5 掃描器評測8
1.6 漏洞測試平臺9
1.7 掃描環(huán)境部署9
1.7.1 測試環(huán)境9
1.7.2 開發(fā)環(huán)境12
第2 章 Web 爬蟲基礎(chǔ).19
2.1 什么是Web 爬蟲19
2.2 瀏覽器手工爬取過程.19
2.3 URL 21
2.4 超級鏈接.22
2.5 HTTP 協(xié)議(Request/Response)23
2.5.1 HTTP 請求23
2.5.2 HTTP 響應(yīng)24
2.6 HTTP 認證.25
2.6.1 Basic 認證(基本式) 26
2.6.2 Digest 認證(摘要式) 27
2.7 HEAD 方法29
2.8 Cookie 機制29
2.9 DNS 本地緩存.31
2.9.1 瀏覽器緩存31
2.9.2 系統(tǒng)緩存32
2.10 頁面解析33
2.11 爬蟲策略34
2.11.1 廣度優(yōu)先策略34
2.11.2 深度優(yōu)先策略34
2.11.3 優(yōu)先策略(聚焦爬蟲策略)35
2.12 頁面跳轉(zhuǎn)35
2.12.1 客戶端跳轉(zhuǎn)36
2.12.2 服務(wù)端跳轉(zhuǎn)37
2.13 識別404 錯誤頁面38
2.14 URL 重復(fù)/URL 相似/URL 包含39
2.14.1 URL 重復(fù)39
2.14.2 URL 相似39
2.14.3 URL 包含39
2.15 區(qū)分URL 的意義40
2.16 URL 去重.40
2.16.1 布隆過濾器(Bloom Filter) 41
2.16.2 哈希表去重41
2.17 頁面相似算法42
2.17.1 距離(Levenshtein Distance) 42
2.17.2 Simhash 43
2.18 斷連重試43
2.19 動態(tài)鏈接與靜態(tài)鏈接43
第3 章 Web 爬蟲進階.44
3.1 Web 爬蟲的工作原理.44
3.2 實現(xiàn)URL 封裝45
3.3 實現(xiàn)HTTP 請求和響應(yīng)47
3.4 實現(xiàn)頁面解析.58
3.4.1 HTML 解析庫.58
3.4.2 URL 提取59
3.4.3 自動填表66
3.5 URL 去重去似.67
3.5.1 URL 去重67
3.5.2 URL 去似去含73
3.6 實現(xiàn)404 頁面識別75
3.7 實現(xiàn)斷連重試.77
3.8 實現(xiàn)Web 爬蟲78
3.9 實現(xiàn)Web 2.0 爬蟲83
第4 章 應(yīng)用指紋識別94
4.1 應(yīng)用指紋種類及識別.94
4.2 應(yīng)用指紋識別的價值.95
4.3 應(yīng)用指紋識別技術(shù)96
第5 章 安全漏洞審計102
5.1 安全漏洞審計三部曲102
5.2 通用型漏洞審計.103
5.2.1 SQL 注入漏洞103
5.2.2 XSS 跨站漏洞111
5.2.3 命令執(zhí)行注入120
5.2.4 文件包含漏洞129
5.2.5 敏感文件泄露136
5.3 Nday/0day 漏洞審計.146
5.3.1 Discuz!7.2 faq.php SQL 注入漏洞147
5.3.2 Dedecms get webshell 漏洞150
5.3.3 Heartbleed 漏洞(CVE-2014-0160).153
5.3.4 PHP multipart/form-data 遠程DDoS(CVE-2015-4024) 157
第6 章 掃描器進階160
6.1 掃描流程160
6.2 軟件設(shè)計163
6.3 功能模塊164
6.4 軟件架構(gòu)165
6.5 數(shù)據(jù)結(jié)構(gòu)166
6.6 功能實現(xiàn)167
6.6.1 IP/端口掃描和檢測(端口模塊) 167
6.6.2 端口破解模塊170
6.6.3 子域名信息枚舉172
6.6.4 文件、目錄暴力枚舉探測(不可視URL 爬取) 175
6.6.5 掃描引擎.176
6.7 掃描報告180
6.8 掃描測試182
第7 章 云掃描.185
7.1 什么是云掃描185
7.2 云掃描架構(gòu).185
7.3 云掃描實踐.187
7.3.1 Celery 框架188
7.3.2 掃描器Worker 部署189
7.3.3 云端調(diào)度.193
7.4 云掃描服務(wù).199
第8 章 企業(yè)安全掃描實踐.202
8.1 企業(yè)為什么需要掃描202
8.2 企業(yè)掃描的應(yīng)用場景202
8.2.1 基于網(wǎng)絡(luò)流量的掃描202
8.2.2 基于訪問日志的掃描208
8.2.3 掃描的應(yīng)用場景比較217
第9 章 關(guān)于防御218
9.1 爬蟲反制218
9.1.1 基于IP 的反爬蟲218
9.1.2 基于爬行的反爬蟲.221
9.2 審計反制223
9.2.1 云WAF223
9.2.2 云WAF 的價值223
9.3 防御策略225
附錄A227
附錄B229[1]