Apache Web 服務(wù)器在企業(yè)中廣泛用于托管其網(wǎng)站和 Web 應(yīng)用程序,Apache 服務(wù)器生成的原始日志提供有關(guān) Apache 服務(wù)器托管的網(wǎng)站如何處理用戶請(qǐng)求以及訪問您的網(wǎng)站時(shí)經(jīng)常遇到的錯(cuò)誤的重要信息。
什么是 Apache 日志
Apache 日志包含 Apache Web 服務(wù)器處理的所有事件的記錄 - 從各種計(jì)算機(jī)發(fā)送的 Web 請(qǐng)求、已處理的請(qǐng)求、從 Apache 服務(wù)器發(fā)送到主機(jī)的響應(yīng)以及被阻止的惡意請(qǐng)求。
Apache Web 服務(wù)器生成兩種類型的日志:
Apache 訪問日志
Apache 錯(cuò)誤日志
Apache 訪問日志
Apache 訪問日志是Apache HTTP 服務(wù)器,通常稱為 Apache。它們是由Web服務(wù)器創(chuàng)建和維護(hù)的一種日志文件,用于記錄向服務(wù)器發(fā)出的每個(gè)HTTP請(qǐng)求的時(shí)間順序和詳細(xì)歷史記錄。這些日志提供每個(gè)服務(wù)器活動(dòng)的記錄,包括有關(guān)誰在訪問服務(wù)器、他們請(qǐng)求什么以及服務(wù)器如何響應(yīng)這些請(qǐng)求的信息。
例:
127.0.0.1 - Jina [22/Feb/2017:10:34:12 -0700] "GET /sale-image.png HTTP/2" 200 1479
簡(jiǎn)單來說,Apache 訪問日志是結(jié)構(gòu)化日志捕獲有關(guān)與 Web 服務(wù)器的每次交互的基本信息的記錄。它們充當(dāng)所有傳入請(qǐng)求及其結(jié)果的歷史帳戶。這些日志對(duì)于監(jiān)視、分析和排除 Web 服務(wù)器操作的各個(gè)方面的問題至關(guān)重要。
Apache 訪問日志中通常記錄哪些類型的信息
理解和解釋 Apache 訪問日志對(duì)于有效管理 Web 服務(wù)器并對(duì)其進(jìn)行故障排除至關(guān)重要。首先,讓我們看一下訪問日志和 HTTP 響應(yīng)代碼中的典型信息。
訪問日志捕獲各種信息,這些信息提供有關(guān)每個(gè) HTTP 請(qǐng)求的詳細(xì)信息,如下所示:
客戶端 IP 地址字段記錄發(fā)出請(qǐng)求的客戶端的 IP 地址。它有助于識(shí)別請(qǐng)求的來源或來源。
時(shí)間戳指示發(fā)出請(qǐng)求的日期和時(shí)間。這有助于跟蹤特定操作的發(fā)生時(shí)間,從而更輕松地關(guān)聯(lián)事件。
請(qǐng)求 URL表示客戶端請(qǐng)求的 URL。它指示正在訪問的特定資源或內(nèi)容。
HTTP 方法表示發(fā)出請(qǐng)求的具體方法或類型,例如 GET、POST、PUT、DELETE 等。
HTTP 響應(yīng)代碼或者狀態(tài)代碼是服務(wù)器返回的 HTTP 請(qǐng)求的結(jié)果,指示請(qǐng)求是成功、重定向還是遇到錯(cuò)誤。以下是常見代碼:
200:表示請(qǐng)求成功,通常返回請(qǐng)求的內(nèi)容。
301/302:表示重定向,這意味著客戶端應(yīng)遵循提供的新 URL。
404:表示未找到請(qǐng)求的資源。
403:表示被禁止的請(qǐng)求(即客戶端無權(quán)訪問資源)。
401:指示請(qǐng)求需要身份驗(yàn)證(即客戶端必須提供有效的憑據(jù)才能訪問資源)。
傳輸?shù)淖止?jié)數(shù)是響應(yīng)請(qǐng)求而從服務(wù)器傳輸?shù)娇蛻舳说臄?shù)據(jù)量。這表示響應(yīng)的大小。
用戶代理string 提供有關(guān)客戶端瀏覽器或用戶代理的信息,包括瀏覽器類型和版本。這對(duì)于跟蹤網(wǎng)站訪問者使用的技術(shù)很有用。
引薦顯示將客戶端引用到當(dāng)前頁面的網(wǎng)頁或資源的 URL。它有助于了解流量的來源。
這些數(shù)據(jù)點(diǎn)提供了每個(gè) HTTP 請(qǐng)求的全面視圖,幫助管理員和開發(fā)人員診斷問題,了解其 Web 服務(wù)器的使用情況,并就站點(diǎn)性能和安全性做出明智的決策。
Apache 錯(cuò)誤日志
Apache 錯(cuò)誤日志包含有關(guān) Web 服務(wù)器在處理請(qǐng)求時(shí)遇到的錯(cuò)誤的信息。它記錄了所有錯(cuò)誤或信息,從“文件不存在”等次要錯(cuò)誤或信息到“拒絕訪問”等主要錯(cuò)誤或信息,以達(dá)到對(duì)網(wǎng)絡(luò)的潛在威脅。錯(cuò)誤日志使用 LogLevel 指令(如 level、emerg、alert、crit、error、warn、notice、info、debug)表示錯(cuò)誤級(jí)別。
例:
Tue Feb 18 08:19:20.613789 2020] [php7:error] [pid 2045] [client 10.10.244.61:24145]script '/var/www/html/settings.php' not found or unable to stat
在哪里可以找到 Apache 訪問和錯(cuò)誤日志
Apache 訪問和錯(cuò)誤日志位于安裝了 Apache 的 Web 服務(wù)器上。訪問日志的具體路徑可能因操作系統(tǒng)和 Apache 配置而異。下面列出了一些可以找到 Apache 訪問日志的常見位置:
操作系統(tǒng) | 訪問日志的位置 | 錯(cuò)誤日志的位置 |
Debian/Ubuntu/Linux Mint | /var/log/apache2/access.log | /var/log/apache2/error.log |
Red Hat/ Fedora/ CentOS | /var/log/httpd/access_log | /var/log/httpd/error_log |
OpenSuse | /var/log/apache2/access_log | /var/log/apache2/error_log |
Windows | C:Program FilesApache GroupApache2logsaccess.log | C:Program FilesApache GroupApache2logsaccess.log.1 |
如果無法在這些位置找到 Apache 日志,可能是因?yàn)橐咽褂?CustomLog 和 ErrorLog 指令為訪問日志和錯(cuò)誤日志配置了不同的位置。此外,如果您在 Apache 配置中自定義了日志位置,則需要檢查該特定位置。
Apache訪問日志常用的格式有哪些,如何理解
Apache 訪問日志有多種格式,最常見的包括通用日志格式和組合日志格式。這些格式?jīng)Q定了日志條目的結(jié)構(gòu),這些條目記錄了有關(guān)每個(gè) HTTP 請(qǐng)求的信息。
讓我們通過相關(guān)示例看一下每種日志格式:
1、通用日志格式是一種廣泛使用的格式,它以空格分隔的格式提供有關(guān)每個(gè)請(qǐng)求的一組基本信息。它包括客戶端的 IP 地址、請(qǐng)求的日期和時(shí)間、請(qǐng)求方法、請(qǐng)求的 URL、HTTP 版本、HTTP 響應(yīng)代碼以及響應(yīng)中發(fā)送的字節(jié)數(shù)等詳細(xì)信息。
下面是 Apache 訪問日志的示例,用于了解如何以通用日志格式記錄公共字段:
192.168.1.100 - - [11/Oct/202330:45 +0000] "GET /index.html HTTP/1.1" 200 1234
客戶端 IP 地址:192.168.1.100
時(shí)間戳:2023 年 10 月 11 日:15:30:45 +0000
請(qǐng)求 URL:/index.html
HTTP 方法:GET
HTTP 響應(yīng)代碼:200
傳輸?shù)淖止?jié)數(shù):1234
2、組合日志格式通過添加更多字段來擴(kuò)展通用日志格式,以提供更全面的信息集。除了通用日志格式的字段外,它還包括 referrer 和 user-agent。這種格式對(duì)于網(wǎng)絡(luò)分析和了解用戶行為特別有用。
下面是 Apache 訪問日志的示例,用于了解如何以組合日志格式記錄公共字段:
203.0.113.25 - - [11/Oct/2023:16:45:22 +0000] "POST /login HTTP/1.1" 401 567 "http://example.com" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
客戶端 IP 地址:203.0.113.25
時(shí)間戳:2023 年 10 月 11 日:16:45:22 +0000
請(qǐng)求 URL:/login
HTTP 方法:POST
HTTP 響應(yīng)代碼:401
傳輸?shù)淖止?jié)數(shù):567
來源頁面:“http://example.com”
User-Agent:“Mozilla/5.0 (Windows NT 10.0;Win64的;x64) AppleWebKit/537.36(KHTML,類似 Gecko)Chrome/58.0.3029.110 Safari/537.36”
除了上述格式外,Apache還允許管理員定義自定義日志格式,以記錄適合其需求的特定信息。自定義日志格式可靈活地捕獲與特定應(yīng)用程序或分析要求相關(guān)的數(shù)據(jù)。管理員可以定義要包含的字段和日志條目的格式。
了解這些格式對(duì)于日志分析至關(guān)重要,因?yàn)樗鼈儧Q定了記錄信息的結(jié)構(gòu)和內(nèi)容。選擇適當(dāng)?shù)娜罩靖袷饺Q于服務(wù)器的具體要求以及要執(zhí)行的分析或監(jiān)視類型。
理解 Apache 日志
處理和理解 Apache 日志可能會(huì)很忙。“l(fā)ogs/access.log”中的 CustomLog 指令和“l(fā)og/error.log”中的 ErrorLog 指令使您能夠指定在 Web 服務(wù)器級(jí)別和單個(gè)主機(jī)級(jí)別生成的訪問和錯(cuò)誤日志的格式。
請(qǐng)考慮以下日志示例:
Mon Dec 18 08:19:20.613789 2018] [php7:error] [pid 2095] [client 10.10.244.61:24145]script '/var/www/html/settings.php' not found or unable to stat
在此日志中,您至少需要監(jiān)視這五個(gè)重要字段,以發(fā)現(xiàn)異常并檢測(cè)惡意活動(dòng)。
%a - 發(fā)出請(qǐng)求的客戶端的 IP 地址。
%U - 請(qǐng)求的頁面的 URL。
%T - 服務(wù)器響應(yīng)請(qǐng)求所花費(fèi)的時(shí)間。
%{UNIQUE_ID}e - 與每個(gè)請(qǐng)求關(guān)聯(lián)的唯一 ID,用于跟蹤 Apache 服務(wù)器和 Web 應(yīng)用程序服務(wù)器之間的請(qǐng)求。
從日志中,您可以看到某些 Web 請(qǐng)求可能無法正確響應(yīng)。在這種情況下,您需要對(duì)錯(cuò)誤日志進(jìn)行故障排除,以發(fā)現(xiàn)狀態(tài)代碼、服務(wù)器負(fù)載和響應(yīng)時(shí)間、異常流量模式和使用的瀏覽器。
為什么 Apache 日志很重要,為什么要監(jiān)控它們
Apache 日志充當(dāng) Web 服務(wù)器日常生活的監(jiān)視者和勤奮的抄寫員。它們可能看起來像一個(gè)不起眼的數(shù)據(jù)集合,但實(shí)際上,它們是負(fù)責(zé)管理網(wǎng)站的 IT 管理員的寶貴資產(chǎn)。這些日志很重要,原因如下:
透明度:Apache 日志提供了 Web 服務(wù)器操作的透明度。它們提供用戶交互和服務(wù)器響應(yīng)的未經(jīng)篩選的視圖,幫助您查明服務(wù)器性能中的錯(cuò)誤和問題,例如斷開的鏈接、配置錯(cuò)誤的設(shè)置或資源限制。
安全監(jiān)控:Apache 日志是您的靜默哨兵,記錄對(duì)服務(wù)器發(fā)出的每個(gè)請(qǐng)求。通過審核這些日志,您可以實(shí)時(shí)識(shí)別潛在安全威脅的跡象,包括監(jiān)控惡意或可疑活動(dòng)。
性能優(yōu)化:這些日志提供有關(guān)服務(wù)器性能的大量數(shù)據(jù),監(jiān)控它們有助于優(yōu)化 Web 服務(wù)器。它使您能夠診斷服務(wù)器錯(cuò)誤,識(shí)別緩慢的請(qǐng)求和資源瓶頸,以及提高響應(yīng)能力和速度,以提供無縫的用戶體驗(yàn)。
用戶行為分析:這些日志揭示了您網(wǎng)站訪問者的行為,揭示了用戶如何訪問您的網(wǎng)站、他們最常訪問哪些頁面以及他們?nèi)绾螢g覽內(nèi)容。有了這些信息,你就可以定制你的內(nèi)容并改善用戶體驗(yàn),有可能增加參與度和轉(zhuǎn)化率。
異常監(jiān)測(cè):Apache 日志提供所有服務(wù)器活動(dòng)的歷史記錄,可以對(duì)其進(jìn)行分析以檢測(cè)異常模式或行為。通過密切關(guān)注這些異常情況,您可以主動(dòng)調(diào)查問題并采取適當(dāng)?shù)拇胧瑥亩档头?wù)中斷或安全事件的風(fēng)險(xiǎn)。
Apache 日志就像 Web 服務(wù)器的中心。它們?yōu)槟峁┧璧臄?shù)據(jù),以增強(qiáng)用戶體驗(yàn)、防范安全威脅、優(yōu)化服務(wù)器性能以及就您的數(shù)字資產(chǎn)做出明智的決策。
Apache 日志監(jiān)控
Apache 日志包含有關(guān)網(wǎng)絡(luò) Web 活動(dòng)的關(guān)鍵信息。要提取上述字段并檢查日志中的異常情況,您可以使用 grep、regex、tail、cut 等工具。但是,使用命令手動(dòng)從日志中提取信息將非常耗時(shí)。您可以使用有效的日志管理解決方案來收集 apache 日志,對(duì)其進(jìn)行解析和索引以識(shí)別必要的字段,并分析日志以識(shí)別惡意行為。
EventLog Analyzer是一種日志管理解決方案,可以收集、解析和分析所有版本(包括Apache Tomcat服務(wù)器日志)的Apache日志。它使用其強(qiáng)大的關(guān)聯(lián)引擎根據(jù)業(yè)務(wù)上下文分析日志,并生成全面而直觀的報(bào)告,您可以使用EventLog Analyzer為異常Web服務(wù)器活動(dòng)配置警報(bào),它可以通過短信/電子郵件實(shí)時(shí)通知您即將到來的威脅。
進(jìn)行Apache訪問日志分析
EventLog Analyzer 是一個(gè)多功能的日志管理工具,它使組織能夠主動(dòng)管理和分析其 Apache 訪問日志。它有助于確保其 Web 服務(wù)的安全性和可靠性,并幫助他們更深入地了解服務(wù)器的性能和用戶交互。
讓我們看一下它的功能,看看如何利用它來分析 Apache 訪問日志。
綜合報(bào)告:通過提供詳細(xì)的報(bào)表和日志數(shù)據(jù)的圖形表示來簡(jiǎn)化日志分析,這些報(bào)告提供了有關(guān)服務(wù)器性能、用戶行為和安全事件的寶貴見解。
可疑活動(dòng)檢測(cè):工具主動(dòng)監(jiān)控 Apache 訪問日志識(shí)別可疑或惡意行為,它可以幫助您快速發(fā)現(xiàn)安全威脅、未經(jīng)授權(quán)的訪問嘗試或用戶交互中的異常模式。
實(shí)時(shí)警報(bào):可確保管理員立即收到潛在安全事件的通知,當(dāng)系統(tǒng)檢測(cè)到異常活動(dòng)時(shí),會(huì)發(fā)送短信和電子郵件警報(bào),以便立即響應(yīng)以降低風(fēng)險(xiǎn)。
直觀的報(bào)告:預(yù)定義報(bào)表提供了有關(guān)使用模式和異常的寶貴見解,這些報(bào)告簡(jiǎn)化了識(shí)別異常或潛在惡意行為的過程。
數(shù)據(jù)訪問:該工具允許您向下鉆取原始日志數(shù)據(jù),并在需要時(shí)啟用特定信息檢索,這種詳細(xì)程度對(duì)于深入調(diào)查和取證很有價(jià)值。
日志導(dǎo)入:支持多種Apache版本,包括Apache Tomcat服務(wù)器,這種靈活性確保了與各種 Web 服務(wù)器設(shè)置的兼容性,使日志管理更加無縫。
Apache 訪問日志信息是管理 Web 服務(wù)器不可或缺的一部分,使用 EventLog Analyzer 分析它們是增強(qiáng)網(wǎng)絡(luò)安全的主動(dòng)且有效的方法。它使組織能夠有效地檢測(cè)、響應(yīng)和緩解安全威脅,最終保護(hù)其 Web 服務(wù)器和數(shù)字資產(chǎn)。
審核編輯:湯梓紅
-
Web
+關(guān)注
關(guān)注
2文章
1281瀏覽量
70802 -
服務(wù)器
+關(guān)注
關(guān)注
13文章
9686瀏覽量
87280 -
日志
+關(guān)注
關(guān)注
0文章
142瀏覽量
10820 -
Apache
+關(guān)注
關(guān)注
0文章
64瀏覽量
12652
原文標(biāo)題:深入了解Apache 日志,Apache 日志分析工具
文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
Linux日志分析工具logwatch的安裝及使用
Apache完全安裝指南
對(duì)于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化

分享10個(gè)Web日志安全性分析工具
Apache Doris正式成為 Apache 頂級(jí)項(xiàng)目
一個(gè)簡(jiǎn)單的日志分析工具Wbread介紹
一款Web安服日志管理工具wLogger
log4j日志框架分析

從Elasticsearch到Apache Doris,10倍性價(jià)比的新一代日志存儲(chǔ)分析平臺(tái)

日志篇:模組日志總體介紹

1個(gè)工具4類日志,幫你解決99%的問題

Linux實(shí)時(shí)查看日志的四種命令詳解

評(píng)論