如何使用fail2ban阻止來自Google Analytics和服務器的垃圾郵件推薦

Question

最近，我看到Google Analytics（分析）中的引薦流量大幅度增長，該流量來自諸如bidvertiser之類的垃圾郵件域。 com，easyhits4u。 com或trafficswirl。 COM。 這些讓GA中的數據混亂不堪，觸發了轉換率的突然下降，導致數據無法使用。

您可以很容易地看到哪些推薦不好，因為它們具有一些特征：

1. 高跳出率
2. 花費在頁面上的時間少（每個用戶的瀏覽量更少）
3. 0次轉化（如果您衡量這樣的結果）

在日志中，我發現這樣的行

52.33.56.250 - - [10/May/2017:08:39:05 +0000] "GET / HTTP/1.0" 200 18631 "http://ptp4all.com/ptp/promote.aspx?id=628" "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; MALCJS)"
74.73.253.77 - - [10/May/2017:08:39:05 +0000] "GET / HTTP/1.0" 200 18631 "http://secure.bidvertiser.com/performance/bdv_rd.dbm?enparms2=7523,1871496,2463272,7474,7474,8973,7684,0,0,7478,0,1870757,475406,91376,112463629579,78645910,nlx.lwlgwre&ioa=0&ncm=1&bd_ref_v=www.bidvertiser.com&TREF=1&WIN_NAME=&Category=1000&ownid=627368&u_agnt=&skter=vgzouvw%2B462c%2B40v10h%2Bghru%2Bmlir%2Bhoveizn%2Bsxgzd&skwdb=ooz_wvvu" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"

如何處理呢？

Answer 1

您需要做兩件事：

1.服務器級別 -您必須從開始阻止垃圾郵件請求。

我認為最好准備動態過濾器，以阻止來自進行垃圾郵件流量的特定IP的請求。

我為此目的使用了fail2ban，但是沒有規則可以幫助ypu做到這一點。 首先，您需要創建一個新的“監獄過濾器”（我正在使用Plesk，所以這里是在Plesk中執行此操作的方法https://docs.plesk.com/zh-CN/onyx/administrator-guide/server-administration/protection-against -brute-force-attacks-fail2ban / fail2ban-jails-management.73382 / ）。 對於那些不使用Plesk和使用ssh的用戶，可以在這里查看https://www.fail2ban.org/wiki/index.php/MANUAL_0_8

監獄的定義是這樣的：

[Definition]
failregex =
ignoreregex = 

確保也包括ignoreregex ，否則將無法保存。

之后，在訪問日志中查找您在Google Analytics（分析）中找到的域。 您會發現很多類似上面的請求。

確定域后，您需要添加以下規則：

failregex = <HOST>.+bidvertiser\.com
    <HOST>.+easyhits4u\.com

• 主機-是fail2ban在日志中使用ip的關鍵字。
• 請注意“。+”-這將使fail2ban忽略所有文本，直到他們在該行中找到您要查找的域
• bidvertiser.com-引起“。”問題的域名。 用“ \\”轉義。
• 新行（新域）在規則前應具有TAB字符，否則將不保存

我的規則如下：

[Definition]
failregex = <HOST>.+bidvertiser\.com
    <HOST>.+easyhits4u\.com
    <HOST>.+sitexplosion\.com
    <HOST>.+ptp4all\.com
    <HOST>.+trafficswirl\.com
    <HOST>.+bdv_rd\.dbm
ignoreregex = 

您可以看到bdv_rd\\.dbm 。 那不是域，而是他們用來產生垃圾郵件的腳本。 因此，他們可以輕松更改域並使用相同的腳本。 這增加了一層額外的過濾。 我補充說，因為fail2ban將搜索與模式匹配的任何字符串。

注意1：請確保您不會干擾自己的網站URL，因為這會阻止合法用戶，並且您不希望這樣做。

注意2：您可以像這樣在ssh中測試您的正則表達式

:# fail2ban-regex path/to/log/access_log "<HOST>.+bidvertiser\.com"

這將產生以下輸出：

 Running tests
=============

Use   failregex line : <HOST>.+bidvertiser\.com
Use         log file : access_log
Use         encoding : UTF-8


Results
=======

Failregex: 925 total
|-  #) [# of hits] regular expression
|   1) [925] <HOST>.+bidvertiser\.com
`-

Ignoreregex: 0 total

Date template hits:
|- [# of hits] date format
|  [4326] Day(?P<_sep>[-/])MON(?P=_sep)Year[ :]?24hour:Minute:Second(?:\.Microseconds)?(?: Zone offset)?
`-

Lines: 4326 lines, 0 ignored, 925 matched, 3401 missed
[processed in 3.14 sec]

Missed line(s): too many to print.  Use --print-all-missed to print all 3401 lines

現在，這意味着您的過濾器發現有925個與該域匹配的請求（如果您問我很多），這些請求將轉化為來自Google Analytics（分析）中referredvertiser.com的925個命中。

您可以驗證是否已下載日志並使用諸如Notepad ++之類的工具進行搜索。

現在定義已准備就緒，您應該添加一個監禁和一條規則。

我將上面的定義與該動作一起使用，以在24小時內阻止該IP的所有端口。

---

在短短幾個小時內安裝完此程序后，我獲得了接近850個被阻止的IP。 有些在Amazon AWS網絡中，因此我在這里https://aws.amazon.com/forms/report-abuse提出了濫用投訴。

您可以使用此服務https://ipinfo.io/查找ip的所有者。

2. Google Analytics（分析）級別

在這里，您有幾個選項，在這里不再贅述，因為它不是地方，並且有關於該主題的書面資源：

https://moz.com/blog/how-to-stop-spam-bots-from-ruining-your-analytics-referral-data https://www.optimizesmart.com/geek-guide-removing-referrer-spam -谷歌分析/

---

一些注意事項：

1. 這些家伙在某些地方使用.htaccess阻止。 這也是一個我沒有在這里使用的選項，因為在我的過濾器中，我還使用腳本名稱，而不僅是域。

2. Fail2Ban將使用iptables阻止來自這些IP的任何其他請求，而不僅僅是http / https端口。

3. 第一個請求將始終通過並在Google Analytics（分析）中創建1個匹配，然后根據該腳本是否仍在訪問您的網站訪問禁令到期時的另一個匹配

4. 您可以使用隱性過濾器永久禁止這些IP https://wiki.meurisse.org/wiki/Fail2Ban#Recidive

5. Google Analytics（分析）過濾器不會過濾掉歷史數據。