tggame的phpBB

這一星期左右網站又變慢了
今天星期六，早上醒來查一下原因吧，看看是不是和上次一樣，
看了即時連線數，不算太多......所以不是上次的情況，
(但是 cpu load average比上次高)

那就查一下網站存取log檔吧，
抓了最新的 5000筆log來統計，

第0001筆是 4/20 6:50:00
第5000筆是 4/20 8:08:33
5000筆記錄的期間78分33秒(共4713秒)，
大約1秒1次

再看詳細一點的內容，發現多數是來自amazonbot...唉...
下面整理這5000筆中，同一IP超過 100次者，也反查了DNS看是誰在連

IP, 數量, DNS反查
52.70.240.171, 1270, 52-70-240-171.crawl.amazonbot.amazon
23.22.35.162, 1235, 23-22-35-162.crawl.amazonbot.amazon
3.224.220.101, 1231, 3-224-220-101.crawl.amazonbot.amazon
34.101.43.70, 225, 70.43.101.34.bc.googleusercontent.com
以上小計 3961，也就是 3961/5000 是網路爬蟲 ( 4/5 的連線不是人 )


結論：
這次和上次不一樣，
上次是佔著連線無作為...在測試？
這次是網路爬蟲在連線。

這點連線對大站來說不算什麼，
但是對小站來說，就已經快要阻斷服務了。

回應一下目前狀況。
發現是 Amazonbot 之後，當下就建立了 robots.txt

結果，經過了24小時，還是持續有連線，
因為這次連線的IP是固定的3個，
所以可以直接deny掉。

設定完deny之後，cpu馬上就降下來了。
不過到目前為止，還是持續有連線。
(為了監測，log檔還是有在記錄的)

如果真的是 amazon 官方的網路爬蟲 ，那就太不夠意思了...不講武德？

難怪最近總覺得在這網站逛板時有些卡卡的，果然不是錯覺啊。

希望這次處理後情況能有所改善，板主辛苦了～

有去簡單搜過類似問題, 然後有看到類似被 Amazonbot 打的人的問題裡有列出的 IP 位址跟 tg 大列出來的是一致的, 所以應該真的是 Amazon 官方 bot 沒錯。

不過也是有看到其他回報說 Amazonbot 好像有點笨, 會因為 querystring (網址 ? 後面的東西) 不同就當不同網址; 我記得以前 phpBB 有把 session id 放網址的設計的樣子? 會不會是因為這個原因?

今天再看一下，發現那3個爬蟲IP的連線都不見了，
所以已經有正確吃到 robots.txt 的內容了。

好吧，那就沒有前面說的不講武德，
可能是我第一次放不到24小時就受不了直接deny了...
(因為我也不知道它是幾點會去爬 robots.txt )

目前網站速度應該恢復了(沒有變快，只是回到原本的樣子^^)

tggame大辛苦了!!

我看了下官方文档 https://developer.amazon.com/amazonbot

应该改成这样吧：

那個 /do-not-crawl/ 是示意的寫法，
意思是哪個路徑(目錄)不給爬，就寫上對應的名稱。
我是直接給「/」根目錄，代表整站都不給爬(因為它的爬法已影響正常使用)，所以寫法是沒問題的 ^^