bestlong 怕失憶論壇's Archiver

bestlong 發表於 2011-1-5 18:06

ColaBBS 壓力測試 20110105

目標站 1站 [url]telnet://bestlong.no-ip.com/[/url]
爬蟲窩 2站

目前用 50 + 5 隻爬蟲用 guest 權限爬 Cola5480 版

每 1 秒間隔送出空白鍵

實際成功連上有 42 隻,放著跑看運作狀況如何

也發現到使用者列表的編號有問題

目標站跑一小時之後的負載截圖如下:





bestlong 發表於 2011-1-5 19:46

應網友的建議,希望我調高優先權以利進行測試比較



bestlong 發表於 2011-1-5 20:18

結果都沒跑完,都出現 socket error



這是網路卡的規格截圖





開始抓問題吧,先換一塊網路卡再測過

bestlong 發表於 2011-1-5 21:41

目標站 2站 [url]telnet://bbs.bestlong.idv.tw/[/url]
爬蟲窩 HiNet 線路下的某電腦

目前用 100 隻爬蟲用 guest 權限爬 Cola5480 版
每 1 秒間隔送出空白鍵
實際成功連上有 100 隻,放著跑看運作狀況如何

原本用 1站跑 100 隻爬蟲不過網路又中斷,只好請出另一台來幫忙了。

後續再加碼累積超過 300 隻爬蟲,就開始回應變慢了
跑了一段時間後就斷了好幾隻降到三百隻以下了
轉信作業依舊有在運作,雖然沒什麼新東西進來
最後因為 Linux 系統整個負載持續飆高,砍掉最後加碼的一百隻的爬蟲程式之後,

以下為真相圖






bestlong 發表於 2011-1-6 21:55

用同樣的爬蟲幫運行 ColaBBS B12 版的友站進行測試,卻也找出個烏龍
發現 HiNET 10M/2M 的線路居然被變頻成 0.8M
所以要測試前一定要先做線路頻寬測試

建議可以利用測速網站 [url]http://speedtest.net/[/url] 做兩端測試以免數據失真

也發現不要一開始起跑就放出大量爬蟲,猜想可能是 MSJVM 的內部統計會導致資源分配模式的偏差
在 10M/2M 線路的蟲窩先跑 150 隻並運行一段時間後再陸續 10 隻逐次累加到不可接受為止
如果主機效能足夠的話應該會先碰到 2M 上行頻寬的瓶頸

這次的測試模式為逛 Cola5480 版自首篇文章內容瀏覽用每 2 秒間隔送出空白鍵捲頁的速度回應。

測試規模:爬蟲150+10+10+10=180

運行一段時間後實際穩定只剩141隻,同時轉信啟動了的漫遊站主機當時負荷截圖



感謝漫遊之星BBS站 Sioux 站長提供截圖 [url]telnet://WanderingStar.twbbs.org/[/url]
頁: [1] 2

Powered by Discuz! X1.5 Archiver   © 2001-2010 Comsenz Inc.