bestlong 怕失憶論壇

標題: ColaBBS 壓力測試 20110105 [打印本頁]

作者: bestlong 時間: 2011-1-5 18:06 標題: ColaBBS 壓力測試 20110105

目標站 1站 telnet://bestlong.no-ip.com/
爬蟲窩 2站

目前用 50 + 5 隻爬蟲用 guest 權限爬 Cola5480 版

每 1 秒間隔送出空白鍵

實際成功連上有 42 隻，放著跑看運作狀況如何

也發現到使用者列表的編號有問題

目標站跑一小時之後的負載截圖如下：

圖片附件: ColaBBS-0.png (2011-1-5 18:09, 19.88 KB) / 下載次數 248
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjEyfGNkMWUzZTU3fDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-1.png (2011-1-5 18:10, 23.71 KB) / 下載次數 247
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjEzfDI4MDhmNDNhfDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-2.png (2011-1-5 18:10, 28.57 KB) / 下載次數 248
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjE0fDg4MjAzYjZlfDE3MTQ2MjQwNjN8MA%3D%3D

作者: bestlong 時間: 2011-1-5 19:46

應網友的建議，希望我調高優先權以利進行測試比較

圖片附件: ColaBBS-3.png (2011-1-5 19:46, 31.96 KB) / 下載次數 210
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjE1fDJlZDk4ZTUyfDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-4.png (2011-1-5 19:46, 34.44 KB) / 下載次數 209
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjE2fDNmMzEwYTM5fDE3MTQ2MjQwNjN8MA%3D%3D

作者: bestlong 時間: 2011-1-5 20:18

結果都沒跑完，都出現 socket error

這是網路卡的規格截圖

開始抓問題吧，先換一塊網路卡再測過

圖片附件: ColaBBS-5.png (2011-1-5 20:14, 286.29 KB) / 下載次數 251
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjE3fDlhMTBlODMwfDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-6.png (2011-1-5 20:14, 12.07 KB) / 下載次數 250
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjE4fDUxMmQyNGYzfDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-7.png (2011-1-5 20:14, 13.13 KB) / 下載次數 250
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjE5fGU4MDEwYjNjfDE3MTQ2MjQwNjN8MA%3D%3D

作者: bestlong 時間: 2011-1-5 21:41

目標站 2站 telnet://bbs.bestlong.idv.tw/
爬蟲窩 HiNet 線路下的某電腦

目前用 100 隻爬蟲用 guest 權限爬 Cola5480 版
每 1 秒間隔送出空白鍵
實際成功連上有 100 隻，放著跑看運作狀況如何

原本用 1站跑 100 隻爬蟲不過網路又中斷，只好請出另一台來幫忙了。

後續再加碼累積超過 300 隻爬蟲，就開始回應變慢了
跑了一段時間後就斷了好幾隻降到三百隻以下了
轉信作業依舊有在運作，雖然沒什麼新東西進來
最後因為 Linux 系統整個負載持續飆高，砍掉最後加碼的一百隻的爬蟲程式之後，

以下為真相圖

圖片附件: ColaBBS-8.png (2011-1-5 21:37, 631.44 KB) / 下載次數 252
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjIwfDdiZjZmMzE0fDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-9.png (2011-1-5 21:38, 474.59 KB) / 下載次數 250
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjIxfGJiYjMxM2I1fDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-11.png (2011-1-5 21:38, 1.54 MB) / 下載次數 250
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjIyfGYwZDRkYjljfDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: ColaBBS-10.png (2011-1-5 21:40, 1.63 MB) / 下載次數 251
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjIzfDEyYTljM2JkfDE3MTQ2MjQwNjN8MA%3D%3D

作者: bestlong 時間: 2011-1-6 21:55

用同樣的爬蟲幫運行 ColaBBS B12 版的友站進行測試，卻也找出個烏龍
發現 HiNET 10M/2M 的線路居然被變頻成 0.8M
所以要測試前一定要先做線路頻寬測試

建議可以利用測速網站 http://speedtest.net/ 做兩端測試以免數據失真

也發現不要一開始起跑就放出大量爬蟲，猜想可能是 MSJVM 的內部統計會導致資源分配模式的偏差
在 10M/2M 線路的蟲窩先跑 150 隻並運行一段時間後再陸續 10 隻逐次累加到不可接受為止
如果主機效能足夠的話應該會先碰到 2M 上行頻寬的瓶頸

這次的測試模式為逛 Cola5480 版自首篇文章內容瀏覽用每 2 秒間隔送出空白鍵捲頁的速度回應。

測試規模：爬蟲150+10+10+10=180

運行一段時間後實際穩定只剩141隻，同時轉信啟動了的漫遊站主機當時負荷截圖

感謝漫遊之星BBS站 Sioux 站長提供截圖 telnet://WanderingStar.twbbs.org/

圖片附件: 爬蟲141.jpg (2011-1-8 09:43, 81.33 KB) / 下載次數 247
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjI3fDE3OWYyMWY4fDE3MTQ2MjQwNjN8MA%3D%3D

作者: bestlong 時間: 2011-1-7 00:03

爬蟲窩畫面圖，四個視窗由左至右 150 + 10 +10 +10 共 180 隻

訊息格式：目標網址爬蟲編號送出空白翻頁累積次數

蟲窩的流量圖，紅框中的時段有近 180 隻，看來下行流量平均約 100k Bps

圖片附件: colabbs-test-20110106-1.jpg (2011-1-7 00:02, 868.48 KB) / 下載次數 178
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjI0fDBlOWQyYzI0fDE3MTQ2MjQwNjN8MA%3D%3D

圖片附件: colabbs-test-20110106-nettraffic.jpg (2011-1-7 08:13, 93.07 KB) / 下載次數 175
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MjI1fDcyZjdjM2FlfDE3MTQ2MjQwNjN8MA%3D%3D

歡迎光臨 bestlong 怕失憶論壇 (http://www.bestlong.idv.tw/)