用curl抓取网页的时候,为什么我的每次都只能抓取18个左右就自动停止了?
用curl抓取网页的时候,为什么我的每次都只能抓取18个左右就自动停止了?
代码如下
- PHP code
<?php for($i=2;$i<30;$i++) { $ch = curl_init("http://www.readnovel.com/novel/169509/$i.html"); $fp = fopen("novel-$i.txt", "w"); curl_setopt($ch, CURLOPT_FILE, $fp); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_TIMEOUT, "100"); curl_exec($ch); curl_close($ch); fclose($fp); echo "第".$i."页成功保存"; } echo "抓取完成"; ?>
------解决方案--------------------
如果不是每个网站都这样,就可能是这个网站有限制