curl抓取页面的时候只能抓取一部分 _抓取

【curl抓取页面的时候只能抓取一部分】

文章插图
Curl抓取页面时只能抓取页面的一部分。curl在我的主机上抓取了一部分页面，但在公司的测试机上可以抓取所有页面。原因是什么？当然，两台主机配置差距有点大，同时要抓取的页面也有点大。解决方法:由于页面有点大，有可能是缓存不够大。