网站文章采集(方法4.8年多爬虫经验的人告诉你，国内adsl是王道) -足球即时指数

　　网站文章采集(方法4.8年多爬虫经验的人告诉你，国内adsl是王道)

　　本文文章主要介绍了几种解决使用爬虫时被封ip的方法的相关资料采集网站。有需要的朋友可以参考以下

　　方法1.

　　因为公司项目需要，我有采集google map数据，还有一些大的网站数据。

　　体验如下：

　　1.ip必须是必须的，@alswl说的很对，adsl。有条件的话，其实可以去机房申请额外的ip。

　　2. 在有外部 ip 的机器上部署代理服务器。

　　3.你的程序，用轮换代替代理服务器访问网站你要采集。

　　优点：

　　1.程序逻辑变化不大，只需要代理功能。

　　2.根据对方的网站屏蔽规则，您只需要添加更多的代理即可。

　　3.即使具体ip被屏蔽了，你只要把代理服务器下线就可以了，程序逻辑不需要改动。

　　方法2.

　　有少数网站的防范措施相对较弱。可以伪装ip，修改x-forwarded-for（好像是这个拼写……）绕过。

　　网站的大部分，如果想频繁爬取，通常需要更多的ip。我比较喜欢的足球即时指数的解决方案是国外的vps配置多个ip，通过默认网关切换实现ip切换。比http代理效率高很多，估计大部分情况下比adsl切换效率高。

　　方法3.

　　adsl 脚本，监控是否被屏蔽，然后不停的切换ip

　　设置查询频率限制

　　正统的做法是调用网站提供的服务接口。

　　方法4.

　　8年以上爬虫经验的人告诉你，国内adsl才是王道。申请更多线路，分布在不同的电信区。最好能跨省市。编写您自己的断开重拨组件。自己写动态ip跟踪服务，远程硬件复位（主要是针对adsl modem防止其宕机），其他任务分配，数据恢复，都不是什么大问题。我的已经稳定运行好几年了，大功告成！

　　方法5.

　　1 个用户代理伪装和轮换

　　2 使用代理ip和轮换

　　3 对于 cookie 的处理，一些 网站对登录用户有更宽松的政策

　　友情提示：考虑爬虫给别人带来的负担网站，做一个负责任的爬虫:)

　　方法6.

　　尽可能模仿用户行为：

　　1、useragent 频繁更改；

　　2、设置较长的访问时间间隔，设置访问时间为随机数；

　　3、访问页面的顺序也可以随机化

　　方法8.

　　网站区块一般是根据单位时间内对特定ip的访问次数。

　　我根据目标站点的ip对采集的任务进行分组，通过控制单位时间内每个ip发送的任务数量来避免被阻塞。当然，这个前提是你采集很多网站。如果只有采集一个网站，那么只能通过多个外部ip来实现。

　　方法9.

　　1. 爬虫爬行的压力控制；

　　2.可以考虑使用代理访问目标站点。

　　-降低爬取频率，设置更长的时间，访问时间使用随机数

　　- 频繁切换useragent（模拟浏览器访问）

　　-多页数据，随机访问然后抓取数据

　　-更改用户ip

　　以上是使用爬虫解决被封ip的几种方法的详细内容采集网站。更多详情请关注其他相关html中文网站文章！

       优采云采集器是一个根据用户提供的关键词，云端自动采集相关文章并发布到用户网站的网站采集器。它能够自动识别各种网页上的标题、正文等信息，不需要用户编写任何采集规则就可以实现全网采集。采集到内容后，会自动计算内容与所设定的关键词的相关度，只把相关的文章推送给用户。支持标题前缀、关键词自动加粗、插入固定链接、自动提取tag标签、自动内链、自动配图、自动伪原创、内容过滤和替换、电话号码和网址清理、定时采集、百度主动提交等一系列seo功能。用户只需设置好关键词和相关需求，就能实现全托管、零维护的网站内容更新。不限网站数量，不管是单个网站还是大批量站群，都可以非常方便的进行管理。