文章采集软件app(selenium爬取流程安装自动模块,代理批量采集 ) -足球即时指数
优采云采集器 发布时间: 2021-10-02 12:03文章采集软件app(selenium爬取流程安装自动模块,代理批量采集
)
selenium 爬取过程
安装python selenium自动模块,使用selenium中的webdriver驱动浏览器获取cookies登录微信公众号后台;
使用webdriver功能需要安装相应的浏览器驱动插件
注意:谷歌浏览器版本和chromedriver需要对应,否则启动时会报错。
微信公众号登录地址:
微信公众号文章界面地址可以在微信公众号后台新建图文消息,可以通过超链接函数获取:
搜索公众号
获取要爬取的公众号的fakeid
选择要爬取的公众号,获取文章接口地址
文章列表翻页和内容获取
anyproxy 代理批处理采集
1、 微信客户端:可以是安装了微信应用的手机,也可以是电脑中的安卓模拟器。
2、一个微信个人账号:为了采集内容,不仅需要一个微信客户端,还需要一个专用于采集的微信个人账号。
3、本地代理服务器系统:通过anyproxy代理服务器将公众账号历史消息页面中的文章列表发送到自己的服务器。
4、文章列表分析入库系统,分析文章列表并建立采集队列,实现批量采集内容。
fiddler 设置代理并抓包
通过捕获和分析多个帐户,您可以确定:
_biz:这个14位字符串是每个公众号的“id”,搜狗微信平台上有
uin:访客相关,微信id
key:与被访问的公众号相关
步:
1、编写按钮向导脚本,自动点击手机公众号文章列表页,即“查看历史消息”;
2、利用fiddler代理劫持手机访问,将url转发到本地php编写的网页;
3、将接收到的php网页上的url备份到数据库中;
4、使用python从数据库中获取url,然后进行正常爬取。
潜在问题:
如果只是抓取文章的内容,好像没有访问频率限制,但是如果要抓取阅读数和点赞数,达到一定频率后,返回就会变成一个空值。
付费平台
比如你只是想看清博的新榜,直接看每日榜就可以了,不需要花钱。如果你需要连接到你自己的系统,他们还提供了一个api接口。
3个项目步骤
3.1 基本原理
目标抓取网站收录拥有微信平台文章上大部分优质微信公众号,会定期更新。经过测试,发现它对爬虫更加友好。
1、网站 页面布局和排版规则,不同公众号通过链接中的账号区分
2、公众号集合下的文章翻页也是有规律的:id号每翻页 12
所以流程的想法是
获取预查询微信公众号id(不是直接显示的名字,而是信息卡中的id号,通常由数字和字母组成)
请求一个html页面判断公众号是否被更改收录
如果没有收录,页面显示结果为:404页面不存在,直接用正则表达式匹配提示信息即可
正则匹配,求目标公众号最大收录文章页数
解析请求页面,提取文章链接和标题文本
保存信息提取结果
调用pdfkit和wkhtmltopdf转换网页
3.2环境
win10(64位)
*敏*感*词*(蟒蛇3.6)
安装转换工具包 wkhtmltopdf
要求
pdfkit
3.3 公众号信息检索
向目标url发起requset请求获取页面的html信息,然后调用正则方法匹配两条信息
1、有没有公众号?
2、如果存在,最大文章收录页数是多少
当公众号存在时,直接调用request解析目标请求链接。
注意目标爬虫网站一定要加headers,否则直接拒绝访问
3.4 常规分析,提取链接和文章标题
以下代码用于从html文本中解析出链接和标题文本信息
3.5自动跳转到页面
下面的代码通过循环递增赋值来改变url中的页码参数
3.6 去除标题中的非法字符
因为windows下的file命令,有些字符不能用,所以需要使用正则消除
itle = re.sub('[/:*?"|]','', info.loc[indexs]['title'])
3.7 将 html 转换为 pdf
使用pandas的read_csv函数读取爬取的csv文件,循环遍历“link”、“title”、“date”
然后调用pdfkit函数转换生成pdf文件
3.7 将 html 转换为 pdf
使用pandas的read_csv函数读取爬取的csv文件,循环遍历“link”、“title”、“date”
然后调用pdfkit函数转换生成pdf文件
3.8 生成的 pdf 结果
4 结果显示
优采云采集器是一个根据用户提供的关键词,云端自动采集相关文章并发布到用户网站的网站采集器。它能够自动识别各种网页上的标题、正文等信息,不需要用户编写任何采集规则就可以实现全网采集。采集到内容后,会自动计算内容与所设定的关键词的相关度,只把相关的文章推送给用户。支持标题前缀、关键词自动加粗、插入固定链接、自动提取tag标签、自动内链、自动配图、自动伪原创、内容过滤和替换、电话号码和网址清理、定时采集、百度主动提交等一系列seo功能。用户只需设置好关键词和相关需求,就能实现全托管、零维护的网站内容更新。不限网站数量,不管是单个网站还是大批量站群,都可以非常方便的进行管理。