视频说明
本视频介绍采集出现重复数据(特指重复最后一页的数据)的解决办法。
适用情况:
要采集的网页,明明已经采完了最后一页的数据,但重复采集最后一页数据,不停止采集。
或者循环点击下一页后不进行翻页,一直在采集某一页的数据。
原因分析:
xpath定位不准,在最后一页还能定位到“下一页”按钮,循环翻页无法结束
解决思路:
修改xpath,使当前页是最后一页时,定位不到“下一页”按钮,而非最后一页时可以定位到“下一页”
提醒:如果无法正常观看此视频教程,请跳转到优酷观看。
如需下载高清视频教程,请前往https://pan.baidu.com/s/19GYDtxmRV6te4FkEH-bv0w
本视频介绍采集出现重复数据(特指重复最后一页的数据)的解决办法。
适用情况:
要采集的网页,明明已经采完了最后一页的数据,但重复采集最后一页数据,不停止采集。
或者循环点击下一页后不进行翻页,一直在采集某一页的数据。
原因分析:
xpath定位不准,在最后一页还能定位到“下一页”按钮,循环翻页无法结束
解决思路:
修改xpath,使当前页是最后一页时,定位不到“下一页”按钮,而非最后一页时可以定位到“下一页”