魔女的条件

疫情通报：过去一周新西兰新增5757例_我的网站

A |     Renee 综合          卫生部通报称，过去一周（1月22日—1月28日）报告了5757例新冠病例，26人死亡。    

　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。    之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。

B |     采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。         Advertise with us          截至上周日午夜，有258人因感染新冠住院。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。         新增病例中，3609人为再次感染，50人为90天内重复感染。

C |          报告的死亡病例中，1人40多岁，1人50多岁，1人60多岁，7人70多岁，9人80多岁，7人90多岁。    

    因为习惯原因，我直接看了下尾页列表页。

D | 6名女性，20名男性。

E |          死亡病例分布地区及年龄，卫生部截图          迄今，新西兰共有3768例新冠病例死亡。然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。结果就发现无法看到列表内容。

F |          新西兰已累计报告2574813例新冠病例。         前一周新增7019例病例。浏览器可以看到一个通过post请求的地址。         相关阅读：          疫情通报：过去一周新西兰新增7019例，夏季疫情见顶了吗？          疫情通报：病例数上升！过去一周新西兰新增8040例          中疾控：新冠疫情可能在本月回升          新冠肺炎仍是威胁 世卫：去年12月死亡病例近万人          疫情通报：过去一周新西兰新增6558例，44人死亡          新变种来了！新西兰第五波疫情或持续数月          最新最强新冠毒株登陆澳洲，感染人数飙升！新变种“横扫”40国，这国重申“隔离令”          惊！新西兰迎第五波新冠疫情！一周死27人！专家：今年或1000人死          注：本文为编译/原创，欢迎转发分享；但严禁复制等未经授权的非法使用。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。违反上述声明者，本网将追究其相关法律责任。    通过笨方法，手动访问页面看看Ajax加载大概是哪些。使用授权请联系[email protected]。最后找到大概从2200页左右开始Ajax加载。

G |          chineseherald.co.nz All Rights Reserved 版权所有          (责编：twinkle)          来源 -          相关内容                突发！James Shaw将辞去绿党联合党魁一职           奥克兰男子的昂贵自行车被盗，提供监控照片及GPS数据后警方拒绝进行调查           奥克兰中区夜间发生电动滑板车骑行事故，一男子死亡           夏天就这么过去了？1月底天气多变，2月初气温将陡降           24小时内5人死于道路交通事故，警方发出紧急安全警告           抗议者涌向奥克兰这一海军基地，对政府向红海派遣国防人员表示不满           渔业官员警告买家：这些龙虾和鲍鱼不要买！           奥克兰一购物中心内珠宝店被暴力打劫，一名20岁男子逃离现场后被逮捕。    那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。    2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。重新访问一下采集页面，Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址        Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。        在Fiddler右侧会显示这个请求地址的相关详细信息。

H |     

    信息顶部可以看到是post请求方法。    可以看到有我们请求的页码相关内容。        访问不同页码的页面，经过研究发现规律。        currentPageIndex的值和页码相关，值等于页码减一。

I | 我们访问6139页时，currentPageIndex值是6138。    这就找到了规律，我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。        点“分页设置”，http请求方式“post”。        把我们Fiddler抓包获取的内容填进去。        将currentPageIndex值的内容替换成火车头采集器的“分页”标签。        下面填入页码。    页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.        网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。        可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。

J |     

    我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。        可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。        注意事项    采集过程注意运行线程和请求间隔时间。

K | 教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP，此教程写完用了两台服务器。

L |     我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

        

    

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！。

M |

Current article:http://epiom.tandianxiuzhutiaoshoudiamei.pics/news/20260826_5465402.html

Published on:07:54:23