
SpiderDemo第一题-请求头检查
刚过完年,祝大家恭喜发财。有小伙伴在尝试spiderdemohttps://www.spiderdemo.cn/,看了一下这个应该是比之前的马上爬难多了,从他的名称上来看,和猿人学的很像。
废话不多说,开始今天的第一题:请求头检测
1、抓包

抓包直接显示报错,那就换成charles来看看

charles里面找到了对应的包,直接拷贝到postman试试,能不能获取到值


postman也能正常获取到值,但是使用python请求会报错
2、分析
从题目明确得知是请求头的问题,如何进一步查看问题所在呢,python代码加上代码,charles抓包对比和正常网页请求时的差异



能明显看出两次请求的请求头顺序不一致,因此使用OrderedDict来固定请求头的顺序

可以看到成功获取到结果
本文是原创文章,采用CC BY-NC-SA 4.0协议,完整转载请注明来自码字的秃猴





