刚过完年,祝大家恭喜发财。有小伙伴在尝试spiderdemohttps://www.spiderdemo.cn/,看了一下这个应该是比之前的马上爬难多了,从他的名称上来看,和猿人学的很像。

废话不多说,开始今天的第一题:请求头检测

1、抓包

image-20260226094103604

抓包直接显示报错,那就换成charles来看看

image-20260226094220326

charles里面找到了对应的包,直接拷贝到postman试试,能不能获取到值

image-20260226094349524

image-20260226094526742

postman也能正常获取到值,但是使用python请求会报错

2、分析

从题目明确得知是请求头的问题,如何进一步查看问题所在呢,python代码加上代码,charles抓包对比和正常网页请求时的差异

image-20260226095136821

image-20260226095147299

image-20260226095159082

能明显看出两次请求的请求头顺序不一致,因此使用OrderedDict来固定请求头的顺序

image-20260226095338446

可以看到成功获取到结果