请教下爬虫大佬,刚才采集图片发现居然下载不下来
https://big.diercun.com/hd2/2022/0509/39/24mnorg_1%201.jpg
试过wget和curl,加了ua,加了referer,下载下来还是一张20k的警告图
有没有大佬知道这是什么反爬技术
-----------------------------------------------------
网友回复:
引用:rem发表于2022-5-1111:30
这就是页面上的图片原地址吗
网友回复:
引用:c473432发表于2022-5-1111:32
网站发来看看
网友回复:
有没有可能你ip被ban了。我直接wget下载了原图
ps:你图片是原图啊,感觉应该是检测浏览器,手机上看到的是警告图
网友回复:
引用:fyfy010发表于2022-5-1111:47
图片打开是原图啊
网友回复:
遇到这种直接无头爬,或者有时间慢慢验证到底怎么反爬的
网友回复:
看了一下不是refer、cookie的问题,是ip的问题
你要先用ip那个网站,类似一种打开防火墙加白名单的方式他才不会跳转盗链图
我猜是因为怕被uc的“云加速”给整吧
网友回复:
引用:emptysuns发表于2022-5-1111:57
看了一下不是refer、cookie的问题,是ip的问题
你要先用ip那个网站,类似一种打开防火墙加白名单的方式他才...
网友回复:
引用:brady_xiong发表于2022-5-1112:07
大佬,这个没咋看懂,是不是反爬识别ip吗,一个ip爬的多了就把这个标记为爬虫反盗不...
网友回复:
引用:brady_xiong发表于2022-5-1019:07
大佬,这个没咋看懂,是不是反爬识别ip吗,一个ip爬的多了就把这个标记为爬虫反盗不...
网友回复:
引用:emptysuns发表于2022-5-1112:08
不是,你自己开f12看看就知道了
网友回复:
和cookie,http头无关.
和ip相关.
你这个ip访问过这个网站的首页,之后就能下载图片的.
技术上就是
执行一下
然后就可以随意
wget图片
网友回复:
引用:brady_xiong发表于2022-5-1019:17
是不是用session吗,能具体详细说说吗,
目前是源站www.24tupian.org最后找到的高清图地址索引刀https://...
网友回复:
引用:emptysuns发表于2022-5-1112:55
不是session,很简单的证据就是你换个浏览器再访问一下,也不会反扒
就是在ip上做规则了