由 Bilibili 首页检测开始检测 Referer 发现的对请求不当地改写 #15866
NightSpaceC
started this conversation in
General
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
新版的 RSSHub 已经无法在 Bilibili 上复现这个问题,因为它现在使用
puppeteer
我是在我自己的旧版分支上发现的
RSSHub 中在调用
got
发送请求时,它会自动改写请求,包括添加 UA 和 Referer若调用者没有填写 Referer ,它会自动根据 URL 生成
如访问
https://www.bilibili.com/space/1
会自动添加 Referer 为
https://www.bilibili.com
当携带这样的 Referer 不带 Cookie 访问首页以获取游客 Cookie 时,会被识别为爬虫,并返回一个验证码页面
也许这是符合预期的,但我想这不是一个好的设计
这个问题在新版仍存在,见 lib/utils/request-rewriter/get.ts:53
我觉得应该不自动添加 Referer
Beta Was this translation helpful? Give feedback.
All reactions