scrapy redirect 문제

안녕하세요. scrapy 혹은 beautiful soup 관련 크롤링 질문 입니다.

크롤러 작성 후 실제 크롤링을 하면서 테스트 중 입니다. 다른 부분에서는 정상적으로 작동하는데 redirection이 문제네요.

예를들어 www.example.com/abc로 request를 보내면 response는 www.example.com/en/abc 처럼 영문 버전 페이지로 redirection 되버립니다.

웹브라우저에서는 그렇지 않은데 bot만 그러는걸보니 서버에서 걸러내는 것 같습니다.

user-agent도 다르게 설정을 해보았지만 계속 영문페이지로 redirection 되버리는데

이럴땐 어떤 방법을 생각해야 하는걸까요?

힌트좀 주세요 ㅠㅠ

1답변

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

작성한 답변에 다른 개발자들이 댓글을 작성하거나 댓글에 좋아요/싫어요를 할 수 있기 때문에 계정을 필요로 합니다.