scrapy redirect 문제

조회수 1989회

안녕하세요. scrapy 혹은 beautiful soup 관련 크롤링 질문 입니다.

크롤러 작성 후 실제 크롤링을 하면서 테스트 중 입니다. 다른 부분에서는 정상적으로 작동하는데 redirection이 문제네요.

예를들어 www.example.com/abc로 request를 보내면 response는 www.example.com/en/abc 처럼 영문 버전 페이지로 redirection 되버립니다.

웹브라우저에서는 그렇지 않은데 bot만 그러는걸보니 서버에서 걸러내는 것 같습니다.

user-agent도 다르게 설정을 해보았지만 계속 영문페이지로 redirection 되버리는데

이럴땐 어떤 방법을 생각해야 하는걸까요?

힌트좀 주세요 ㅠㅠ

1 답변

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.