scrapy redirect 문제
조회수 2439회
안녕하세요. scrapy 혹은 beautiful soup 관련 크롤링 질문 입니다.
크롤러 작성 후 실제 크롤링을 하면서 테스트 중 입니다. 다른 부분에서는 정상적으로 작동하는데 redirection이 문제네요.
예를들어 www.example.com/abc로 request를 보내면 response는 www.example.com/en/abc 처럼 영문 버전 페이지로 redirection 되버립니다.
웹브라우저에서는 그렇지 않은데 bot만 그러는걸보니 서버에서 걸러내는 것 같습니다.
user-agent도 다르게 설정을 해보았지만 계속 영문페이지로 redirection 되버리는데
이럴땐 어떤 방법을 생각해야 하는걸까요?
힌트좀 주세요 ㅠㅠ
-
(•́ ✖ •̀)
알 수 없는 사용자
1 답변
-
원하는 페이지가 열리는 브라우저가 따로 있으시다면, 그 때의 user-agent를 http://www.whoishostingthis.com/tools/user-agent/ 에 방문해서 확인하신 다음 그대로 설정해 보시면 어떨까요?
댓글 입력