scrapy redirect 문제


안녕하세요. scrapy 혹은 beautiful soup 관련 크롤링 질문 입니다.

크롤러 작성 후 실제 크롤링을 하면서 테스트 중 입니다. 다른 부분에서는 정상적으로 작동하는데 redirection이 문제네요.

예를들어 www.example.com/abc로 request를 보내면 response는 www.example.com/en/abc 처럼 영문 버전 페이지로 redirection 되버립니다.

웹브라우저에서는 그렇지 않은데 bot만 그러는걸보니 서버에서 걸러내는 것 같습니다.

user-agent도 다르게 설정을 해보았지만 계속 영문페이지로 redirection 되버리는데

이럴땐 어떤 방법을 생각해야 하는걸까요?

힌트좀 주세요 ㅠㅠ


조회수 243


1 답변


좋아요
0
싫어요
채택취소하기

원하는 페이지가 열리는 브라우저가 따로 있으시다면, 그 때의 user-agent를 http://www.whoishostingthis.com/tools/user-agent/ 에 방문해서 확인하신 다음 그대로 설정해 보시면 어떨까요?

  • 2016년 07월 14일에 작성됨
    루비와 파이썬을 좋아합니다. 새로운 언어를 배우는것도 좋아해요. 모바일 게임도 조금 만들어 봤습니다.

로그인이 필요한 기능입니다.

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 작성한 답변에 다른 개발자들이 댓글을 작성하거나 좋아요/싫어요를 할 수 있기 때문에 계정을 필요로 합니다.
► 로그인
► 계정만들기
Close