scrapy redirect 문제

조회수 2420회

안녕하세요. scrapy 혹은 beautiful soup 관련 크롤링 질문 입니다.

크롤러 작성 후 실제 크롤링을 하면서 테스트 중 입니다. 다른 부분에서는 정상적으로 작동하는데 redirection이 문제네요.

예를들어 www.example.com/abc로 request를 보내면 response는 www.example.com/en/abc 처럼 영문 버전 페이지로 redirection 되버립니다.

웹브라우저에서는 그렇지 않은데 bot만 그러는걸보니 서버에서 걸러내는 것 같습니다.

user-agent도 다르게 설정을 해보았지만 계속 영문페이지로 redirection 되버리는데

이럴땐 어떤 방법을 생각해야 하는걸까요?

힌트좀 주세요 ㅠㅠ

  • (•́ ✖ •̀)
    알 수 없는 사용자

1 답변

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)