Scrapy 스레드 사용방법

조회수 1260회

안녕하세요

제가 scrapy로 웹크롤링을 하는데요 데이터가 정말 많아지니까 데이터를 가져오는데 10시간 이상씩 걸리고 그러더라구요...

이걸 어떻게 해결해야 할까 찾아보니 스레드를 사용하면 된다고 하는데, 스레드를 한번도 사용 해 본 적이 없어서, 검색을 해봐도 Scrapy 스레드 사용법은 나오지않고 어떻게 해야 할지 모르겠습니다.

혹시 scrapy 여러 스레드를 이용해서 가져오는 방법 아시는분 계신가요..?

1 답변

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.