Scrapy 스레드 사용방법

안녕하세요

제가 scrapy로 웹크롤링을 하는데요 데이터가 정말 많아지니까 데이터를 가져오는데 10시간 이상씩 걸리고 그러더라구요...

이걸 어떻게 해결해야 할까 찾아보니 스레드를 사용하면 된다고 하는데, 스레드를 한번도 사용 해 본 적이 없어서, 검색을 해봐도 Scrapy 스레드 사용법은 나오지않고 어떻게 해야 할지 모르겠습니다.

혹시 scrapy 여러 스레드를 이용해서 가져오는 방법 아시는분 계신가요..?

1답변

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

작성한 답변에 다른 개발자들이 댓글을 작성하거나 댓글에 좋아요/싫어요를 할 수 있기 때문에 계정을 필요로 합니다.