Scrapy 스레드 사용방법


안녕하세요

제가 scrapy로 웹크롤링을 하는데요 데이터가 정말 많아지니까 데이터를 가져오는데 10시간 이상씩 걸리고 그러더라구요...

이걸 어떻게 해결해야 할까 찾아보니 스레드를 사용하면 된다고 하는데, 스레드를 한번도 사용 해 본 적이 없어서, 검색을 해봐도 Scrapy 스레드 사용법은 나오지않고 어떻게 해야 할지 모르겠습니다.

혹시 scrapy 여러 스레드를 이용해서 가져오는 방법 아시는분 계신가요..?

  • 2016년 06월 25일에 작성됨
    안녕하세요

조회수 318


1 답변


좋아요
0
싫어요
채택취소하기

scrapy는 웹 페이지를 긁어오는 라이브러리고 쓰레드를 이용하기 위해서는 threading 라는 라이브러리를 쓰셔야합니다.

scrapy만 가지고서는 쓰레드를 못 만드는게 맞아요.

python으로 뭔가 개발하고 싶으실 때 구글에 python **** 요런식으로 검색하면 괜찮은 검색결과들을 보실 수 있습니다.

이번 같은 경우는 python thread 로만 검색해도 파이썬을 이용해 쓰레드를 다루는 방법들에 대한 설명이 잘 나옵니다 =)

  • 2016년 06월 28일에 작성됨
    보안 분야 업무를 하고있으며, python개발을 주로 합니다.

  • 감사합니다    khpark   2016.8.29 05:40     

로그인이 필요한 기능입니다.

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 작성한 답변에 다른 개발자들이 댓글을 작성하거나 좋아요/싫어요를 할 수 있기 때문에 계정을 필요로 합니다.
► 로그인
► 계정만들기
Close