Scrapy 스레드 사용방법

조회수 2060회

안녕하세요

제가 scrapy로 웹크롤링을 하는데요 데이터가 정말 많아지니까 데이터를 가져오는데 10시간 이상씩 걸리고 그러더라구요...

이걸 어떻게 해결해야 할까 찾아보니 스레드를 사용하면 된다고 하는데, 스레드를 한번도 사용 해 본 적이 없어서, 검색을 해봐도 Scrapy 스레드 사용법은 나오지않고 어떻게 해야 할지 모르겠습니다.

혹시 scrapy 여러 스레드를 이용해서 가져오는 방법 아시는분 계신가요..?

  • (•́ ✖ •̀)
    알 수 없는 사용자

1 답변

  • scrapy는 웹 페이지를 긁어오는 라이브러리고 쓰레드를 이용하기 위해서는 threading 라는 라이브러리를 쓰셔야합니다.

    scrapy만 가지고서는 쓰레드를 못 만드는게 맞아요.

    python으로 뭔가 개발하고 싶으실 때 구글에 python **** 요런식으로 검색하면 괜찮은 검색결과들을 보실 수 있습니다.

    이번 같은 경우는 python thread 로만 검색해도 파이썬을 이용해 쓰레드를 다루는 방법들에 대한 설명이 잘 나옵니다 =)

    • (•́ ✖ •̀)
      알 수 없는 사용자

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)