python(파이썬) 함수 동시 실행(병렬 실행)하기

조회수 1521회

파이썬을 이용해서 셀레니움 크롤링을 만들어서 사용중입니다.

결과적으로 실행 구조가 def function_name(url): 함수 내용

위와같이 되어있고

url = 'www.siteurl.com'

function_name(url)

이런식으로 실행하고 있는데 여러 페이지를 동시에 실행하고 싶은데 어떻게 해야하나요?

function_name(url)에 서로다른 주소를 입력하고 실행시키니까 순차적으로 되더라구요 순차 진행이 아닌 병렬 진행으로 크롤링을 하고싶습니다

  • 크롤링에선 지나치게 잦은 리퀘스트는 서버쪽에서 막아버릴 수 있는 게 이슈라서 일부러 sleep도 주고 그러는데, 병렬로 리퀘스트할 일이 있나요? nowp 2019.6.19 16:40

1 답변

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)