웹크롤링 무한(?) 실행
조회수 786회
안녕하세요 아래와 같이 주식 관련 재무정보를 좀 크롤링하려고 코딩을 짜봤습니다
주석처리되어있는 code_list_test로 두 종목만 해봤을 때는 잘 작동이 되는데 전체 종목인 code_list (2000개 이상)을 돌렸더니
저 상태로 진행중 (*마크)에서 한참이 지나도 진행되지 않네요.. 고수님들 도와주십쇼! 무엇이 문제일까요?
-
(•́ ✖ •̀)
알 수 없는 사용자
1 답변
-
문제가 있는 것이 아니라 2000개 이상을 시퀀스하게 실행하게 되므로 오래 실행되는 겁니다. * 마크가 실행중이라는 의미입니다.
여기서 async/await 을 사용하여 concurrent 하게 수행한다면 http 의 io 대기시간을 줄일 수 있을 겁니다.
댓글 입력