django로 크롤링 웹사이트를 만들고 있습니다.
조회수 626회
현재 사용자가 디비 접속시 크롤링 후 정보를 저장하고 디비에서 출력하여 사용자에게 보여주는거 까지 구현했습니다. 접속 할때마다 사용자가 크롤링을 하게 되서 로드 속도가 많이 느려집니다. 그래서 크롤링후 디비에 저장하는건 백엔드쪽에서 구현하고, 가져오는건 제이쿼리 document.ready를 통해 가져오려는데 이렇게 가져올 경우 오류가 발생 할 수도 있나요?
웹페이지 로드 시 자바스크립트 로드 후 디비 데이터를 가져오는식으로 웹페이지가 동작되는것도 맞나요? 아니면 자바스크립트 로드가 비동기 처리 되므로 가져오는데에는 순서가 따로 없나요?
1 답변
-
- 오류가 발생하기는커녕 오히려 그렇게 진행하셔야 합니다. 비동기 큐 처리라고 부르는 것을 공부하실 때가 되었습니다. django에서는 Celery라는 걸 쓴다는군요.
- 데이터를 가져오는 데 순서가 따로 있느냐 하셨는데, 오히려 사용자 관점에서 말하자면, 솔직히 말해서 데이터란 건 내가 기대한 순간에 너무 느리지 않게만 떠 주면 그만입니다.
- 내가 "지금 데이터 다운로드" 버튼을 눌렀을 때
- 내가 "데이터 가져오기" 버튼을 눌렀더니 웬 프로그레스 바가 떠서, 그게 100% 로딩될 때까지 기다렸을 때
- 내가 "데이터 다운로드 신청" 버튼을 눌렀더니 이메일을 입력하라는 창이 떠서, 이메일을 입력하고, 대충 하루 정도 기다렸을 때
참고가 되면 좋겠네요.
댓글 입력