javascript 는 VM에 의해 동적으로 실행이 되는 환경입니다.

즉 spider monkey 같은 javascript 엔진을 사용해서 별도 처리를 해야 합니다.

그러나 그렇게 할 경우 너무 고려할게 많으므로 성능을 고려하지 않을거라면 selenium 을 이용해서 브라우져를 이용해서 크롤링을 할 수 있습니다.

selenium 과 PhantomJS 조합을 추천합니다.