스파이더몽키류의 자바스크립트 구현체로 자바스크립트를 수행하여 결과를 얻는 경우도 있고 selenium 같은 테스트 자동화 프로그램을 이용하기도 합니다.

전자는 많이 번거롭지만 후자의 selenium을 이용한 방법은 설치되어 있는 브라우져를 이용하여 브라우징된 html을 그대로 이용할 수 있다는 장점이 있습니다.

물론 selenium도 단점이 있는데 브라우져 자체를 이용하므로 브라우져가 수행하는 만큼 무겁고 느립니다.

질문자께 추천 드리는 방법은 headless 브라우져(결과가 화면에 표시 안되는 가벼운 웹엔진)인 phantomjs 을 selenium 으로 컨르롤하여 결과를 얻는 방법입니다.