근래들어서 크롤링 질문이 많네요?

상식적인 수준에서 생각하시면 됩니다.

html 은 단순 문자열로 취급할 수 있겠지만 javascript 는 실행해서 결과를 받아야 합니다.

javascript 소스는 자바스크립트 엔진(VM)이 있어야만 수행시킬 수 있습니다.

selenium 을 사용하는 이유는 브라우져의 기본 기능인 javascript 엔진과 DOM 을 사용할 수 있기 때문입니다.

selenium 을 제외한다면 javascript 소스는 spider monkey 같은 자바스크립트 엔진으로 javascript 소스를 수행하여 결과를 받아서 파싱해야 하고 javascript 내에서 HTML을 가공하고 있다면 DOM 관련해서도 처리해야 합니다.

정신건강상 selenium 사용을 추천드립니다.