안녕하세요 최근에 파이썬 크롤링을 열심히 해보고 있는 왕초보입니다.ㅠㅠ

bs4, selenium을 배우고 크롤링을 해보고 있습니다. html도 배웠구요. 아직 시작한지 4주도 안 됐는데, 웬만한 사이트의 html은 크롤링하기 쉽고, 로그인해서 크롤링하는 것도 별로 어렵지 않고.. 근데 몇몇 사이트를 크롤링하다보니, url의 유형이 색다른 것이 나오더군요...!

예를 들면, abc.com/abc/abc#bcd:100 과 같이 #을 포함한 url이 나온 것입니다!!!

저는 다른 url과 마찬가지로 이 사이트도 크롤링하려고 했는데, 자꾸 element가 없다고 오류가 뜨는 것 아니겠어요? 왜 그러는지 원인을 계속 찾다가 크롬에서 보는 html과 selenium을 이용해 받아오는 html을 비교해봤는데, selenium에서 받아오는 html이 크롬의 html보다 누락된 정보가 많더군요.

누락된 정보의 특징은, #뒤의 내용이 바뀔 때마다 변화되는 html코드라는 것이었습니다.

그래서 언제나와 같이 구글링을 통해 정보를 찾아봤는데 쉽게 나오지 않더군요. 단지 알아낸 건, jsp와 관련이 있어 간단한 크롤러가 인식을 못 한다는 것을 알아냈고, 크롤링하기 어려우며(불가능?), #!을 크롤링하는 방법만 알아냈습니다.

그래서 질문을 요약하면, 크롤링을 할 때 #이 들어간 링크를 크롤하는 건 가능한가요? 또 가능하다면 어떤 방법으로 하나요? jsp를 배워야 하나요? 답변해주시면 감사하겠습니다 ㅠㅠ