requests 모듈을 이용하여 크롤링 할 때 json decode error가 뜨는 상황입니다

조회수 41회

안녕하세요, 저는 트위치 실시간 채팅 데이터를 크롤링하려 하고 있습니다.

https://steemit.com/kr-dev/@steemonen1/twitch

윗 분의 블로그를 참고하여 아래와 같이 코드를 작성하고 크롤링을 진행하려 했지만 자꾸만 json decode error가 나는 상황입니다. 이미지

에러 복사해서 하루종일 구글링하며 해결해보려 했지만 방법을 찾지 못해 이렇게 질문드립니다..

다만 크롬 개발자 도구를 유심히 살펴보다 아래 사진과 같은 사실을 발견했는데요.이미지

제가 윗 분 블로그에서 봤을 때는 저 빨간 동그라미 부분이 json이라고 되어 있던데, 제가 현재 개발자 도구에서 볼 때는 위 사진과 같이 fetch라고 되어 있더라고요.

즉 채팅 정보를 담고 있는 부분을 트위치 측에서 더 이상 json 파일이 아닌 fetch 형태(?)로 제공하고 있어서, 위와 같은 json decode error가 발생한 것일까요..

그렇다면 이러한 경우 어떻게 크롤링하면 좋을지 정말 너무 궁금합니다ㅠㅠ

도움 간곡히 부탁드립니다. 읽어주셔서 정말 감사합니다.

  • json 이 아니기 때문에 발생하는 겁니다. 4년전 문서 같은데 아무래도 변경되었겠지요...트위치 결과를 다시 분석하고 코딩해야 할 것으로 보입니다. 정영훈 2021.10.11 22:16
  • ㄴ아 역시 그렇군요.. 답변 감사드립니다! 제가 fetch는 처음 들어봐서 찾아 본 결과 자바 스크립트와 관련 있는 것 같던데, 그럼 파이썬으로 크롤링하기 어려운 부분일까요? 혹시 아시는 부분 있다면 답변 부탁드리겠습니다. fuuu 2021.10.11 22:20
  • 코드를 이미지로 올리지 마세요 초보 2021.10.12 09:07
  • ㄴ제가 질문을 처음 올리느라 잘 몰랐습니다. 이미지로 올리면 어떤 문제가 있나요? fuuu 2021.10.12 10:35
  • 이미지의 fetch 는 javascript 와는 관계 없습니다. 이미지가 아닌 text 형태의 data 를 의미하는 것이고 파이썬으로 크롤링 가능합니다. 정영훈 2021.10.12 12:34
  • ㄴ감사합니다. 참고하여 좀 더 공부해보겠습니다! fuuu 2021.10.12 16:56

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.