requests 모듈을 이용하여 크롤링 할 때 json decode error가 뜨는 상황입니다
조회수 1330회
안녕하세요, 저는 트위치 실시간 채팅 데이터를 크롤링하려 하고 있습니다.
https://steemit.com/kr-dev/@steemonen1/twitch
윗 분의 블로그를 참고하여 아래와 같이 코드를 작성하고 크롤링을 진행하려 했지만 자꾸만 json decode error가 나는 상황입니다.
에러 복사해서 하루종일 구글링하며 해결해보려 했지만 방법을 찾지 못해 이렇게 질문드립니다..
다만 크롬 개발자 도구를 유심히 살펴보다 아래 사진과 같은 사실을 발견했는데요.
제가 윗 분 블로그에서 봤을 때는 저 빨간 동그라미 부분이 json이라고 되어 있던데, 제가 현재 개발자 도구에서 볼 때는 위 사진과 같이 fetch라고 되어 있더라고요.
즉 채팅 정보를 담고 있는 부분을 트위치 측에서 더 이상 json 파일이 아닌 fetch 형태(?)로 제공하고 있어서, 위와 같은 json decode error가 발생한 것일까요..
그렇다면 이러한 경우 어떻게 크롤링하면 좋을지 정말 너무 궁금합니다ㅠㅠ
도움 간곡히 부탁드립니다. 읽어주셔서 정말 감사합니다.
댓글 입력