http://starlog.ml/ 사이트 시스템 구현 원리?
조회수 5073회
다음 사이트를 발견하게 되었습니다.
아프리카TV라는 매체의 캐시 아이템(별풍선) 거래 내역을 통계화한 사이트입니다.
그런데 도대체 캐시 거래 내역 정보를 어떻게 가져올 수 있는건가요?
아프리카TV에서 API 를 공개하는건 아닌데 말입니다.
1 답변
-
API를 공개하지 않아도 웹페이지를 crawling해서 데이터를 가져올 수 있습니다. 예를 들어 Python의 경우 Scrapy와 같은 crawler를 사용하시면 사이트에 접속해서 html을 가져온 후 필요한 데이터를 추출할 수 있습니다.
-
(•́ ✖ •̀)
알 수 없는 사용자
- 해킹과는 다른 개념인가요? 이렇게 다 가져올 수 있다면... 아프리카tv가 보안이 약한게 아니라 어쩔 수 없는거네요? ... 상남자 2016.6.6 10:59
- 네 웹브라우저를 통해 가져올 수 있는 공개된 정보이기 때문에 해킹이라고 할 수 없습니다. 웹브라우저 대신 프로그램을 사용해 가져오는 것이죠. 알 수 없는 사용자 2016.6.6 13:50
- 그럼 불법도 당연히 아니겠군요. 캐시 정보를 숨겨서 구현할 수도 있는데 아프리카tv의 구현 방법 때문에 노출되고 그런거겠죠? 상남자 2016.6.6 17:10
- starlog 사이트 하단에 보면 '별풍 내용은 모두가 볼 수 있는 채팅창의 공개된 정보를 기반으로 기록되었습니다'라고 되어 있네요 알 수 없는 사용자 2016.6.6 18:07
- 네 결국 웹 브라우저를 통해 가져올 수 있는 정보로 구현했다 이 말이군요. 답변 감사드립니다!! 상남자 2016.6.6 18:12
-
댓글 입력