http://starlog.ml/ 사이트 시스템 구현 원리?

다음 사이트를 발견하게 되었습니다.

아프리카TV라는 매체의 캐시 아이템(별풍선) 거래 내역을 통계화한 사이트입니다.

그런데 도대체 캐시 거래 내역 정보를 어떻게 가져올 수 있는건가요?

아프리카TV에서 API 를 공개하는건 아닌데 말입니다.

1답변

  • 좋아요

    0

    싫어요
    채택취소하기

    API를 공개하지 않아도 웹페이지를 crawling해서 데이터를 가져올 수 있습니다. 예를 들어 Python의 경우 Scrapy와 같은 crawler를 사용하시면 사이트에 접속해서 html을 가져온 후 필요한 데이터를 추출할 수 있습니다.

    참고: http://scrapy.org/

    • 해킹과는 다른 개념인가요? 이렇게 다 가져올 수 있다면... 아프리카tv가 보안이 약한게 아니라 어쩔 수 없는거네요? ... 상남자 2016.6.6 10:59
    • 네 웹브라우저를 통해 가져올 수 있는 공개된 정보이기 때문에 해킹이라고 할 수 없습니다. 웹브라우저 대신 프로그램을 사용해 가져오는 것이죠. 이확영 2016.6.6 13:50
    • 그럼 불법도 당연히 아니겠군요. 캐시 정보를 숨겨서 구현할 수도 있는데 아프리카tv의 구현 방법 때문에 노출되고 그런거겠죠? 상남자 2016.6.6 17:10
    • starlog 사이트 하단에 보면 '별풍 내용은 모두가 볼 수 있는 채팅창의 공개된 정보를 기반으로 기록되었습니다'라고 되어 있네요 이확영 2016.6.6 18:07
    • 네 결국 웹 브라우저를 통해 가져올 수 있는 정보로 구현했다 이 말이군요. 답변 감사드립니다!! 상남자 2016.6.6 18:12

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

작성한 답변에 다른 개발자들이 댓글을 작성하거나 댓글에 좋아요/싫어요를 할 수 있기 때문에 계정을 필요로 합니다.