Spark를 이용한 실시간 데이터 처리 아키텍처에 관해 질문 드립니다.

조회수 74회

이미지 유투브에서 실시간 빅데이터 처리 람다 아키텍처에 대해 찾아보다가 첨부한 이미지 처럼 Batch layer와 Speed Layer로 구분된 아키텍처를 찾았습니다.

질문입니다.

영상 설명을 참고하자면, NEW DATA 로부터 Kafka에 많은 양의 데이터가 빠르게 들어오면 해당 데이터를 Batch Layer와 Speed Layer에 각각 지속적으로 보내 주도록 한다고 했습니다. Kafka 다음 단계가 Spark Streaming이 아닌 그냥 Spark인데 Kafka로 들어온 데이터를 실시간으로 빠르게 하둡과, Spark 스트리밍에 전달할 수 있나요? Spark 에 배치가 한 번 시작되고 종료될 때 시간이 오래 걸리는데 아키텍처 이미지만 보고서는 어떻게 소스 구성이 됐는지 모르겠네요.

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.