유투브에서 실시간 빅데이터 처리 람다 아키텍처에 대해 찾아보다가 첨부한 이미지 처럼 Batch layer와 Speed Layer로 구분된 아키텍처를 찾았습니다.

질문입니다.

영상 설명을 참고하자면, NEW DATA 로부터 Kafka에 많은 양의 데이터가 빠르게 들어오면 해당 데이터를 Batch Layer와 Speed Layer에 각각 지속적으로 보내 주도록 한다고 했습니다. Kafka 다음 단계가 Spark Streaming이 아닌 그냥 Spark인데 Kafka로 들어온 데이터를 실시간으로 빠르게 하둡과, Spark 스트리밍에 전달할 수 있나요? Spark 에 배치가 한 번 시작되고 종료될 때 시간이 오래 걸리는데 아키텍처 이미지만 보고서는 어떻게 소스 구성이 됐는지 모르겠네요.