kafka와 spark streaming 동작 원리?에 대해 질문 드립니다.

조회수 432회

실시간 데이터 스트리밍을 위해서 간단히 아키텍처를 그리고 있습니다

전송 방식이 각기 다른 IoT장비들(Producer) > Data Collector > Kafka > SparkStreaming > SQL Server > Power BI

이런식으로 구상중인데

Kafka에 특정 Topic에 데이터를 넣으면 Consumer에서 데이터를 꺼내간다고 표현하잖아요? SparkStreaming에서 kafka에 Connection해서 특정 Topic의 데이터를 꺼내가야하나요? 아니면 Kafka가 SparkStreagming의 특정 포트로 전송해주는 방식으로 해야하나요??

만약 전자이면 Spark Streaming에서 1초 간격으로 Dstream을 형성한다고할 때 Kafka에서 부하가 걸릴 일은 없나요?

Kafka에 대해 잘 몰라서 질문이 엉성하지만 도움 주시면 감사하겠습니다.

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)