kafka와 spark streaming 동작 원리?에 대해 질문 드립니다.

조회수 82회

실시간 데이터 스트리밍을 위해서 간단히 아키텍처를 그리고 있습니다

전송 방식이 각기 다른 IoT장비들(Producer) > Data Collector > Kafka > SparkStreaming > SQL Server > Power BI

이런식으로 구상중인데

Kafka에 특정 Topic에 데이터를 넣으면 Consumer에서 데이터를 꺼내간다고 표현하잖아요? SparkStreaming에서 kafka에 Connection해서 특정 Topic의 데이터를 꺼내가야하나요? 아니면 Kafka가 SparkStreagming의 특정 포트로 전송해주는 방식으로 해야하나요??

만약 전자이면 Spark Streaming에서 1초 간격으로 Dstream을 형성한다고할 때 Kafka에서 부하가 걸릴 일은 없나요?

Kafka에 대해 잘 몰라서 질문이 엉성하지만 도움 주시면 감사하겠습니다.

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.