Spark worker 리소스 분배 설정과 실제 사용 가능 메모리 양이 다른 이유가 뭘까요?

조회수 55회

이미지

위 사진처럼 standalone에 worker 인스턴스 3개 지정하고 각 worker는 1core / memory 2g를 할당하게 했습니다. 그리고 전체 코러를 다 할당하도록 shell을 열었는데

이미지

다음 사진처럼 Summary 부분의 active total에 잡혀있는 Storage Memory의 양이 3.3gb로 나옵니다. 그리고 driver를 제외하고는 각 worker의 Storage Memory는 956.6MB로 잡혔는데 나머지 1GB가 살짝 넘는 메모리는 어디에서 할당 되어 있는건가요????

그리고 두 번째 사진에서 왜 worker만 1core가 잡혀있고 driver 에는 core가 0일까요?

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.