Spark worker 리소스 분배 설정과 실제 사용 가능 메모리 양이 다른 이유가 뭘까요?

조회수 486회

이미지

위 사진처럼 standalone에 worker 인스턴스 3개 지정하고 각 worker는 1core / memory 2g를 할당하게 했습니다. 그리고 전체 코러를 다 할당하도록 shell을 열었는데

이미지

다음 사진처럼 Summary 부분의 active total에 잡혀있는 Storage Memory의 양이 3.3gb로 나옵니다. 그리고 driver를 제외하고는 각 worker의 Storage Memory는 956.6MB로 잡혔는데 나머지 1GB가 살짝 넘는 메모리는 어디에서 할당 되어 있는건가요????

그리고 두 번째 사진에서 왜 worker만 1core가 잡혀있고 driver 에는 core가 0일까요?

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)