HDF5 포맷 질문

조회수 458회

안녕하세요?

C 임베디드 시스템에서 노트북으로 LAN을 연결해 고속 데이터를 받아오고 있는데요. 한 사이클이 끝나면 .dat 파일로 10기가정도 저장이 되어 버전관리가 어려운 상황입니다.

그러던 중 HDF라는 대용량 파일포맷을 알게되었는데 찾아보아도 장점이 무엇인지 명확히 알기 어려운데... 제가 이해한 부분은 다중 포맷 지원을 통해 이미지-텍스트-데이터 등을 한 파일에 담을 수 있다는 장점이 있다는 건데요.

기존 .dat이나 csv에 비해 저장용량 부분에서도 이점이 있을까요?

  • (•́ ✖ •̀)
    알 수 없는 사용자

1 답변

  • HDF는 계층형 파일 시스템입니다. 쉽게 말해, 일종의 파일 시스템처럼 HDF 파일 안에 텍스트, 이미지같은 파일들을 저장할 수 있습니다. 이러한 구조는 HDF 파일에서 B-Tree라는 자료구조를 이용해 구현되는데, 이 덕분에 특히 정렬된 파일 내부의 자료를 읽거나 바꿀 때 빠른 속도를 얻게 해 준다는 장점이 있습니다.

    HDF 파일에서는 저장 용량에서는 별 이점은 없을 것입니다. 어떤 데이터를 다루시는지는 알 수 없지만, 그 데이터를 그냥 raw dat/csv 파일에 저장하는 것보다는 저장공간이 더 필요할 거에요.

    혹시 버전관리를 Git으로 하신다면 Git LFS가 해결책이 될수도 있겠네요.

    • (•́ ✖ •̀)
      알 수 없는 사용자

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)