찾고 계신 것은 템플릿(templates), 레이아웃(layouts) 등으로 불리는 뷰 요소입니다. 헤더, 푸터 그리고 그 사이의 빈칸으로 이루어진 하나의 템플릿(또는 레이아웃)을 만들어둔 다음, 실제 뷰를 호출할 때는 그 빈칸에 내용을 채워서 보여주는 방식입니다.

JSP가 태그에 걸려 있으니 "jsp layout"으로 찾아보자면 그냥 include 써도 되고 아니면 Tiles라는 프레임워크도 있다고 하네요.