네 String 리소스 xml에서 , 같은 HTML을 지원하는데요.

<resource>
    <string name="your_string_here">This is an <u>underline</u>.</string>
</resources>

이런식으로 내용를 해주면 내용에 해당하는 부분에 밑줄이 생깁니다.

또 코드상에서는

TextView textView = (TextView) view.findViewById(R.id.textview);
SpannableString content = new SpannableString("Content");
content.setSpan(new UnderlineSpan(), 0, content.length(), 0);
textView.setText(content);

이런식으로해주면됩니다.