konlpy 사용할 때 시간이 원래 이렇게 많이 걸리나요?

조회수 675회

9만로우 정도되는데 데이터프레임 형태로

from konlpy.tag import Kkma

kkma = Kkma(max_heap_size= 1024 * 6)

def get_nouns(x):

    nouns = kkma.nouns(x)

    nouns = [noun for noun in nouns if len(noun)>1]

    return nouns

df['ko_text'].apply(lambda x : get_nouns(x))

이거 실행하는데 오류가 나는것도 아니고 몇시간동안 실행중이라고만 뜨는데 원래 시간이 오래걸리는건가요?

  • 답을 할 수가 없습니다. 질문자 시스템 사양이 얼마인지...그리고 오래걸린다는데 무엇과 비교해서인지...100줄 정도로 해보세요 kkma 면 jvm 에서 동작합니다. 가벼운 모듈은 아니라는 겁니다. 정영훈 2020.4.25 21:06
  • 넵 오래걸리더군요. nsmc를 형태소 분석 했고 colab에서 실행 했습니다. konlpy 중에 mecab이 제일 빨랐습니다. 알 수 없는 사용자 2020.4.25 22:49
  • 아직도 그러는지 모르겠는데, Kkma 나 다른 형태소분석기(Hannanum 이던가)에서 빈문장이 들어가거나, 좀 이상한 데이터일 때, 완전히 멈춰버리는 경우가 있었어요. 이런 가능성도 생각해 보세요. nowp 2020.4.25 23:20

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)