NLP/코드 (1) 썸네일형 리스트형 Bigram Model 구현해보기 책을 보고 Unsmooth Bigram Model 구현 코드를 Python으로 코드를 작성했다. Unknown Word와 특정 단어의 반복 문제 등이 있는 Model이다. 개념을 코드로 구현해보기 위한 것이니 고려해서 보면 좋을 것 같다. 1. Train Corpus 로딩 with open(Corpus 파일 경로, 'r') as fr: contents = fr.read() 2. Bigram 단어 개수 Dictionary 생성 Corpus을 줄과 White Space(' ')기준으로 분리해 Bigram Model에 사용할 단어 개수 Dictionary를 생성 lines = contents.split('\n') word_count_for_bigram_dic = {} for line in lines : seq.. 이전 1 다음
