개발자를 위한 머신러닝 & 딥러닝 - NLP
1. 자연어 처리란사람의 언어를 이해하기 위한 인공지능 기술2. 언어를 숫자로 인코딩하기listen을 예로 들어보면, l, i, s, t, e, n의 아스키 코드 값은 76, 73, 83, 84, 69, 78이므로 이렇게 인코딩이 가능. → 좀 더 나아가서 문자가 아닌 단어를 기준으로 인코딩해보자! I love my dog에서 [1, 2, 3, 4]로 인코딩하면 I love my cat은 [1, 2, 3, 5]로 인코딩 가능. [1, 2, 3, 4]와 [1, 2, 3, 5]가 비슷하므로 두 문장은 비슷하다고 할 수 있다. 위의 과정이 Tokenization! 3. TensorFlow로 토큰화하기sentences = ['Today is a sunny day', 'Today is a rainy day'..