허깅페이스 트랜스포머를 기반으로 다양한 모델과 학습 데이터, 학습 방법을 구현해 놓은 모듈 질의 응답, 텍스트 분류, 텍스트 요약, 개체명 인식, 텍스트 생성, 번역, 언어모델 !pip install transformers ------------------------------------------------ Collecting transformers Downloading transformers-4.30.2-py3-none-any.whl (7.2 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 7.2/7.2 MB 62.1 MB/s eta 0:00:00 Requirement already satisfied: filelock in /usr/local/lib/python3.10..

1. BERT 모델 2018년도 Google의 논문에서 처음 제안된 모델로, Transformer의 인코더 기반의 언어 모델 unlabeled data로 부터 pre-train을 진행한 후, 특정 downstream task에 fine-tuning을 하는 모델 deep bidirectional을 더욱 강조하여 기존의 모델들과의 차별성을 강조 하나의 output layer만을 pre-trained BERT 모델에 추가하여 NLP의 다양한 주요 task(11개)에서 SOTA를 달성 1-1. BERT 모델 개요 LM의 pre-training 방법은 BERT 이전에도 많이 연구되고 있었고, 실제로 좋은 성능을 내고 있었음 특히 문장 단위의 task에서 두각을 보였는데, 이러한 연구들은 두 문장의 관계를 전체적으..

1. GPT( Generative Pre_Training ) GPT 모델은 2018년 6월에 OpenAI가 논문에서 처음 제안 GPT도 unlabeled data 로 부터 pre-train을 진행한 후, 이루르 특정 downstream task(with labeled data)에 fine-turning(transfer learning)을 하는 모델 Transfermer의 decoder만 사용하는 구조 1-1. GPT 모델의 특징 사전학습에는 대규모의 unlabeled data를 사용하는데 unlabeled data에서 단어 수준 이상의 정보를 얻은 것은 매우 힘듦 또한 어떤 방법이 유효한 텍스트 표현을 배우는데 효과적인지 불분명함 사전학습 이후에도, 어떤 방법이 fine-turning에 가장 효과적인지 ..

1. 트랜스포머(Transformer) 2017년 구글이 발표한 논문 'Attention is all you need'에서 발표된 모델 seq2seq의 구조인 인코더-디코더를 따르면서도, 어텐션(Attention)만으로 구현된 모델 RNN을 사용하지 않고, 인코더- 디코더 구조를 설계하였음에도 번역 성능에서도 RNN보다 우수한 성능을 보여주었으며 2017년 이후 지금까지도 다양한 분야에서 사용되는 범용적인 모델 1-1. 트랜스포머의 특징 인코더가 입력 문장의 정보를 벡터로 압축할 때 입력 문장의 정보가 일부 손실됨을 보정하기 위해 어텐션 메커니즘이 제안되었으며 실제로 seq2seq 모델에 attention을 사용한 구조는 어느정도 성능 향상을 가져옴(여전히 RNN의 구조적인 문제로 한계점은 있음) 기존 ..

1.ELMo(EMbedding from Language Model) 2018년에 논문에서 제안된 새로운 워드 임베딩 방법론 언어 모델로 하는 임베딩을 의미 ELMo의 가장 큰 특징은 사전 훈련된 언어 모델(Pre-Trained Langugae Model) 1-1. 기존 워드 임베딩의 한계 주변 문맥 정보를 활용하여 단어를 벡터로 표현하는 방법 같은 표기의 단어를 문맥에 따라 다르게 임베딩 할 수 없음 1-2. ELMo의 특징 사전 학습된 단어 표현을 사용했다는 것 사전학습은 대량의 자연어 코퍼스를 미리 학습하여, 자연어 코퍼스 안에 포함된 일반화된 언어 특성들을 모델의 파라미터 안에 함축하는 방법 기존 논문에서도 일반화된 언어 특성들을 고려하기 위해 사전 학습된 단어 표현들을 사용했으나 문법이나 문맥 내..

1.문장 임베딩 2017년 이전의 임베딩 기법들은 대부분 단어 수준 모델이였음(Word2Vec,FastText,GloVe) 단어 수준 임베딩 기법은 자연어의 특성인 모호성, 동음이의어를 구분하기 어렵다는 한계가 있음 2017년 이후에는 ELMo(Embeddings from Language Models)와 같은 모델이 발표되고 트랜스포머와 같은 언어 모델에서 문장 수준의 언어 모델링을 고려하면서 한계점들이 해결됨 1-1. 언어 모델 자연어처리 작업은 자연어 문장을 생성하거나 예측하는 방식으로 결과를 표현함 자연어처리 작업에서는 자연어를 수치화하여 표현할 수 있는 언어 모델을 사용 언어 모델은 자연어 문장 혹은 단어에 확률을 할당하여 컴퓨터가 처리할 수 있도록 하는 모델로 주어진 입력에 대해 가장 자연스러운..