만들면서 배우는 생성 AI 정리 중

https://www.yes24.com/Product/Goods/122338458

만들면서 배우는 생성 AI - 예스24

 

<Generative Pre-trained Transformer>

• 어텐션 메커니즘: 사람은 문장의 특정 단어에 주의를 기울이고 다른 단어는 대체로 무시하는 작업을 수행하는데 이 작업을 하도록 설계 되었습니다. 관련없는 세부 사항 때문에 유용한 정보가 가려지는 일을 막고 효율적으로 추출하려면 입력의 어느 위치에서 정보를 가져올지 결정할 수 있습니다. 이를 통해 추론 시 정보를 찾을 위치를 결정할 수 있으므로 다양한 상황에 매우 잘 적응할 수 있습니다.
• 쿼리, 키, 값: 어텐션 헤드는 일종의 정보 검색 시스템으로 생각할 수 있습니다. 여기서 쿼리가 키/값(문장의 다른 단어) 저장소로 만들어지고 출력은 쿼리와 각 키 간의 유사성에 따라 가중치가 부여된 값의 합입니다. 
• https://editor.codecogs.com/

Equation Editor for online mathematics - create, integrate and download

 

어텐션 계산식

• 스킵 연결은 신경망이 방해받지 않고 정보를 전달할 수 있도록 그레이디언트가 없는 지름길을 제공하기 때문에 그레이디언트 소실 문제에 큰 영향을 받지 않고 매우 깊은 신경망 구축 가능
• 학습 과정에서 안정성을 주려고 트랜스포머 블록에 층 정규화를 사용
• 인코더 트랜스포머는 일반적으로 문장분류, 개체명 인식, 추출 질문 답변과 같이 입력을 전체적으로 이해해야 하는 작업에 사용합니다. (BERT)
• 인코더-디코더 트랜스포머는 번역, 언어적 적합성, 문장 유사성, 문서요약을 포함한 다양한 작업을 텍스트 투 텍스트 프레임워크로 재구성합니다. (T5)
• 디코더 트랜스포머는 텍스트 생성 작업에 사용 (GPT)
• RLHF (Reinforcement Learning from Human Feedback) 은 미세 튜닝 기술로   
  1. 지도 학습 미세튜닝: 사람이 작성한 대화형 입력 (프롬프트) 및 원하는 출력으로 구성된 데이터셋 수집 지도학습
  2. 보상모델링: 레이블을 부여할 사람에게 프롬프트와 몇 가지 샘플링된 모델 출력을 제시하고 순위를 지정하도록 요청한 결과를 예측하는 보상모델을 학습
  3. 강화학습: 1단계에서 미세 튜닝된 모델로 초기화된 언어 모델이 정책이 되는 강화학습 환경으로 대화를 처리. 현재 상태(대화기록)가 주어지면 정책은 행동(토큰 시퀀스)을 출력하고, 2단계에서 학습된 모상 모델이 해당 출력의 점수를 매깁니다. 그런 다음 강화 학습 알고리즘인 PPO (Proximal Policy Optimization)로 보상을 극대화하도록 언어 모델의 가중치를 조정