AIHorizons

  • 홈
  • 태그
  • 방명록

Attention 1

[DL basic] Transformer

https://www.youtube.com/watch?v=o8RkbHv2_a0 NewJeans Attention Is All You Need Sequential Model seq2seq 모델의 경우 인코더-디코더 구조로 구성되어 있다. 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해 출력 시퀀스를 만들어 낸다. 하지만 이 과정은 입력 시퀀스가 벡터로 압축되는 과정에서 그 정보가 손실되고, 이럴 보정하기 위해 사용하는 기법이 어텐션이다. 트랜스포머는 이 어텐션만으로 인코더와 디코더를 만든다는 아이디어에서 고안된 모델이다. 그래서 Attention Is All You Need라는 논문으로 게재되었다. High-Level Look for Transformer 인코딩 구간의..

네이버 부스트캠프 학습 정리/3주차 2023.03.26
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (70)
    • 삶 (7)
      • 회고록 (3)
      • ♪♫ (4)
    • CS (8)
      • 알고리즘 문제풀이 (4)
      • 알고리즘 정리 (2)
      • 소소한 깨달음 (1)
    • Data Science (1)
      • 통계 (1)
    • 프로젝트 (3)
      • 빅데이터분석 기말 프로젝트 (3)
    • 네이버 부스트캠프 학습 정리 (41)
      • 1주차 (6)
      • 2주차 (5)
      • 3주차 (4)
      • 4주차 (6)
      • 5주차 (4)
      • 6주차 (4)
      • 7주차 (4)
      • 8주차 (3)
      • 9~11주차 (2)
      • 12~13주차 (1)
      • 14~16주차 (2)
    • 논문리뷰 (5)
      • Generative model (1)
    • 대학원 (2)
      • 일상 (0)
      • 입학 (2)

Tag

inbalanced sampler, 파이썬 가상 환경, P-stage, Python, teacher-student network, 네부캠 AI tech, progressive GAN, R-CNN, 네부캠 합격, 구현, Off-line 학습, nn.buffer, image to text, pytorch, tenserboard, wandb, timm, timm.create_model, On-line 학습, PGGAN,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바