AIHorizons

  • 홈
  • 태그
  • 방명록

vit 1

[P-stage 1] Swin Transformer

Transformer를 사용한 모델도 사용해보자는 의견이 있어 정리하고 사용해보기 위한 정리글. ViT (Vision Transformer) NLP 분야에서 한 획을 그은 (GPT 모델에도 사용되는) Transformer를 image classification 분야에 맞게 변형하며 CNN을 사용하지 않도록 만든 모델. 사실상 이 모델의 등장 이후 CNN을 사용한 모델의 종말을 예고했고, Transformer가 NLP뿐 아닌 CV까지 뻗치며 인공지능의 근본이 되었다. 1. 이미지를 여러 개의 patch로 자른 후 각 패치별 embedding demension (16 x 16 x 3)으로 만든다. 이를 통해 기존 Transformer 모델에서의 시퀀스 데이터와 같이 만든다. 2. 각 패치에 대한 flatte..

네이버 부스트캠프 학습 정리/7주차 2023.04.21
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (70)
    • 삶 (7)
      • 회고록 (3)
      • ♪♫ (4)
    • CS (8)
      • 알고리즘 문제풀이 (4)
      • 알고리즘 정리 (2)
      • 소소한 깨달음 (1)
    • Data Science (1)
      • 통계 (1)
    • 프로젝트 (3)
      • 빅데이터분석 기말 프로젝트 (3)
    • 네이버 부스트캠프 학습 정리 (41)
      • 1주차 (6)
      • 2주차 (5)
      • 3주차 (4)
      • 4주차 (6)
      • 5주차 (4)
      • 6주차 (4)
      • 7주차 (4)
      • 8주차 (3)
      • 9~11주차 (2)
      • 12~13주차 (1)
      • 14~16주차 (2)
    • 논문리뷰 (5)
      • Generative model (1)
    • 대학원 (2)
      • 일상 (0)
      • 입학 (2)

Tag

구현, Python, timm.create_model, inbalanced sampler, pytorch, 파이썬 가상 환경, 네부캠 합격, image to text, teacher-student network, R-CNN, progressive GAN, 네부캠 AI tech, tenserboard, wandb, PGGAN, timm, nn.buffer, P-stage, Off-line 학습, On-line 학습,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바