AIHorizons

  • 홈
  • 태그
  • 방명록

image to text 1

[CV basic] Multi-modal

Multi - modal 인간의 지각 능력 (시각, 청각, 후각, 촉각 등)의 여러 지각 능력에서 각 다른 지각의 특성을 갖는 데이터들을 함께 이용해서 학습한 모델을 의미한다. Text data를 사용해 Image를 분류할 수 있는 모델이나, 반대로 Image data를 사용해 그 image를 설명하는 text를 생성하는 모델 등이 해당된다. 하지만 이런 멀티 모달은 학습하기 어려운 특징이 있다. 각 데이터의 유형마다 가지고 있는 정보가 다르기 때문에 정보의 양 뿐만 아니라 feature space 역시 다 다르기 때문에 유형마다의 차이가 크기에 합쳐서 표현할 방법이 필요하다. 멀티 모달의 여러 유형마다 데이터의 난이도, 편향등이 다르기 때문에 같은 비율의 데이터를 사용해 학습을 진행하는 경우 결과로 한..

네이버 부스트캠프 학습 정리/5주차 2023.04.09
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (70)
    • 삶 (7)
      • 회고록 (3)
      • ♪♫ (4)
    • CS (8)
      • 알고리즘 문제풀이 (4)
      • 알고리즘 정리 (2)
      • 소소한 깨달음 (1)
    • Data Science (1)
      • 통계 (1)
    • 프로젝트 (3)
      • 빅데이터분석 기말 프로젝트 (3)
    • 네이버 부스트캠프 학습 정리 (41)
      • 1주차 (6)
      • 2주차 (5)
      • 3주차 (4)
      • 4주차 (6)
      • 5주차 (4)
      • 6주차 (4)
      • 7주차 (4)
      • 8주차 (3)
      • 9~11주차 (2)
      • 12~13주차 (1)
      • 14~16주차 (2)
    • 논문리뷰 (5)
      • Generative model (1)
    • 대학원 (2)
      • 일상 (0)
      • 입학 (2)

Tag

PGGAN, 파이썬 가상 환경, 구현, nn.buffer, Python, On-line 학습, timm.create_model, progressive GAN, P-stage, R-CNN, wandb, image to text, 네부캠 합격, inbalanced sampler, Off-line 학습, 네부캠 AI tech, timm, pytorch, tenserboard, teacher-student network,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바