AIHorizons

Wrap-up report의 개인 회고와 동일. 개인적인 감상 모든게 낯설었다 팀에게 도움이 되지 못하고 있는 것 같아 조급한 순간이 많았다. 다음에는 이것보다 무조건 잘해야지 하는 생각을 많이 했다. 주도적으로 내가 할 일을 찾아나가는 것이 중요하다는 생각을 했다. 체계적으로 내 실험에 대한 관리를 해야겠다고 느꼈다. 나는 내 학습 목표를 달성하기 위해 무엇을 어떻게 했는가? 낯선 환경에서 최대한 팀과 비슷한 환경을 맞추고, 베이스 라인 코드에 대한 이해를 기반으로 천천히 건드려보려고 최대한 노력했다. 내가 맡은 역할인 모델 별 비교를 하기 위해 다양한 모델에 대한 이론을 정리하고, 코드에 사용하는 모델과 loss등에 대한 공부를 진행해 ‘알고 쓰자’ 의 마인드로 접근했다. 팀에게 도움이 되지 못해도 ..

프로젝트를 진행하며 느낀 딥러닝 프로젝트에서의 다양한 방법론을 팀원들이 말하는데 잘 못알아 듣는 내용들이 있었다. 다음 프로젝트때 걸림돌이 되지 않으려면 이런 용어들을 공부해두려고 따로 정리해야겠다. Off-line vs On-line 학습 팀원들이 데이터에 대해 Off-line으로 데이터를 학습하자. 등의 말을 했는데, 그게 뭔지 몰랐었기 때문에 정리. 오프라인 학습 모델을 학습 시킨 뒤, 더 이상의 학습 없이 시스템에 적용하는 것. 새로운 데이터가 생성되면 전체 데이터셋을 통해 모델을 다시 학습해야 한다. 모든 데이터를 1개의 배치로 생각해 배치 학습이라고도 한다. 온라인 학습 미니 배치 단위에서 데이터를 사용해 학습하는 방법. 미니-배치 학습이라고도 한다. 실시간 반영이 중요한 시스템에서 사용된다...

Transformer를 사용한 모델도 사용해보자는 의견이 있어 정리하고 사용해보기 위한 정리글. ViT (Vision Transformer) NLP 분야에서 한 획을 그은 (GPT 모델에도 사용되는) Transformer를 image classification 분야에 맞게 변형하며 CNN을 사용하지 않도록 만든 모델. 사실상 이 모델의 등장 이후 CNN을 사용한 모델의 종말을 예고했고, Transformer가 NLP뿐 아닌 CV까지 뻗치며 인공지능의 근본이 되었다. 1. 이미지를 여러 개의 patch로 자른 후 각 패치별 embedding demension (16 x 16 x 3)으로 만든다. 이를 통해 기존 Transformer 모델에서의 시퀀스 데이터와 같이 만든다. 2. 각 패치에 대한 flatte..

EfficientNet, ResNet과 함께 실험해 볼 모델인 DenseNet에 대해 정리. 'Densely Connected Convolutional Networks' 논문에서 소개된 모델이다. 모든 레이어 간의 Feature map을 연결한 모델. 첫 번째 Convolution인 빨간 색 layer의 마지막 단인 feature map에서 연결된 빨간 선을 보면 이후 오는 모든 레이어에 연결한다. 즉 이전 레이어의 피처맵을 그 이후의 모든 레이어의 피처맵에 연결해 덧셈이 아닌 연결 연산을 한다. 이 연산을 통해 얻을 수 있는 점은 1. 모델이 이전의 정보를 기억하며 정보의 흐름이 이어진다. 기존의 CNN 모델에서 이전 레이어의 피처 맵이 다음 레이어의 입력 값으로 사용되며 많은 레이어를 통과해 모델의 ..