AIHorizons

https://www.youtube.com/watch?v=o8RkbHv2_a0 NewJeans Attention Is All You Need Sequential Model seq2seq 모델의 경우 인코더-디코더 구조로 구성되어 있다. 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해 출력 시퀀스를 만들어 낸다. 하지만 이 과정은 입력 시퀀스가 벡터로 압축되는 과정에서 그 정보가 손실되고, 이럴 보정하기 위해 사용하는 기법이 어텐션이다. 트랜스포머는 이 어텐션만으로 인코더와 디코더를 만든다는 아이디어에서 고안된 모델이다. 그래서 Attention Is All You Need라는 논문으로 게재되었다. High-Level Look for Transformer 인코딩 구간의..

Semantic Segmentation(의미적 분할) 객체 인식의 영역에서 이미지 내 특정 역역에 대한 분류 결과를 바운딩 박스로 보여주었다면, 의미적 분할에서는 이미지 내 모든 픽셀에 대한 분류 결과를 보여준다. 즉, 어떤 픽셀이 어떤 객체에 속한 픽셀인지를 모두 포함한다. 이런 세세한 분류가 필요한 영역으로는 특히 자율주행 분야에서 사용하고 있다. Fully Convolutional Network 여러 모델에서 마지막에 거치는 flatten model. 이 경우 parameters의 수가 급격하게 증가하며 Million 단위로 증가하게 된다. 이미지의 분류를 위해 하나의 결과값을 뽑기 위한 fully-connected를 통한 출력층이다. 하지만 Sementic Segmentation에서는 fc lay..

Convolution 합성곱. 두 함수 \((f, g\)가 있을 때 한 함수 \((f\)의 모양이 나머지 함수 \(g\)에 의해 모양이 수정된 제 3의 함수 \(f * g\)를 생성해주는 연산자로 Continuous convolution \(f * g)(t)=\int f(\tau) g(t-\tau) d \tau=\int f(t-\tau) g(t) d \tau\) Discrete convolution \((f * g)(t)=\sum_{i=-\infty}^{\infty} f(i) g(t-i)=\sum_{i=-\infty}^{\infty} f(t-i) g(i)\) 2D image convolution \((I * K)(i, j)=\sum_m \sum_n I(m, n) K(i-m, j-n)=\sum_m \sum..

Neural Networks 뉴런 신경 세포(神經細胞) 또는 신경원(神經元)은 신경아교세포와 함께 신경계와 신경조직을 이루는 기본 단위이다. 신경계의 모든 작용이 신경세포와 신경세포 간의 상호작용으로 인해 이루어진다. 예를 들어, 우리 몸의 내부와 외부에 자극을 가하게 되면 일련의 과정을 통해 뉴런은 자극을 전달하게 되며, 최종적으로 척수와 뇌 등의 중추신경계로 도달하게 되며 중추신경계에서 처리한 정보를 다시 우리 몸으로 전달해 명령을 수행한다. 인간의 뇌의 일부분으로 이를 이용한 모델을 뉴럴 네트워크라고 부른다. 하지만 인간의 사고에서 역전파와 같은 개념은 사용하지 않는다. 이미 많은 방식으로 딥러닝 모델은 발전해 왔고, 이제는 단순히 인간의 뇌를 모방한 시스템이라기에는 멀리 왔다. 인간의 뇌를 모방했..