[3] Video

먼저 이 논문의 제목을 다음과 같이 해석해 보자.

제어된 시공간 에너지 그래프?

– Gated: 개체간 고정 확률이 아닌 학습을 통한 확률 활용

– 공간: 입력 영상의 공간적 흐름

– Temporal: 입력 영상의 타이밍

.

따라서 본 논문에서는 확률, 공간, 시간에 의해 발생하는 관계를 수학적으로(확률적으로) 모델링하는 방법을 제안한다. 예를 들면 다음과 같습니다.

예 1)

어머니/임금/돈 사이에는 공간적 제약이 있다

=> 공간이 다르면 엄마와 돈의 다른 관계도 가능

(세그먼트)

.

예시 2) ,

GET/DDR 사이에는 시간 제한이 있습니다.

=> 두 관계 사이에 시간적 관계가 있음

(다른 세그먼트)

.

.

.

숲

확률론적 모델링 페이퍼이기 때문에 많은 공식이 있습니다. 수식의 의미만 적어보겠습니다.

.

1) 입력 세그먼트 X에 대해 y의 관계를 가질 확률

2) 다음 세그먼트의 정보를 일정 비율로 줄여서 적용

.

3) 이와 같이 모델링된 확률로 시공간 그래프를 구성하여 메시지 전달

– 세그먼트 간 메시징

– 확률적 그래픽 모델 중 하나인 CRF(Conditional Random Field)를 관계 추론에 사용

.

.

.

ImageNet 비디오에 대한 실험적 성능. 다른 모델보다 성능이 좋은 것을 알 수 있습니다.

.

.

.

– 객체의 pairwise 에너지 함수의 amortized gate parametrization을 이용하여 공간적, 시간적으로 완전히 인접한 구조를 고려한 그래프 제안

– 게이트 디자인을 통해 모델은 객체 간의 관계를 조정할 수 있습니다.<->객체와 객체<->현재 관찰(즉, 현재 비디오)에 따라 관계를 감지합니다.