When Fast Fourier Transform Meets Transformer for Image Restoration (2024)

개요

SFHformer는 Fast Fourier Transform(FFT) 메커니즘을 Transformer 아키텍처에 통합하여 다양한 이미지 복원 작업에 대한 효율적인 프레임워크를 제안하는 연구입니다.

주요 내용

* 빈번한 변환 (FFT)의 활용: 자연 이미지가 겪는 다양한 열화 현상을 주파수 관점에서 분석하며, 이를 기존의 모델 아키텍처 수정 중심 접근 방식과 달리 복원 작업의 사전 정보(prior)로 활용합니다.
* 이중 도메인 하이브리드 구조: 공간 도메인(local modeling)과 주파수 도메인(global modeling)을 결합한 구조를 설계하여 다중 스케일 수용 필드(receptive field)를 모델링합니다.
* 주파수 도메인 특징 추출: 각 주파수 구성 요소에 대한 고유한 위치 코딩(positional coding) 및 동적 주파수 컨볼루션(frequency dynamic convolution)을 설계하여 풍부한 주파수 도메인 특징을 추출합니다.
* 다양한 복원 작업에서의 성능 입증: 10가지 복원 작업(deraining, dehazing, deblurring, desnowing, denoising, super-resolution, underwater/low-light enhancement 등)에 걸친 31개의 복원 데이터셋에서 SFHformer가 최첨단(state-of-the-art) 접근 방식보다 우수한 성능을 보이며, 성능, 파라미터 크기, 계산 비용 간의 유리한 절충점을 달성했습니다.
* 코드 및 사전 훈련 가중치 공개: GitHub를 통해 구현 코드를 공개했으며, 일부 데이터셋에 대한 사전 훈련 가중치도 제공합니다.
* 후속 연구: SWFormer라는 이름의 확장 연구는 다중 도메인 학습을 통해 이미지 복원을 수행합니다.

시사점

SFHformer는 주파수 도메인 정보를 활용하여 이미지 복원 성능을 향상시키는 새로운 방향을 제시하며, 다양한 열화 현상에 대한 범용적인 이미지 복원 프레임워크 개발 가능성을 보여줍니다.