- 사내 AI연구소 픽셀 랩(Pixell Lab), 개선할 영상 프레임의 ‘시공간 순환형’ 정렬 방법 제안
- 복잡하고 비용 높은 다중 연산 과정을 최소화해 처리 시간 단축하면서도 오류는 최소화
(2024.11.15) 콘텐츠 AI 솔루션 기업 포바이포(4by4, 대표: 윤준호)는 사내 AI연구소가 작성한 새로운 AI 화질 고도화 방법 관련 논문이 미국 전기전자통신학회(IEEE)가 개최하는 국제학술대회 ‘ICCE 2025' 논문으로 채택됐다고 15일 밝혔다.
포바이포 AI 연구소 ‘픽셀 랩(Pixell Lab)’이 작성한 이번 논문 ‘영상 화질 개선을 위한 시공간 순환 정렬 방법(A Spatio-Temporal Recurrent Alignment for Video)’은 영상 화질 개선을 위해 기존 사용해왔던 직선적인 프로세스를 구간별로 반복하는 순환형 프로세스로 개선함으로써 품질은 유지하고 시간과 비용은 낮출 수 있는 획기적인 제안을 담고 있다.
<(좌) 리포트 논문 표지, (우 상단) 기존 모델과의 비교, (우 하단)제안하는 순환 아키텍처 모식도>
더 자세히 살펴보면 기존 영상의 화질을 개선하는 방법들은 영상 내 이미지를 직선으로 늘어놓은 후 앞 뒤 프레임 사이의 변화, 즉 ‘광학적 흐름 추정(Optical Flow Estimate)’방법을 통해 개선해야 할 부분을 포착하고 개선해왔는데 이런 방식은 다중 연산 과정이 필요해 복잡하고 어려운데다 시간도 많이 소요된다. 또 잘못된 추정에 따른 오류도 적지 않은데다 찾아낸 결함은 고비용이 요구되는 모션 보정 과정을 별도로 거쳐야 했다.
하지만 포바이포가 이번 논문을 통해 제안한 방식은 영상 프레임들을 직선이 아닌 순환형 구조로 정렬하고 블록화하여 복잡한 연산 없이도 변화된 부분과 개선해야 할 부분을 빠르게 찾아낼 수 있다. 이 방식을 사용하면 연산 처리 과정이 줄어들어 화질 개선 시간을 단축시킬 수 있을 뿐 아니라 오류와 노이즈를 줄이고 영상의 일관성도 높일 수 있어 영상의 품질을 극대화할 수 있다.
이번 논문의 저자이자 실증 과정을 주도한 포바이포 김현철 AI연구소장은 “단순히 AI 모델을 개발하는 연구자가 아닌 실제로 화질 개선 AI 솔루션을 판매, 서비스하는 회사의 구성원의 입장에서 고민해왔기 때문에 이 같은 개선 방안을 찾아낼 수 있었다고 생각한다”며 “프레임의 정렬 방식을 바꾸는 단순한 프로세스 개선만으로 이정도로 높은 효율을 이끌어 낼 수 있다는 사실을 확인한만큼 실제 제품 성능과 서비스 개선에도 큰 도움이 될 것”이라고 말했다.
이번 논문이 채택된 ‘ICCE(International Conference on Consumer Electronics)’는 세계 3대 가전 전시회 CES와 함께 개최되는 국제적인 학술 행사로 인공지능과 이미지 처리 또 이와 관련된 소비자 전자기기 최신 기술 등이 대거 소개되는 행사로 널리 알려져 있다.
특히 전세계적으로 해당 분야에서 가장 높은 학술적 공신력을 자랑하는 美 전기전자통신학회 소비자 기술 학회(IEEE CTSoc)가 개최하는 연례 대표 컨퍼런스인만큼 전 세계 산업계, 정계, 학계 최고 전문가들이 한자리에 모이는 국제적인 행사다.
포바이포, 美 IEEE 국제학술대회 논문 채택
- 사내 AI연구소 픽셀 랩(Pixell Lab), 개선할 영상 프레임의 ‘시공간 순환형’ 정렬 방법 제안
- 복잡하고 비용 높은 다중 연산 과정을 최소화해 처리 시간 단축하면서도 오류는 최소화
(2024.11.15) 콘텐츠 AI 솔루션 기업 포바이포(4by4, 대표: 윤준호)는 사내 AI연구소가 작성한 새로운 AI 화질 고도화 방법 관련 논문이 미국 전기전자통신학회(IEEE)가 개최하는 국제학술대회 ‘ICCE 2025' 논문으로 채택됐다고 15일 밝혔다.
포바이포 AI 연구소 ‘픽셀 랩(Pixell Lab)’이 작성한 이번 논문 ‘영상 화질 개선을 위한 시공간 순환 정렬 방법(A Spatio-Temporal Recurrent Alignment for Video)’은 영상 화질 개선을 위해 기존 사용해왔던 직선적인 프로세스를 구간별로 반복하는 순환형 프로세스로 개선함으로써 품질은 유지하고 시간과 비용은 낮출 수 있는 획기적인 제안을 담고 있다.
<(좌) 리포트 논문 표지, (우 상단) 기존 모델과의 비교, (우 하단)제안하는 순환 아키텍처 모식도>
더 자세히 살펴보면 기존 영상의 화질을 개선하는 방법들은 영상 내 이미지를 직선으로 늘어놓은 후 앞 뒤 프레임 사이의 변화, 즉 ‘광학적 흐름 추정(Optical Flow Estimate)’방법을 통해 개선해야 할 부분을 포착하고 개선해왔는데 이런 방식은 다중 연산 과정이 필요해 복잡하고 어려운데다 시간도 많이 소요된다. 또 잘못된 추정에 따른 오류도 적지 않은데다 찾아낸 결함은 고비용이 요구되는 모션 보정 과정을 별도로 거쳐야 했다.
하지만 포바이포가 이번 논문을 통해 제안한 방식은 영상 프레임들을 직선이 아닌 순환형 구조로 정렬하고 블록화하여 복잡한 연산 없이도 변화된 부분과 개선해야 할 부분을 빠르게 찾아낼 수 있다. 이 방식을 사용하면 연산 처리 과정이 줄어들어 화질 개선 시간을 단축시킬 수 있을 뿐 아니라 오류와 노이즈를 줄이고 영상의 일관성도 높일 수 있어 영상의 품질을 극대화할 수 있다.
이번 논문의 저자이자 실증 과정을 주도한 포바이포 김현철 AI연구소장은 “단순히 AI 모델을 개발하는 연구자가 아닌 실제로 화질 개선 AI 솔루션을 판매, 서비스하는 회사의 구성원의 입장에서 고민해왔기 때문에 이 같은 개선 방안을 찾아낼 수 있었다고 생각한다”며 “프레임의 정렬 방식을 바꾸는 단순한 프로세스 개선만으로 이정도로 높은 효율을 이끌어 낼 수 있다는 사실을 확인한만큼 실제 제품 성능과 서비스 개선에도 큰 도움이 될 것”이라고 말했다.
이번 논문이 채택된 ‘ICCE(International Conference on Consumer Electronics)’는 세계 3대 가전 전시회 CES와 함께 개최되는 국제적인 학술 행사로 인공지능과 이미지 처리 또 이와 관련된 소비자 전자기기 최신 기술 등이 대거 소개되는 행사로 널리 알려져 있다.
특히 전세계적으로 해당 분야에서 가장 높은 학술적 공신력을 자랑하는 美 전기전자통신학회 소비자 기술 학회(IEEE CTSoc)가 개최하는 연례 대표 컨퍼런스인만큼 전 세계 산업계, 정계, 학계 최고 전문가들이 한자리에 모이는 국제적인 행사다.
포바이포, 美 IEEE 국제학술대회 논문 채택