Method and Apparatus for Accelerating Super-Resolution in Real-time Video Streaming

실시간 비디오 스트리밍에서의 초해상화 가속을 위한 장치 및 방법을 개시한다. 본 실시예는, 모바일 디바이스 상에서의 실시간 비디오 스트리밍(real-time video streaming)에 있어서, 모바일 디바이스의 컴퓨팅 용량(computing capacity)으로 수용이 가능하면서도 대역폭 제약 하에서도 사용자 QoE(Quality of Experience)를 유지하는 것을 목적으로 한다. 이를 위하여, 심층신경망(Deep Neural Network: DNN) 기반의 SR을 소수의 기 선정된 프레임에 적용하고, SR이 적용된 프레임을 이용하여 나머지 프레임의 해상도를 향상시키되, 기 설정된 품질 마진 이내에서 SR을 적용하기 위한 프레임을 선별한다. 또한, 모바일 디바이스의 컴퓨팅 용량 및 비디오 특화적인(video-specific) 제약 하에서의 실시간 비디오 스트리밍을 위하여, 서버는 심층신경망에 대한 다중 옵션(multiple option), 및 SR 적용 정보를 포함하는 캐시 프로파일(cache profile)을 전달하고, 모바일 디바이스는 컴퓨팅 용량에 적합한 옵션을 선택하는 것이 가능한 SR 가속을 위한 장치 및 방법을 제공한다

METHOD AND APPARATUS FOR TRANSMITTING ADAPTIVE VIDEO IN REAL TIME USING CONTENT-AWARE NEURAL NETWORK

컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치를 개시한다. 본 실시예의 일 측면에 의하면, 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 클라이언트를 지원하는 서버의 방법은, 비디오를 다운로드 받는 과정, 적어도 하나의 해상도에 따라 상기 다운로드 받은 비디오를 인코딩하는 과정, 상기 인코딩된 비디오를 일정 크기로 분할하는 과정, 상기 인코딩된 비디오를 컨텐츠 인식 DNN(Deep Neural Network)을 이용해 학습하는 과정, 상기 학습된 컨텐츠 인식 DNN에 관한 정보, 상기 인코딩된 비디오에 관한 정보를 포함하는 설정 파일을 생성하는 과정, 및 상기 클라이언트의 요청에 따라 상기 설정 파일을 전송하는 과정을 포함한다

NEURAL CLOUD STORAGE SYSTEM AND OPERATING METHOD THEREOF

컨텐츠-인식 초해상화를 활용한 뉴럴 클라우드 스토리지 시스템이 개시된다. 뉴럴 클라우드 스토리지 시스템은, 새로운 비디오가 클라우드에 업로드됨에 따라 해당 비디오의 시청 패턴을 예측하여 핫 스토리지 또는 콜드 스토리지에 저장하는 업로드부; 및 다운로드가 요청됨에 따라 상기 핫 스토리지 또는 상기 콜드 스토리지에 저장된 비디오를 다운로드 처리하는 복원부를 포함한다. 이에 따라, 새로운 비디오가 클라우드에 업로드됨에 따라 해당 비디오의 시청 패턴을 예측하여 핫 스토리지 또는 콜드 스토리지에 저장함으로써, 콜드 스토리지를 위한 비용 효율적인 솔루션을 제공할 수 있다