Teoría estadística Learning juega un papel importante en muchas áreas científicas.
Las transformaciones de multiresolución están basadas en operadores que nos permiten transitar entre dos niveles de resolución consecutivos. Utilizamos técnicas learning para construir uno de estos operadores multiescala en el contexto de la multiresolución de Harten: el operador predictor. Aplicamos esta nueva técnica de multiresolución
(Learning Multiresolution) a la compresión de imágenes digitales y comparamos nuestros resultados con los obtenidos con otros métodos clásicos.Ministerio de Educación y Cienci

Aràndiga Llaudes, Francesc

Cohen, Albert

Yáñez Avendaño, Dionisio Félix

idUS. Depósito de Investigación Universidad de Sevilla

XX Congreso de Ecuaciones Diferenciales y AplicacionesX Congreso de Matema´tica AplicadaSevilla, 24-28 septiembre 2007(pp. 1–8)Compresio´n de ima´genes utilizandoLearning MultiresolutionF. Ara`ndiga1, A. Cohen2, D. F. Ya´n˜ez*11 Dpto. Matema´tica Aplicada, Universidad de Valencia, Doctor Moliner, 46100 Burjassot. E-mails:Arandiga@uv.es, Dionisio.Yanez@uv.es.2 Laboratoire Jacques-Louis Lions, Univ. Pierre et Marie Curie, 75013 Paris, France. E-mail:cohen@ann.jussieu.fr.Palabras clave: Multiresolucio´n, learning, compresio´n de ima´genesResumenTeor´ıa estad´ıstica Learning juega un papel importante en muchas a´reas cient´ıficas.Las transformaciones de multiresolucio´n esta´n basadas en operadores que nos permitentransitar entre dos niveles de resolucio´n consecutivos. Utilizamos te´cnicas learningpara construir uno de estos operadores multiescala en el contexto de la multiresolu-cio´n de Harten: el operador predictor. Aplicamos esta nueva te´cnica de multiresolucio´n(Learning Multiresolution) a la compresio´n de ima´genes digitales y comparamos nue-stros resultados con los obtenidos con otros me´todos cla´sicos.1. Introduccio´nLa multiresolucio´n de Harten nos permite obtener una reordenacio´n multiescala de unconjunto de datos discretos, de modo que los datos transformados poseen unas propiedadesmejores que los datos iniciales. En nuestro caso nos interesa la mejor compresio´n de losdatos transformados. Tras aplicar el algoritmo de multiresolucio´n a una informacio´n disc-reta inicial, podemos interpretar el resultado obtenido como una “aproximacio´n” de lainformacio´n inicial en un nivel de resolucio´n menor, ma´s unos “detalles” que nos permitenrecuperar los datos iniciales. La te´cnica de reconstruccio´n utilizada habitualmente parala multiresolucio´n esta´ basada en la interpolacio´n polino´mica mediante un operador re-construccio´n de los datos. En este trabajo proponemos una nueva te´cnica de prediccio´ndentro de la multiresolucio´n. Parece natural que si queremos predecir una serie de valorespor una combinacio´n (de cualquier tipo) de otros valores intentemos minimizar un fun-cional que nos indique la distancia entre el conjunto original y el conjunto aproximado.1F. Arandiga, A. Cohen, D. F. Ya´n˜ezEn este trabajo formalizamos las bases de la te´cnica Learning Multiresolution que se basaen la minimizacio´n del funcional distancia entre dos pasos consecutivos de la multiresolu-cio´n utilizando te´cnicas estad´ısticas Learning. Utilizamos esta te´cnica con un conjunto decombinaciones determinado para la compresio´n de ima´genes digitales obteniendo buenosresultados.2. Problema learningNosotros describimos un modelo general learning a trave´s de tres componentes:1. Un generador (G) de vectores x ∈ Rn, establecido desde una fija pero desconocidafuncio´n de probabilidad F (x).2. Un supervisor (S) que devuelve una valor de salida y (generalmente y ∈ R para cadavector de entrada x, de acuerdo con la funcio´n de distribucio´n condicional F (y|x),tambie´n fija pero desconocida1.3. Una ma´quina learning (LM), capaz de implementar un conjunto de funciones g ∈ K,donde K es una clase de funciones reales2.Por tanto el problema de learning es elegir desde el conjunto de funciones dado K,la funcio´n que mejor se aproxime a la respuesta del supervisor. As´ı pues tenemos dosproblemas, escoger una buena clase de funciones y dentro de esta clase tomar lafuncio´n que mejor se aproxime a la funcio´n supervisor.La seleccio´n de la funcio´n que mejor aproxima esta´ basada en el conjunto de entre-namiento de l observaciones independientes e ide´nticamente distribuidas (i.i.d.) obtenidasde acuerdo con F (x, y) = F (x)F (y|x) con zi = (xi, yi) i = 1, . . . , l.3. Problema learning generalPara elegir la mejor aproximacio´n posible a la respuesta del supervisor dentro de laclase de funciones dada creamos una funcio´n de pe´rdida o discrepancia L(y, g(x)) = Q(z, g)con z = (x, y) entre la respuesta y del supervisor y la respuesta g(x), con g ∈ K, dada porla ma´quina learning a un vector x. Consideramos el valor esperado de la pe´rdida dado porel funcional risk :R(g) =∫L(y, g(x))dF (x, y) =∫Q(z, g)dF (z) (1)Por tanto el objetivo del problema learning es encontrar la funcio´n ψ que minimice elfuncional risk R(g) sobre la clase de funciones K donde la medida de probabilidad F (x, y)es una medida de probabilidad no conocida pero i.i.d. con y1, . . . , yl dados.1Este es el caso general que incluye el caso de que el supervisor utilice una funcio´n y = g(x).2La clase de funciones K es un conjunto de funciones reales cualquiera, es decir:K ⊂ {g|g : Ω ⊂ Rn −→ R}Ejemplos: L1(Rn), Πn1 (R), C(Rn)2Learning MultiresolutionEn nuestro caso definiremos la funcio´n de pe´rdida como Q(z, g) = L(y, g(x)) = (y −g(x))2.Conocemos la funcio´n que minimiza el funcional (1) que es la llamada funcio´n deregresio´n,ψ(x) =∫ydF (y|x) (2)pero desconocemos la funcio´n de distribucio´n F (y|x). As´ı, tenemos queR(g) =∫(y − g(x))2dF (x, y) =∫(g(x)− ψ(x))2dF (x) +∫(y − ψ(x))2dF (x, y) (3)Notar que el segundo te´rmino de la ecuacio´n (3) no depende de la funcio´n elegida.As´ı pues, minimizar el funcional es equivalente a minimizar el funcional:R∗(g) =∫(g(x)− ψ(x))2dF (x) (4)El funcional R∗ es el cuadrado de la distancia del espacio normado (L2(F ), || · ||2,F )3entre una funcio´n de la clase admisible de funciones (g ∈ K) y la funcio´n de regresio´n (ψ),es decir R∗(g) = ||g − ψ||2,F . As´ı pues, consideramos el siguiente problema: usando unamuestra, encontrar en la clase admisible de funciones la funcio´n ma´s cercana a la regresio´nen la me´trica (L2(F ), || · ||2,F ). La formulacio´n del problema nos permite no tener queresolver un problema ma´s general, como encontrar la funcio´n de distribucio´n F (x, y).4. Problema learning emp´ırico (ERM)Para minimizar el funcional (1) con una funcio´n de distribucio´n no conocida F (z), seaplica el siguiente principio inductivo:1. El funcional risk R(g) se reemplaza por el llamado funcional risk emp´ıricoRemp(g) =1ll∑i=1Q(zi, g) (5)construido gracias al conjunto de entrenamiento zi = (xi, yi) i = 1, . . . , l.2. Aproximamos la funcio´n Q(z, ψ), que es la funcio´n que minimiza el funcional R(g)por la funcio´n Q(z, ϕ) que es la funcio´n que minimiza el funcional emp´ırico (5).3Sea F (x) una funcio´n de distribucio´n definimos el espacio (L2(F ), || · ||2,F ) como el espacio de funcionesreales de L2(Rn) cuya norma es||g||2,F = (Z(g(x))2dF (x))123F. Arandiga, A. Cohen, D. F. Ya´n˜ezEste principio es conocido como Empirical Minimatization inductive principle (ERM prin-ciple).En nuestro caso sustituyendo la funcio´n de pe´rdida en el funcional emp´ırico que quer-emos minimizar tenemos que:Remp(g) =1ll∑i=1(yi − g(xi))2 (6)Se prueba en [4] que la consistencia de este proceso depende de la dimensio´n VC(Vapnik-Chernovenkis)4 del conjunto de funciones pe´rdida que tomemos.5. Multiresolucio´n “a` la Harten” en medias en celda en [0, 1]2Podemos encontrar ma´s detalle de multiresolucio´n “a` la Harten” en [2], explicamosbrevemente en que consiste en el contexto de medias en celda en [0, 1]2.Podemos considerar que nuestros datos, pertenecientes a un espacio V k, provienen deaplicar un operador discretizacio´n a una cierta funcio´n f , donde k nos indica el nivel deresolucio´n, de modo que con k mayor tendremos una mayor resolucio´n.Supongamos que tenemos una cierta funcio´n de dos dimensiones f(x, y) integrable,mediante un operador que llamaremos discretizacio´n (Dk, donde k nos indica el nivelde resolucio´n) interpretamos los datos que tenemos como media de esta funcio´n en unamalla dada. Sea {Xk}Lk=0 una secuencia de discretizaciones de modo que Xk = {(xki , ykj )},xki = ihk, ykj = jhk, i, j = 0, . . . , Nk, Nkhk = 1, con hk = 2−kh0, y sea Cki,j = [xki−1, xki ]×[ykj−1, ykj ]. Teniendo en cuenta esta notacio´n, los datos en el nivel de resolucio´n k, f¯k ={f¯ki,j}Nki,j=0 pueden ser interpretados como:f¯ki,j = (Dkf)i,j =1ς(Cki,j)∫Cki,jf(x, y)d(x, y) =1h2k∫ xixi−1∫ yjyj−1f(x, y)d(x, y) (7)En la multiresolucio´n de Harten se definen dos operadores los cuales nos permitentransitar entre dos niveles de resolucio´n consecutivos, estos son el operador decimacio´n,que nos permite pasar del nivel de resolucio´n k al nivel de resolucio´n k − 1.Dk−1k : V k −→ V k−14[Dimensio´n VC para un conjunto de de funciones, Vapnik-1979]Sea A ≤ Q(z, g) ≤ B, g ∈ K, un conjunto de funciones reales y acotadas por las constantes A y B (Apuede ser −∞ y B puede ser ∞).Consideramos el conjunto de indicadores del conjunto de funciones Q(z, g), g ∈ K,I(z, g, β) = θ{Q(z, g)− β}, g ∈ K, β ∈ (A,B),donde θ(t) es una funcio´n escalonada tal que:θ(t) =1 si t ≥ 00 si t < 0La dimensio´n VC del conjunto de funciones reales Q(z, g), g ∈ K esta definida como la dimensio´ndel correspondiente conjunto de indicadores con para´metros g ∈ K y β ∈ (A,B).4Learning Multiresolutionque es un operador lineal. En el contexto de medias en celda en [0, 1]2 se define graciasa la aditividad de la integral como:(Dk−1k f¯k)i,j =14(f¯k2i,2j + f¯k2i−1,2j + f¯k2i,2j−1 + f¯k2i−1,2j−1) = f¯k−1i,j (8)y el operador prediccio´n (no tiene porque ser lineal), con el cual vamos del nivel deresolucio´n k − 1 al nivel de resolucio´n k:Pkk−1 : V k−1 −→ V kEste operador lo definiremos ma´s adelante mediante te´cnicas estad´ısticas Learning.Exigimos que los operadores prediccio´n y decimacio´n verifiquen la siguiente condicio´n deconsistencia, esta condicio´n se produce de forma natural, si predecimos un conjunto devalores en un nivel k − 1 y despue´s decimamos esta´ prediccio´n lo natural es que obteng-amos el mismo conjunto de valores que ten´ıamos inicialmente, esto se traduce en queDk−1k Pkk−1 = IV k−1 . El rec´ıproco, en principio, no es cierto, as´ı Pkk−1Dk−1k vk constituyeuna aproximacio´n a vk, en esta afirmacio´n nos basaremos para realizar nuestro operadorprediccio´n. Nuestra intencio´n es que vk y su aproximacio´n este´n muy cercanos (definiendouna me´trica adecuada en el espacio V k).Definimos el error cometido en nuestra aproximacio´n comoek = vk − Pkk−1Dk−1k vk = (IV k − Pkk−1Dk−1k )vk (9)notar as´ı que, conocido vk−1 = Dk−1k vk ∈ V k−1 y ek, podemos recuperar vk, y portanto vk posee la misma informacio´n que el conjunto {vk−1, ek}, es decir vk ≡ {vk−1, ek}.El error cometido, se puede ver en [2] pertenece al nu´cleo del operador decimacio´n, i.e.ek ∈ N (Dk−1k ), por tanto en el conjunto {vk−1, ek} tenemos informacio´n redundante quepodemos eliminar. As´ı, tenemos en medias en celda en [0, 1]2 que(Dk−1k ek)i,j =14(ek2i,2j + ek2i−1,2j + ek2i,2j−1 + ek2i−1,2j−1) = 0 (10)gracias a la cual, podemos eliminar la informacio´n redundante de {ek}. Tomamos lassiguientes combinaciones lineales de los errores de aproximacio´n:dki,j;a =14(ek2i,2j + ek2i−1,2j − ek2i,2j−1 − ek2i−1,2j−1)dki,j;b =14(ek2i,2j − ek2i−1,2j + ek2i,2j−1 − ek2i−1,2j−1dki,j;c =14(ek2i,2j − ek2i−1,2j − ek2i,2j−1 + ek2i−1,2j−1)(11)de modo que tenemos una correspondencia un´ıvoca entre la informacio´n contenida enel nivel de resolucio´n k y la informacio´n en el nivel de resolucio´n k − 1 ma´s los detalles:{fki,j}Jki,j=1 ≡ {{fk−1i,j }, {dki,j;a}, {dki,j;b}, {dki,j;c}}Jk−1i,j=1As´ı pues, tendremos que definir un operador prediccio´n que nos permita transitar desdeel nivel k − 1 hasta el nivel k, habitualmente este operador se define con interpolacio´npolino´mica (ver [2]), en este trabajo lo definiremos utilizando te´cnicas learning, podemosver ma´s detalle en [5].5F. Arandiga, A. Cohen, D. F. Ya´n˜ez6. Funciones lineales dentro de los polinomios en n variablesde primer gradoLa eleccio´n de la clase de funciones K que utilizamos para minimizar el funcional esuno de los principales problemas de las te´cnicas estad´ısticas learning. En este trabajotomaremos como clase el conjunto de funciones:K = {g(x1, . . . , xn) =n∑i=1bixi : bi ∈ R, 1 ≤ i ≤ n} ⊂ Πn1 (R)Podemos ver en [5] que al tomar esta clase de funciones tenemos consistencia y con-vergencia del proceso learning que definiremos ma´s adelante. Adema´s en el contexto de lamultiresolucio´n para medias en celda (ver [2, 5]) nos aproximamos mejor en norma dos en-tre dos pasos sucesivos utilizando esta te´cnica que con cualquier otro operador prediccio´nque tomemos.7. Learning Multiresolution para medias en celda en [0, 1]2En [5] podemos ver con detalle la explicacio´n de Learning Multiresolution general en elcontexto de medias en celda. Vamos a explicar brevemente Learning Multiresolution parael espacio de funciones definido, K, tomando un stencil de (2s+1)× (2s+1) puntos en elcontexto de medias en celda en [0, 1]× [0, 1]. As´ı pues, tomamos la claseK = {g(x1, . . . , x(2s+1)2) =(2s+1)2∑i=1bixi : bi ∈ R, 1 ≤ i ≤ (2s+ 1)2} ⊂ Π(2s+1)21 (R)Con la misma notacio´n que antes, sea el conjunto de medias en celda f¯k−1 = {f¯k−1i,j }Nk−1i,j=1con Nk−1 = Nk/2 en el nivel k − 1, entonces el operador predictor tendra´ que obtenerla media de la funcio´n f en las celdas Ck2i,2j , Ck2i,2j−1, Ck2i−1,2j , Ck2i−1,2j−1 con i, j =1, . . . , Nk−1 = Nk/2. Tomamos un stencil centrado de (2s + 1) × (2s + 1) puntos, esdecir tomaremos, S(s) = {f¯k−1i+l1,j+l2}sl1,l2=−s, con i, j = 1, . . . , Nk−1 = Nk/2, sea l =(Nk−1 − 2s)2. Como la clase de funciones elegida es K entonces nuestro problema se re-duce a minimizar las funciones:R˜γemp(x) =1lNk−1−s∑i,j=1+s(ykγ,i,j −s∑l1,l2=−sbl1,l2 f¯k−1i+l1,j+l2)2con γ = 1, . . . , 4, yk1,i,j = f¯k2i,2j , yk2,i,j = f¯k2i,2j−1, yk3,i,j = f¯k2i−1,2j , yk4,i,j = f¯k2i−1,2j−1 yx = (bl1,l2)sl1,l2=−s ∈ R(2s+1)2un vector5 de dimensio´n (2s+ 1)2.Sean (aγl1,l2)sl1,l2=−s ∈ R(2s+1)2los vectores que minimizan las funciones R˜γemp con γ =1, . . . , 4, entonces defino el operador predictor como,5Para simplificar la notacio´n denotamos como (bl1,l2)sl1,l2=−s ∈ R(2s+1)2al vector cuyas entradas ser´ıan:bl1,l2 = b(l1+s+1)+(l2+s)(2s+1) − s ≤ l1, l2 ≤ s6Learning Multiresolution(Pkk−1f¯k)2i,2j :=s∑l1,l2=−sa1l1,l2 f¯k−1i+l1,j+l2; (Pkk−1f¯k)2i,2j−1 :=s∑l1,l2=−sa2l1,l2 f¯k−1i+l1,j+l2(Pkk−1f¯k)2i−1,2j :=s∑l1,l2=−sa3l1,l2 f¯k−1i+l1,j+l2; (Pkk−1f¯k)2i−1,2j−1 :=s∑l1,l2=−sa4l1,l2 f¯k−1i+l1,j+l2con i, j = 1, . . . , Nk−1 = Nk/2.Punto de vista algebraicoPara minimizar las funciones R˜1emp, R˜2emp, R˜3emp y R˜4emp podemos reescribir el problemade forma algebraica. Construiremos una matriz A de dimensio´n (Nk−1 − 2s)2 × (2s+ 1)2cuyas entradas sera´n los valores en medias en celda de nivel k − 1, es decir, sean las filasde la matriz A:A˜(i−s)+(Nk−1−2s)(j−s−1) = (f¯k−1i+l1,j+l2)sl1,l2=−s (1 + s) ≤ i, j ≤ (Nk−1 − s)entoncesA = [A˜1, . . . , A˜(Nk−1−2s)2 ]Ty definimos los vectores B1, B2, B3 y B4 de taman˜o (Nk−1− 2s)2 como los valores delas medias en celda en el nivel k, es decir:B1(i−s)+(Nk−1−2s)(j−s−1) = f¯k2i,2j , B2(i−s)+(Nk−1−s−1)(j−2) = f¯k2i,2j−1,B3(i−s)+(Nk−1−2s)(j−s−1) = f¯k2i−1,2j , B4(i−s)+(Nk−1−2s)(j−s−1) = f¯k2i−1,2j−1con (1 + s) ≤ i, j ≤ (Nk−1 − s).Con estas definiciones nuestro problema se reescribe como:R˜γemp(x) = (Nk−1 − 2s)2||Ax−Bγ ||22 γ = 1, . . . , 4 x = ((bl1,l2)sl1,l2=−s)TPor tanto nuestro problema queda reducido a minimizar la norma dos de un sistema.8. Experimentos nume´ricosRealizamos compresio´n de ima´genes utilizando Learning Multiresolution. Las ima´genesque tomaremos sera´n ima´genes de taman˜o 512×512en escala de grises desde 0 a 255. Comoacabamos de ver, el problema queda reducido a minimizar la norma dos de un sistema. Portanto hallaremos un conjunto de “filtros” que nos servira´n como prediccio´n de un paso aotro. Hemos explicado como hacer Learning Multiresolution en un solo paso (LM-fa), en [5]se prueba que podemos tomar un funcional conjunto para todos los pasos (LM), obteniendoas´ı un nu´mero menor de filtros. Como puede ser costoso el almacenamiento de estos filtros(por ser nu´meros reales), convertimos dichos filtros en enteros comprendidos entre 0 y 255(es decir como un pixel ma´s de la imagen). Esto provoca que los resultados al realizarcuantizacio´n (ver [2]) sean peores. Para evitar esta pe´rdida tomamos los contornos de laimagen y realizamos tantas muestras como direcciones del contorno tengamos (en nuestro7F. Arandiga, A. Cohen, D. F. Ya´n˜ezcaso 5: constante, horizontal, vertical y diagonal). Construimos cinco funcionales con cadauna de las muestras y hallamos el mı´nimo de cada funcional. Tomamos la media de lafuncio´n en la celda Ck−1i,j del paso (k−1)-e´simo, analizamos si esta´ marcada como contornoy en que direccio´n. Dependiendo de si esta´ marcada como contorno o no, utilizamos comopredictor el mı´nimo del funcional correspondiente a la muestra de los puntos constantessi no esta´ marcada como contorno o el correspondiente a la muestra de la direccio´n con laque esta´ marcada dicha media (LM-CC). Si realizamos compresio´n con pe´rdida muy bajapodemos ver que los resultados utilizando Learning Multiresolution son buenos.Medimos en nuestros experimentos nume´ricos el nu´mero de ceros, la norma dos yPSNR6.Comparamos nuestros resultados con los obtenidos en [1] y [2] utilizando te´cnicas demultiresolucio´n basadas en interpolacio´n polino´mica no lineal (me´todos ENO, ENO-SR,ver [2, 3]). Tambie´n comparamos con interpolacio´n lineal. En todos nuestros ejemplostomamos tanto para el aprendizaje como para la interpolacio´n stenciles 3× 3. Realizamoslos experimentos con cuantizacio´n ² = 0,5 y ² = 4 utilizando error control (ver [2]).² = 0,5 ² = 4|| · ||2 PSNR Nnz || · ||2 PSNR NnzLIN 1.02 47.92 163464 3.32 37.73 43331LM 1.02 47.91 159600 3.49 37.65 44812LM-fa 1.02 47.92 158720 3.33 37.79 43844LM-CC 1.03 47.89 157507 3.42 37.74 42896ENO-SR 1.04 48.12 177275 3.50 37.27 49246ENO-2D 1.03 47.81 176537 3.45 37.40 45993Tabla 1: Resultados obtenidos con la imagen peppersAgradecimientosInvestigacio´n financiada en parte por el proyecto MEC Ref. MTM2005-07214. 2005-2008 y en parte por el proyecto AP2005-0996. El autor [*] esta´ financiado por una becaFPU del MEC AP2005-0996.Referencias[1] M. Doblas, Interpolacio´n adaptada a contornos y aplicaciones GrAN Report 04-04 (2004).[2] F. Ara`ndiga, R. Donat, Nonlinear multiscale descompositions: The approach of A. Harten, NumericalAlgorithms, 23(2000), 175–216.[3] A. Harten, B. Engquist, S. Osher, S.R. Chakravarthy, Uniformly high-order accurate essentiallynonoscillatory schemes, J. Comput. Phys, 71 (1987) 231–303.[4] V. N. Vapnik, The Nature of Statistical Learning, Springer, 1995.[5] D. F. Ya´n˜ez, Compresio´n de ima´genes digitales. Learning Schemes, Tr. Investigacio´n, G. Anims, 2007.6PSNR = 20 log10(255||v−ev||2 ), donde v es la discretizacio´n de la imagen original y ev es la aproximacio´na la imagen.8

Compresión de imágenes utilizando Learning Multiresolution

https://idus.us.es/xmlui/bitstream/handle/11441/36219/Compresi%c3%b3n%20de%20im%c3%a1genes%20utilizando%20Learning%20Multiresolution.pdf?sequence=1&isAllowed=y

Compresión de imágenes utilizando Learning Multiresolution

Abstract

Similar works

Full text

Available Versions

idUS. Depósito de Investigación Universidad de Sevilla