Tesis doctoral realizada por Donato Hernández Fusilier en la Universitat Politècnica de València, dirigida por los Doctores Paolo Rosso (Universitat Politècnica de València, España, Manuel Montes-y-Gómez (Instituto Nacional de Astrofísica, Óptica y Electrónica, México ) y Rafael Guzmán (Universidad de Guanajuato, México). La defensa se efectuó el 20 de enero de 2016 en Valencia. El tribunal estuvo conformado por la Dra. Raquel Martinez Unanue de la Universidad Nacional de Educación a Distancia, Madrid como vocal, por el Dr. Carlos David Martinez Hinajeros de la Universitat Politècnica de València como secretario y por el Dr. Rafael Berlanga Llavori de la Universitat Jaume I, Castelló como presidente. La tesis obtuvo una calificación de Sobresaliente.Doctoral thesis written by Donato Hernández Fusilier at the Universitat Politècnica of València, directed by Ph.D. Paolo Rosso (Universitat Politècnica of València, Spain), Ph.D. Manuel Montes-y-Gómez (National Institute of Astrophisics, Optics and Electronics, México) and Ph.D. Rafael Guzmán (University of Guanajuato, México). The defense took place on January 20, 2016 in Valencia. The doctoral committee was integrated by the following doctors: Ph.D. Raquel Martinez Unanue of National Distance Learning University, Madrid as panel member, Ph.D. Carlos David Martinez Hinajeros de la Universitat Politècnica of València as secretary and by Ph.D. Rafael Berlanga Llavori of the Universitat Jaume I, Castelló as president. The thesis was graded as Outstanding

Hernández Fusilier, Donato

Opinion Spam detection using PU-Learning

Repositorio Institucional de la Universidad de Alicante

Deteccio´n de Opinion Spam usando PU-LearningOpinion Spam detection using PU-LearningDonato Herna´ndez FusilierDepartamento de Sistemas Informa´ticos y Computacio´nUniversitat Polite`cnica de Vale`nciaCamino de Vera s/n 46022, Valencia, Espan˜adoherfu@doctor.upv.esResumen: Tesis doctoral realizada por Donato Herna´ndez Fusilier en la Univer-sitat Polite`cnica de Vale`ncia, dirigida por los Doctores Paolo Rosso (UniversitatPolite`cnica de Vale`ncia, Espan˜a, Manuel Montes-y-Go´mez (Instituto Nacional deAstrof´ısica, O´ptica y Electro´nica, Me´xico ) y Rafael Guzma´n (Universidad de Gua-najuato, Me´xico). La defensa se efectuo´ el 20 de enero de 2016 en Valencia. Eltribunal estuvo conformado por la Dra. Raquel Martinez Unanue de la UniversidadNacional de Educacio´n a Distancia, Madrid como vocal, por el Dr. Carlos DavidMartinez Hinajeros de la Universitat Polite`cnica de Vale`ncia como secretario y porel Dr. Rafael Berlanga LLavori de la Universitat Jaume I, Castello´ como presidente.La tesis obtuvo una calificacio´n de Sobresaliente.Palabras clave: Ana´lisis de Opiniones, aprendizaje supervisado, aprendizaje nosupervisado, clasificadores, PU-Learning.Abstract: Doctoral thesis written by Donato Herna´ndez Fusilier at the Universi-tat Polite`cnica of Vale`ncia, directed by Ph.D. Paolo Rosso (Universitat Polite`cnicaof Vale`ncia, Spain), Ph.D. Manuel Montes-y-Go´mez (National Institute of Astrop-hisics, Optics and Electronics, Me´xico) and Ph.D. Rafael Guzma´n (University ofGuanajuato, Me´xico). The defense took place on January 20, 2016 in Valencia. Thedoctoral committee was integrated by the following doctors: Ph.D. Raquel MartinezUnanue of National Distance Learning University, Madrid as panel member, Ph.D.Carlos David Martinez Hinajeros de la Universitat Polite`cnica of Vale`ncia as secre-tary and by Ph.D. Rafael Berlanga LLavori of the Universitat Jaume I, Castello´ aspresident. The thesis was graded as Outstanding.Keywords: Analysis of Opinions, supervised learning, unsupervised learning, clas-sifiers, PU-Learning.1 Introduccio´nCon el uso general de las tecnolog´ıas de in-formacio´n es cada vez ma´s comu´n que losusuarios de servicios y los consumidores deproductos escriban sus opiniones a favor o encontra de los productos o servicios que adqui-rieron. Estas referencias escritas comu´nmen-te en foros, blogs y en general en las redessociales, sirven de ayuda a otros consumido-res que desean adquirir algunos productos oservicios similares. Tambie´n sirven a los fabri-cantes o prestadores de servicios para identifi-car nuevas a´reas de oportunidad por parte delos consumidores y les permite saber no solola opinio´n sobre los mismos, sino adema´s versus usos, costumbres, satisfaccio´n, etce´tera.Los consumidores utilizan las opiniones pararecibir informacio´n sobre los productos, talescomo calidad y utilidad, tambie´n son utiliza-das para proporcionar datos sobre su propiaexperiencia con el producto a otros consumi-dores. Por otro lado, los fabricantes utilizanestos comentarios positivos o negativos, paraidentificar caracter´ısticas que son importan-tes para los consumidores. Estas caracter´ısti-cas son entonces incluidas en la comercializa-cio´n y desarrollo de nuevos productos o ser-vicios.Procesamiento del Lenguaje Natural, Revista nº 58, marzo de 2017, pp. 159-162 recibido 01-12-2016 revisado 11-01-2017 aceptado 06-02-2017ISSN 1135-5948 © 2017 Sociedad Española para el Procesamiento del Lenguaje NaturalCon este tipo de opiniones se presenta elproblema del Opinio´n Spam que, en otras pa-labras, son aquellas opiniones falsas, escritasdeliberadamente para promover o desacredi-tar un producto o servicio. Son opiniones es-critas por personas que no han adquirido pro-ducto o servicio alguno, pero que fueron con-tratados para escribir opiniones engan˜osas.Estas opiniones falsas hacen creer a los po-sibles usuarios, que el producto o servicio esbueno o, segu´n sea la causa para la cual fue-ron inducidos.2 ObjetivosDesarrollar un me´todo semi-supervisado, ba-sado en el me´todo de PU-Learning, para ladeteccio´n de opiniones falsas, que consideretanto las caracter´ısticas tema´ticas como es-til´ısticas y que adema´s sea robusto, adecuadoy efectivo en escenarios reales que presentanuna escasez de datos etiquetados.Encontrar los atributos que consideren in-formacio´n tanto del contenido como del estilode escritura de las opiniones.Establecer el efecto de la polaridad de lasopiniones, mediante el entrenamiento con unapolaridad y la prueba con otra polaridad.Probar el me´todo propuesto en ambientesde dominios cruzados, donde se entrena conopiniones de un dominio y se prueba con opi-niones de otro dominio diferente.3 Organizacio´nEste trabajo de tesis esta´ organizado en seiscap´ıtulos: en el Cap´ıtulo 1 se describe la in-troduccio´n al tema de la deteccio´n de opinio-nes falsas, los siguientes tres cap´ıtulos (Ca-pitulo 2, Cap´ıtulo 3 y Cap´ıtulo 4), corres-ponden a las publicaciones realizadas sobreel nuevo me´todo de deteccio´n de opinionesfalsas basado en PU-Learning que se propo-ne, a este nuevo me´todo le llamamos PU-Learning*. En el Cap´ıtulo 5 se realiza la dis-cusio´n de los resultados obtenidos y por u´lti-mo en el Cap´ıtulo 6 se presentan las conclu-siones y el trabajo futuro.Una breve s´ıntesis del contenido de loscap´ıtulos presentados se muestra a continua-cio´n:Cap´ıtulo 2: Se presenta el trabajo:“UsingPU-Learning to detect deceptive OpinionSpam”publicado en el workshop WASSA2013 (Herna´ndez et al., 2013). En este art´ıcu-lo se utiliza el me´todo de PU-Learning* porprimera vez, evalua´ndolo en un conjunto deopiniones positivas (falsas y verdaderas) so-bre hoteles situados en el centro de la ciudadde Chicago. En esta publicacio´n se comparael nuevo me´todo con otros que requieren unconjunto completamente etiquetado de opi-niones para su funcionamiento y se obtienenvalores de f-measure promedio de hasta 0.840.Cap´ıtulo 3: Se presenta el art´ıculo “Detec-ting positive and negative opinions using PU-Learning”publicado en la revista InformationProcessing & Management (Herna´ndez et al.,2015a), donde se evalu´a el me´todo de PU-Learning* en un conjunto de opiniones quecontiene tanto opiniones positivas como ne-gativas de 20 hoteles del a´rea del centro deChicago. En este art´ıculo se compara la pre-cisio´n obtenida usando el me´todo de PU-Learning* contra el me´todo de PU-Learningtradicional, empleando diferentes tipos deatributos. Tambie´n se realiza un ana´lisis designificancia estad´ıstica entre los atributosempleados, para determinar la mejor combi-nacio´n que nos lleva a obtener resultados conla precisio´n ma´s alta.Cap´ıtulo 4: Se presenta la publicacio´nde la conferencia CICLing 2015 “Detec-tion of opinion spam with character n-grams”(Herna´ndez et al., 2015b), donde seevalu´a y compara el me´todo de PU-Learning*para detectar las opiniones falsas utilizandodiferentes tipos de atributos, particularmenten-gramas de palabras y n-gramas de caracte-res. En este trabajo se presenta tambie´n unana´lisis sobre la robustez de los n-gramas decaracteres en la clasificacio´n con pocos datosde entrenamiento.Cap´ıtulo 5: Se presenta una descripcio´ncompleta de los corpus utilizados en los ex-perimentos realizados para la evaluacio´n delme´todo de PU-Learning*, as´ı como los re-sultados obtenidos en los experimentos di-sen˜ados para probar su eficacia. Tambie´n serealizan pruebas de dominios cruzados, dondese entrena con un dominio diferente al domi-nio con el que se realiza la prueba.Cap´ıtulo 6: Se presentan las conclusionesdel desarrollo del trabajo de tesis, algunasideas para desarrollar en el futuro y la listade las publicaciones generadas.4 ContribucionesLa principal contribucio´n de este trabajoes haber disen˜ado el me´todo llamado PU-Learning*, que permite detectar opinionesfalsas partiendo de un conjunto pequen˜o deDonato Hernández Fusilier160instancias etiquetadas como opiniones falsasy otro conjunto ma´s grande de instanciasno-etiquetadas. Los resultados experimenta-les nos permiten concluir que s´ı es posibledetectar de una manera ma´s efectiva las opi-niones falsas usando el me´todo propuesto.El me´todo de PU-Learning* se puede des-cribir de una manera breve por medio del al-goritmo 1. En este algoritmo se puede apre-ciar como se van extrayendo del conjunto noetiquetado, aquellas instancias a las cuales elclasificador les asigna una etiqueta positiva.Al final de un nu´mero finito de iteraciones,solo permanecen en el conjunto de instanciasno-etiquetadas, aquellas que pasaran a for-mar parte del conjunto de instancias negati-vas.Algoritmo 1 PU-Learning* para la detec-cio´n de Opinion Spam1: i← 12: |W0| ← |U1|3: |W1| ← |U1|4: while |Wi| <= |Wi−1| do5: Ci ← Generate Classifier(P,Ui)6: ULi ← Ci(Ui)7: Wi ← Extract Positives(ULi )8: Ui+1 ← Ui −Wi9: i← i + 110: Return Classifier CiMediante la aplicacio´n del algoritmo 1 yusando los atributos apropiados, se obtienecomo resultado la clase faltante, la de las opi-niones verdaderas.Adicionalmente los experimentos realiza-dos nos permitieron formular las siguien-tes conclusiones respecto al me´todo PU-Learning*:El me´todo de PU-Learning* es ma´s efec-tivo para la deteccio´n de opiniones falsasque el me´todo PU-Learning tradicional;esto se debe en gran manera al uso decriterios ma´s conservadores y exigentespara la seleccio´n de las opiniones (pre-sumiblemente) falsas del conjunto no-etiquetado.El me´todo de PU-Learning* es efectivopara la deteccio´n de opiniones falsas deambas polaridades, sin embargo, los re-sultados obtenidos fueron mejores en ladeteccio´n de opiniones falsas positivas.Este comportamiento del me´todo pro-puesto coincide con trabajos previos, yse origina a partir de la mayor diversi-dad y mayor nivel de especificidad, delas opiniones falsas negativas.El me´todo de PU-Learning* es una so-lucio´n adecuada para la deteccio´n deopiniones falsas en escenarios de domi-nios cruzados, particularmente cuandolos dominios fuente y objetivo son afines,es decir, cuando estos muestran una altainterseccio´n en el vocabulario empleado.Adicional al disen˜o del me´todo PU-Learning*, una segunda contribucio´n de estetrabajo es la propuesta de una representacio´nde los documentos apropiada para esta tarea,que incorpora tanto aspectos de su conteni-do como de su estilo. Esta representacio´n fuerealizada a trave´s de los n-gramas de caracte-res. Los resultados obtenidos con esta repre-sentacio´n son superiores a los obtenidos conla representacio´n tradicional de bolsa de pa-labras, permitiendo concluir que la informa-cio´n estil´ıstica es tambie´n importante para ladeteccio´n de opiniones falsas.Los experimentos realizados con ambasrepresentaciones, tambie´n indican que paramodelar adecuadamente el estilo de escriturade las opiniones falsas y verdaderas es nece-sario disponer de grandes conjuntos de en-trenamiento; usando conjuntos pequen˜os lasdiferencias en los resultados de ambas repre-sentaciones fueron estad´ıstica-mente no sig-nificativas.Bibliograf´ıaHerna´ndez, D., R. Guzma´n, M. M. y Go´mez,y P. Rosso. 2013. Using PU-learning todetect deceptive opinion spam. En Pro-ceedings of the 4th Workshop on Compu-tational Approaches to Subjectivity, Sen-timent and Social Media Analysis, volu-men 1606 de Association for Computatio-nal Linguistics, pa´ginas 38–45, Atlanta,Georgia. Association for ComputationalLinguistics.Herna´ndez, D., M. M. y Go´mez, P. Rosso,y R. Guzma´n. 2015a. Detecting positiveand negative deceptive opinions using PU-learning. Information Processing & Ma-nagement, 51(4):433–443.Herna´ndez, D., M. M. y Go´mez, P. Rosso, yR. Guzma´n. 2015b. Detection of opinionspam with character n-grams. En A. Gel-bukh, editor, Proc. of 16th InternationalDetección de Opinion Spam usando PU-Learning161conference on Intelligent Text Processingand Computational Linguistics (CICLing-2015), Lecture Notes in Artificial Inte-lligence, pa´ginas 285–294, Cairo, Egypt,April. Springer-Verlag. Vol. 9042 part II.Donato Hernández Fusilier162

Opinion Spam detection using PU-Learning

Abstract

Similar works

Full text

Available Versions

RUA

Repositorio Institucional de la Universidad de Alicante