Comparing sentiment analysis tools on gitHub project discussions

Mestrado de dupla diplomação com a UTFPR - Universidade Tecnológica Federal do ParanáThe context of this work is situated in the rapidly evolving sphere of Natural Language Processing (NLP) within the scope of software engineering, focusing on sentiment analysis in software repositories. Sentiment analysis, a subfield of NLP, provides a potent method to parse, understand, and categorize these sentiments expressed in text. By applying sentiment analysis to software repositories, we can decode developers’ opinions and sentiments, providing key insights into team dynamics, project health, and potential areas of conflict or collaboration. However, the application of sentiment analysis in software engineering comes with its unique set of challenges. Technical jargon, code-specific ambiguities, and the brevity of software-related communications demand tailored NLP tools for effective analysis. The study unfolds in two primary phases. In the initial phase, we embarked on a meticulous investigation into the impacts of expanding the training sets of two prominent sentiment analysis tools, namely, SentiCR and SentiSW. The objective was to delineate the correlation between the size of the training set and the resulting tool performance, thereby revealing any potential enhancements in performance. The subsequent phase of the research encapsulates a practical application of the enhanced tools. We employed these tools to categorize discussions drawn from issue tickets within a varied array of Open-Source projects. These projects span an extensive range, from relatively small repositories to large, well-established repositories, thus providing a rich and diverse sampling ground.O contexto deste trabalho situa-se na esfera em rápida evolução do Processamento de Linguagem Natural (PLN) no âmbito da engenharia de software, com foco na análise de sentimentos em repositórios de software. A análise de sentimentos, um subcampo do PLN, fornece um método poderoso para analisar, compreender e categorizar os sentimentos expressos em texto. Ao aplicar a análise de sentimentos aos repositórios de software, podemos decifrar as opiniões e sentimentos dos desenvolvedores, fornecendo informações importantes sobre a dinâmica da equipe, a saúde do projeto e áreas potenciais de conflito ou colaboração. No entanto, a aplicação da análise de sentimentos na engenharia de software apresenta desafios únicos. Jargão técnico, ambiguidades específicas do código e a breviedade das comunicações relacionadas ao software exigem ferramentas de PLN personalizadas para uma análise eficaz. O estudo se desenvolve em duas fases principais. Na fase inicial, embarcamos em uma investigação meticulosa sobre os impactos da expansão dos conjuntos de treinamento de duas ferramentas proeminentes de análise de sentimentos, nomeadamente, SentiCR e SentiSW. O objetivo foi delinear a correlação entre o tamanho do conjunto de treinamento e o desempenho da ferramenta resultante, revelando assim possíveis aprimoramentos no desempenho. A fase subsequente da pesquisa engloba uma aplicação prática das ferramentas aprimoradas. Utilizamos essas ferramentas para categorizar discussões retiradas de bilhetes de problemas em uma variedade diversificada de projetos de código aberto. Esses projetos abrangem uma ampla gama, desde repositórios relativamente pequenos até repositórios grandes e bem estabelecidos, fornecendo assim um campo de amostragem rico e diversificado

Estudo sobre análise de sentimentos em textos

O sentimento em opiniões terceiras sempre foi e continua a despertar interesse e extrema preocupação por parte dos gestores ou tomadores de decisões. Terceiros podem ser indivíduos, produtos, entidades empresariais, instituições de pesquisa e órgãos governamentais etc. dado que força de expressões e ideias controversas podem causar grandes celeumas. Desta forma o feedback emocional pode ser propulsor de mudanças, no sentido de proporcionar a busca contínua de melhorias por um lado ou determinar por outro o insucesso da entidade. Logo a análise de sentimentos é uma ferramenta indispensável no apoio ao processo de tomada de decisões. No processo de análise de sentimentos focamos na classificação de polaridade de opiniões em textos ou documentos em termos positiva ou negativa. Uma gama de Aplicações e recursos actualmente está alinhada à Língua Inglesa, o que mostra a existência de poucas experiências noutras Línguas. O objectivo é desenvolver um protótipo como ferramenta de auxílio a análise de opiniões em textos, auxiliado pelas técnicas de Aprendizado em Automática e Processamento em Linguagem Natural. Na realização de experiências aplicamos a Classificação Supervisionado a dois Corpus nomeadamente Review Movie e SentiCorpus-pt, que contém textos com opiniões sobre diversos filmes e políticos Portugueses participantes de um debate eleitoral respectivamente. A metodologia aplicada baseia-se na classificação de padrões linguísticos tais como PosTag, Chunking e outras formas simples de negação. Para a melhorar a classificação determinamos a orientação semântica das palavras, desde os seus recursos léxicos através do SentiWordnet Sense, que é uma ferramenta em Inglês que faz a tradução de qualquer língua para o Inglês, antes de extracção de polaridade. A nossa abordagem é avaliar os dois corpora. Tarefa que é auxiliada pelo casamento de termos linguísticos com vista a melhorar a performance. O classificador utiliza para tal o modelo Balsa de Palavras como linha de base; ABSTRACT: The feeling for third parties opinions has always been and it continues to arouse interest and extreme concern by managers or decision makers, third parties can be individuals, products, business organizations, research institutions and government institutions etc.. Knowing that expressions force and controversial ideas can cause major embarrassment. ln this way, the emotional feedback can be change propeller, in order to provide continuous search for improvements on one side or to determine on the other hands the failure of the entity. So, the sentiment analysis is an indispensable tool to support the process of decision making. ln the process of sentiment analysis we have focused on the classification of polarity of opinions in texts or documents in positive or negative terms. A range of applications and resources nowadays are aligned with English Language, which demonstrates the existence of few experiences in other languages. The aim is to develop a prototype as a supporting tool to analise texts opinions, supported by learning techniques on Machine and Natural Language Processing. When conducting experiments, we have applied the Supervised Classification into two Corpus namely Review Movie and SentiCorpus-pt, which contains texts with opinions of different films and Portuguesa politician’s participants in electoral debate respectively. The applied methodology is based on the classification of linguistic patterns such as Pos-tag, Chunking is other simple form of denial. To improve the classification and determine the semantic orientation of words, from the lexicon resources through SentiWordnet Sense, which is a tool in English that makes the translation from any language to English before identifying the polarity. Our approach is to evaluate the two corpus. Task that is supported by the marriage of linguistic terms in order to improve the performance. For such, the classifier uses the bags word model as the baseline

Análise de sentimentos de tweets em português

Orientador: Prof. Dr. Alexander KutzkeMonografia (especialização) - Universidade Federal do Paraná, Setor de Educação Profissional e Tecnológica, Curso de Especialização em Inteligência Artificial Aplicada.Inclui referências: p. 22-23Resumo: Com a evolução exponencial das interações digitais entre empresas e clientes e a velocidade com que a acessibilidade a internet cresceu, atualmente responder seus clientes não é suficiente para as empresas, elas precisam ser cada vez mais rápidas, responder no timing adequado e ser assertivas nessas respostas. Dentro deste contexto, este trabalho tem o objetivo de apresentar resultados de classificação de sentimentos com textos extraídos do Twitter para algumas marcas do mercado de CFT (cosméticos, fragrâncias e higiene pessoal) e alguns concorrentes diretos do ramo de presenteáveis e bomboniére utilizando alguns algoritmos de IA (inteligência artificial) como: Árvore de Decisão, Random Forest, Naive Bayes, SVM, Regressão Logística e LSTM. O classificador que apresentou melhor resultado foi o SVM com análises de unigrama e a abordagem TF-IDF (Term Frequency - Inverse Document Frequency) o algoritmo obteve uma acurácia de 75% para classificação

Um dataset para análise de sentimentos na língua portuguesa

Social networks have become important sources of information in which shared content can tell a lot about their users' opinions and feelings on a variety of subjects, among them, Twitter stands out as one of the most popular networks. Analyze the feelings exposed by the social network users can help understand what people are talking about a particular company, brand, event or even other people, functioning as a way to get feedback. This article presents the creation of a dataset for sentiment analysis, containing data collected from public messages in Portuguese on Twitter, its usage, and evaluation.Redes sociais tornaram-se fontes de informações importantes nas quais os conteúdos compartilhados podem falar muito sobre as opiniões e sentimentos de seus usuários em relação a diversos assuntos, entre elas o Twitter se destaca como uma das redes mais populares. Analisar os sentimentos expostos por usuários de redes sociais pode auxiliar no entendimento do que as pessoas estão falando sobre uma determinada empresa, marca, evento ou até mesmo sobre outras pessoas, funcionando como uma forma de se obter feedback. Este artigo apresenta a criação de um dataset para análise de sentimentos, contendo dados coletados de mensagens públicas na língua portuguesa presentes no Twitter, assim como seu uso e avaliação

Ambiente de análise de sentimentos baseado em domínio

More and more people show their opinion and feelings at several available Web services. Microblogging sites, such as the twitter, social networks or forums have become the ordinary media for these people to express themselves. In real time, they say spontaneously and at no cost what they think about different matters. These data analysis is an important resource to understand and to know in advance people's expectations and frustrations about a product, a service and even people or facts. However, each Internet site or service has its own characteristics. Sites' specific jargons, slangs or even specific characteristics of services where persons express their opinions don't have a pattern, making difficult the use of learning systems previously developed for other sites. For this purpose a strategy was proposed a strategy that allows the analysis of feelings based on site and that establishes steps to quickly create an environment for the analysis of feelings according to the site being examined.This strategy comprises making notes on the corpus, the necessary steps for creating annotations according to the site, lexical semantic creation and the development and validation of the classifiers. In order to test this strategy, it was developed the JULGAR system, whose core is based on the computational environment GATE, which is employed for the processing of natural language.Cada vez mais as pessoas colocam suas opiniões e sentimentos em diversos tipos de serviços disponíveis na Web. Sites de microblogging como o twitter, redes sociais ou fóruns têm se tornado o meio comum para elas se expressarem. Elas colocam de forma espontânea, gratuita e em tempo real, opiniões sobre os mais diferentes assuntos. A análise destes dados constitui uma fonte importante e rica para se entender e se antecipar às expectativas e frustrações das pessoas a respeito de um produto, um serviço ou mesmo sobre pessoas ou fatos. Entretanto, cada domínio ou serviço de Internet tem suas peculiaridades. Jargões específicos de um domínio, gírias ou mesmo características próprias dos serviços para as pessoas colocarem as suas opiniões diferem de maneira significativa, o que compromete a utilização de sistemas de aprendizado de máquina desenvolvidos anteriormente para outros domínios. Com isto em mente, foi proposta uma estratégia para permitir a análise de sentimentos baseada em domínio, a qual estabelece os passos para se montar rapidamente um ambiente de análise de sentimentos e conteúdo de acordo com o domínio sendo examinado. Esta estratégia contempla desde o processo de anotação do corpus, os passos necessários para a criação de anotações de acordo com o domínio, criação de léxicos semânticos e o desenvolvimento e validação dos classificadores. Para testar esta estratégia foi desenvolvido o sistema JULGAR, cujo núcleo está baseado no ambiente computacional GATE utilizado para o processamento de linguagem natural

Text mining: análise de sentimentos na classificação de notícias

Trabalho de Projeto apresentado como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação, especialização em Gestão do Conhecimento e Inteligência de NegócioNos últimos anos, em consequência do aparecimento das redes sociais, a interacção entre o cliente e a empresa sofreu grandes alterações. Esta mudança, tal como outras, acarretou vantagens e desvantagens. Uma das maiores desvantagens que decorreu desta alteração é o facto de, actualmente, as organizações terem perdido o controlo sobre o que os clientes dizem acerca das mesmas, uma vez que estes facilmente publicam as suas opiniões negativas e estas são rapidamente propagadas. No entanto, algumas organizações rapidamente perceberam que poderiam retirar desta situação importantes vantagens competitivas, através da análise das opiniões que os clientes emitem sobre as mesmas, nos diversos canais. Além disso, o crescente aumento da utilização da internet permitiu também que muita informação esteja disponível online, sendo exemplo disso o facto de, actualmente, a maioria dos jornais disponibilizarem diariamente as suas publicações, nos seus sítios, na internet. Consequentemente, o volume diário de dados disponíveis na internet cresce exponencialmente e toda a informação gerada através destes poderá ser relevante, se for tratada e utilizada correctamente. É, desta forma, que surge o desafio de gerar conhecimento através desta informação, de forma automatizada. Assim, o objectivo deste trabalho consiste na construção de um modelo capaz de avaliar a polaridade (positiva, negativa ou neutra) de títulos de notícias de economia, disponíveis em endereços de RSS Feeds. Para a realização do mesmo, foi utilizado o software SAS e, por consequência, seguida toda a sua metodologia, cuja apresentação detalhada também constitui um objectivo.In the last few years, due to the emergence of social networks, the interaction between customers and companies has experienced major changes. This change, like others, has advantages but also disadvantages. One of the major disadvantages which arose from this modification is the fact that, currently, organizations have lost control over what customers say about them, since they can easily publish their negative opinions and spread them rapidly. However, some organizations have quickly realized this situation could promote important competitive advantages, through the analysis of what customers say about them in different communication channels. Besides that, the increasing use of internet allowed that a lot of information is available online and an example of it is that, nowadays, the majority of newspapers make their publications daily available, on their websites, on the internet. Therefore, the data volume daily available on the internet grows exponentially and all of the information produced through this data might be important, if treated and used correctly. That is how the challenge of creating knowledge through this information in an automated way, emerges. Thus, the goal of this project is to build a model able to evaluate the polarity (positive, negative or neutral) of economic news headlines, available on RSS Feeds addresses. In order to do that, software SAS was used and, consequently its methodology, whose detailed description is also a goal

Aplicação da Análise de Sentimento para Avaliar Mensagens Significativas em um Ambiente Colaborativo: um estudo de caso no ambiente Collabora

Este artigo apresenta a aplicação da análise de sentimentos em uma base de dados que contém mensagens em chats de atividades realizadas por alunos no objeto virtual de aprendizagem colaborativa Collabora. A implementação das etapas para avaliar as mensagens significativas foi em linguagem Python com o uso de duas ferramentas de análise de sentimentos (NTLK e spaCy). Os dados processados pelas ferramentas foram comparados entre eles e aplicados ao cálculo de colaboração, reformulado do trabalho de Ishikawa (2018), a fim de criar uma métrica a partir das mensagens com sentimentos. O resultado permitiu verificar que o sentimento total das mensagens do grupo ou do aluno, podem refletir no comprometimento do aluno com a disciplina ou exercício proposto

Aplicação de técnicas de Text Mining na perceção dos cidadãos quanto ao fucionamento da Autoridade Tributária e Aduaneira

A crescente importância das redes sociais na nossa sociedade leva governos e instituições públicas a privilegiarem estas redes, não só, na comunicação com os seus cidadãos, mas também na perceção da opinião e grau de satisfação que os cidadãos têm sobre os serviços prestados. Recorrendo a técnicas de Text Mining, mais especificamente, de Análise de Sentimentos (Sentiment Analysis ou Opinion Mining), é possível extrair informação útil das redes sociais que permita a identificação e acompanhamento das opiniões dos cidadãos. O objetivo principal deste trabalho consiste na aplicação de técnicas de Análise de Sentimentos a um conjunto de posts publicados na rede social Twitter que expressem opiniões acerca do funcionamento geral das autoridades fiscais portuguesas, tendo em vista a apresentação de novos contributos para a melhoria da interação daqueles Serviços com os contribuintes. A fase de extração dos tweets correspondeu a um período de sete meses, entre agosto de 2018 e fevereiro de 2019. Como principais resultados destacamos a criação de uma nova abordagem bietápica para a Análise de Sentimentos designada de LexiNB e a criação de um algoritmo que permite automatizar o tratamento das opiniões dos utilizadores do Twitter, visando a evolução da organização para um estádio de comunicação bidirecional nas redes sociais

Análise de Sentimento para Reviews Apresentados em Vídeos: Modelo de Redes Neurais Treinado em Base de Reviews Escritos/ Sentiment Analysis for Reviews Featured in Videos: Neural Network Model Trained on Written Reviews Database

A análise de sentimentos tem sido apresentada como uma técnica importante para avaliação de reviews em grandes volumes de dados disponibilizados nas redes sociais. Este trabalho apresenta uma abordagem de busca dos textos a partir de transcrições de vídeos disponibilizados sobre reviews de smartphones e aplica a análise de sentimentos neste context a partir do treinamento de modelo de Redes Neurais Convolutivas em uma base de dados com 10.063.255 reviews escritos de um site de compras online e avaliado o seu desempenho em classificações dos trechos de reviews classificados manualmente pelos pesquisados. Como resultado, conclui-se que o aproveitamento do padrão textual observado em uma base de dados de reviews escritos pode trazer resultados positivos mesmo aplicado em um padrão diferente e que não esteja disponível ou classificada para uma tarefa de aprendizado supervisionado