7 research outputs found
DOMAIN ABSTRACTION OF HIGHLY CORRELATED PAIRS TO RECOMMEND IN THE LONG TAIL
ABSTRACTAmong difficulties encountered by modern shopping recommenders is the long tail shape of sold items also related to cold-start issues. Various approaches including content-based recommendations attempt to overcome this problem that has serious impact on the accuracy of recommendations especially when new products are continuously added to the catalogue. This paper investigates the use of an algorithm to search for highly correlated pairs between abstractions of items. The advantage of this approach is evaluated on the basis of real data showing better results compared to an approach onlybased on the concrete pairs of items. Using rigorous protocols such as Given-n, experimental results show significant improvement in both the recommendation accuracy and the recommendation of products in the long tail.Keywords. Knowledge Discovery, Mining Correlated Pairs, Recommender Systems
Data Privacy Preservation in Collaborative Filtering Based Recommender Systems
This dissertation studies data privacy preservation in collaborative filtering based recommender systems and proposes several collaborative filtering models that aim at preserving user privacy from different perspectives.
The empirical study on multiple classical recommendation algorithms presents the basic idea of the models and explores their performance on real world datasets. The algorithms that are investigated in this study include a popularity based model, an item similarity based model, a singular value decomposition based model, and a bipartite graph model. Top-N recommendations are evaluated to examine the prediction accuracy.
It is apparent that with more customers\u27 preference data, recommender systems can better profile customers\u27 shopping patterns which in turn produces product recommendations with higher accuracy. The precautions should be taken to address the privacy issues that arise during data sharing between two vendors. Study shows that matrix factorization techniques are ideal choices for data privacy preservation by their nature. In this dissertation, singular value decomposition (SVD) and nonnegative matrix factorization (NMF) are adopted as the fundamental techniques for collaborative filtering to make privacy-preserving recommendations. The proposed SVD based model utilizes missing value imputation, randomization technique, and the truncated SVD to perturb the raw rating data. The NMF based models, namely iAux-NMF and iCluster-NMF, take into account the auxiliary information of users and items to help missing value imputation and privacy preservation. Additionally, these models support efficient incremental data update as well.
A good number of online vendors allow people to leave their feedback on products. It is considered as users\u27 public preferences. However, due to the connections between users\u27 public and private preferences, if a recommender system fails to distinguish real customers from attackers, the private preferences of real customers can be exposed. This dissertation addresses an attack model in which an attacker holds real customers\u27 partial ratings and tries to obtain their private preferences by cheating recommender systems. To resolve this problem, trustworthiness information is incorporated into NMF based collaborative filtering techniques to detect the attackers and make reasonably different recommendations to the normal users and the attackers. By doing so, users\u27 private preferences can be effectively protected
Data mining languages for business intelligence
Tese de doutoramento in Information Systems and Technologies (area of Engineering and Management Information Systems)Desde que Lunh usou, pela primeira vez, em 1958, o termo Business Intelligence (BI), grandes
transformações se operaram na área dos sistemas e tecnologias de informação e, em especial,
na área dos sistemas de apoio à decisão. Atualmente, os sistemas de BI são amplamente
utilizados nas organizações e a sua importância estratégica é largamente reconhecida. Estes
sistemas apresentam-se como essenciais para um completo conhecimento do negócio e como
uma ferramenta insubstituível no apoio à tomada de decisão. A divulgação das ferramentas de
Data Mining (DM) tem vindo a aumentar na área do BI, assim como o reconhecimento da
relevância da sua utilização nos sistemas de BI empresariais.
As ferramentas de BI são ferramentas amigáveis, iterativas e interativas, permitindo aos
utilizadores finais um acesso fácil. Desta forma, é possível ao utilizador final manipular
diretamente os dados, tendo assim a possibilidade de extrair todo o valor para o negócio neles
contido. Um dos problemas apontados na utilização do DM na área do BI prende-se com o facto
de os modelos de DM serem, em geral, demasiado complexos para que os utilizadores de
negócio os possam manipular diretamente, contrariamente ao que ocorre com as outras
ferramentas de BI.
Neste contexto, foi identificado como problema de investigação a não existência de ferramentas
de BI que possibilitem ao utilizador de negócio a manipulação direta dos modelos de DM e,
consequentemente, não possibilitando extrair todo o valor potencial neles contidos. Este aspeto
reveste-se de particular importância num universo empresarial no qual a concorrência é cada vez
mais forte e no qual o conhecimento do negócio, das variáveis envolvidas e dos potenciais
cenários representam um papel fundamental para as organizações poderem concorrer num
mercado extremamente exigente.
Considerando que os sistemas de BI assentam, maioritariamente, sobre sistemas operacionais
que utilizam sobretudo o modelo relacional de bases de dados, a investigação efetuada inspirouse
nos conceitos ligados ao modelo relacional de bases de dados e nas linguagens a ele
associadas em particular as linguagens Query-By-Example (QBE). Estas linguagens têm uma
forte componente de interactividade, são amigáveis e permitem iteratividade e são amplamente
utilizadas em ambiente de negócio pelos utilizadores finais.
Têm vindo a ser desenvolvidos esforços no sentido do desenvolvimento de padrões e normas na
área do DM, sendo dada grande relevância ao tema das bases de dados indutivas. No contexto das bases de dados indutivas é dada grande relevância às chamadas linguagens de DM. Estes
conceitos serviram, igualmente, de inspiração a esta investigação. Apesar da importância destas
linguagens de DM, elas não estão orientadas para os utilizadores finais em ambientes de
negócio.
Ligando os conceitos relacionados com as linguagens QBE e com as linguagens de DM, foi
concebida e implementada uma linguagem de DM para BI, à qual foi dado o nome QMBE. Esta
nova linguagem é por natureza amigável, iterativa e interativa, isto é, apresenta as mesmas
características que as ferramentas de BI habituais permitindo aos utilizadores finais a
manipulação direta dos modelos de DM e, deste modo, aceder a todo o valor potencial desses
modelos com todos as vantagens que daí poderão advir. Utilizando um protótipo de um sistema
de BI, a linguagem foi implementada, testada e avaliada conceptualmente. Verificou-se que a
linguagem possui as propriedades desejadas, a saber, é amigável, iterativa, interativa.
Finalmente, a linguagem foi avaliada por utilizadores finais que já tinham experiência anterior na
utilização de DM em contexto de BI. Verificou-se que na ótica destes utilizadores a utilização da
linguagem apresenta vantagens em relação à utilização tradicional de DM no âmbito do BI.Since Lunh first used the term Business Intelligence (BI) in 1958, major transformations
happened in the field of information systems and technologies, especially in the area of decision
support systems. Nowadays, BI systems are widely used in organizations and their strategic
importance is clearly recognized. These systems present themselves as an essential part of a
complete knowledge of business and an irreplaceable tool in the support to decision making. The
dissemination of data mining (DM) tools is increasing in the BI field, as well as the
acknowledgement of the relevance of its usage in enterprise BI systems.
BI tools are friendly, iterative and interactive, allowing business users an easy access. This way,
the user can directly manipulate data, thus having the possibility to extract all the value contained
into that business data. One of the problems noted in the use of DM in the field of BI is related to
the fact that DM models are, generally, too complex in order to be directly manipulated by
business users, as opposite to other BI tools.
Within this context, the nonexistence of BI tools allowing business users the direct manipulation
of DM models was identified as the research problem, since that, as a consequence of business
users not directly manipulating DM models, they can be not able of extracting all the potential
value contained in DM models. This aspect has a particular relevance in an entrepreneurial
universe where competition is stronger every day and the knowledge of the business, the
variables involved and the possible scenarios play a fundamental role in allowing organizations to
compete in an extremely demanding market.
Considering that the majority of BI systems are built on top of operational systems, which use
mainly the relational model for databases, the research was inspired on the concepts related to
this model and associated languages in particular Query-By-Example (QBE) languages. These
languages are widely used by business users in business environments, and have got a strong
interactivity component, are user-friendly, and allow for iterativeness.
Efforts are being developed in order to create standards and rules in the field of DM with great
relevance being given to the subject of inductive databases. Within the context of inductive
databases a great relevance is given to the so called DM languages. These concepts were also an
inspiration for this research. Despite their importance, these languages are not oriented to
business users in business environments. Linking concepts related with QBE languages and with DM languages, a new DM language for BI,
named as Query-Models-By-Example (QMBE) was conceived and implemented. This new
language is, by nature, user-friendly, iterative and interactive; it presents the same characteristics
as the usual BI tools allowing business users the direct manipulation of DM models and, through
this, the access to the potential value of these models with all the advantages that may arise.
Using a BI system prototype, the language was implemented, tested, and conceptually evaluated.
It has been verified that the language possesses the desired properties, namely, being userfriendly,
iterative, and interactive. The language was evaluated later by business users who were
already experienced in using DM within the context of BI. It has been verified that, according to
these users, using the language presents advantages when comparing to the traditional use of
DM within BI
Data mining languages for business intelligence
Doctoral Thesis in Information Systems and Technologies Area of Engineering and Manag
ement Information SystemsDesde que Lunh usou, pela primeira vez, em 1958, o
termo Business Intelligence (BI), grandes
transformações se operaram na área dos sistemas e t
ecnologias de informação e, em especial,
na área dos sistemas de apoio à decisão. Atualmente
, os sistemas de BI são amplamente
utilizados nas organizações e a sua importância est
ratégica é largamente reconhecida. Estes
sistemas apresentam-se como essenciais para um comp
leto conhecimento do negócio e como
uma ferramenta insubstituível no apoio à tomada de
decisão. A divulgação das ferramentas de
Data Mining (DM) tem vindo a aumentar na área do BI, assim como o reconhecimento da
relevância da sua utilização nos sistemas de BI emp
resariais.
As ferramentas de BI são ferramentas amigáveis, ite
rativas e interativas, permitindo aos
utilizadores finais um acesso fácil. Desta forma, é
possível ao utilizador final manipular
diretamente os dados, tendo assim a possibilidade d
e extrair todo o valor para o negócio neles
contido. Um dos problemas apontados na utilização d
o DM na área do BI prende-se com o facto
de os modelos de DM serem, em geral, demasiado comp
lexos para que os utilizadores de
negócio os possam manipular diretamente, contrariam
ente ao que ocorre com as outras
ferramentas de BI.
Neste contexto, foi identificado como problema de i
nvestigação a não existência de ferramentas
de BI que possibilitem ao utilizador de negócio a m
anipulação direta dos modelos de DM e,
consequentemente, não possibilitando extrair todo o
valor potencial neles contidos. Este aspeto
reveste-se de particular importância num universo e
mpresarial no qual a concorrência é cada vez
mais forte e no qual o conhecimento do negócio, das
variáveis envolvidas e dos potenciais
cenários representam um papel fundamental para as o
rganizações poderem concorrer num
mercado extremamente exigente.
Considerando que os sistemas de BI assentam, maiori
tariamente, sobre sistemas operacionais
que utilizam sobretudo o modelo relacional de bases
de dados, a investigação efetuada inspirou-
se nos conceitos ligados ao modelo relacional de ba
ses de dados e nas linguagens a ele
associadas em particular as linguagens Query-By-Exa
mple (QBE). Estas linguagens têm uma
forte componente de interactividade, são amigáveis
e permitem iteratividade e são amplamente
utilizadas em ambiente de negócio pelos utilizadore
s finais.
Têm vindo a ser desenvolvidos esforços no sentido d
o desenvolvimento de padrões e normas na
área do DM, sendo dada grande relevância ao tema da
s bases de dados indutivas. No contexto
Data mining languages for business intelligence
iv
das bases de dados indutivas é dada grande relevânc
ia às chamadas linguagens de DM. Estes
conceitos serviram, igualmente, de inspiração a est
a investigação. Apesar da importância destas
linguagens de DM, elas não estão orientadas para os
utilizadores finais em ambientes de
negócio.
Ligando os conceitos relacionados com as linguagens
QBE e com as linguagens de DM, foi
concebida e implementada uma linguagem de DM para B
I, à qual foi dado o nome QMBE. Esta
nova linguagem é por natureza amigável, iterativa e
interativa, isto é, apresenta as mesmas
características que as ferramentas de BI habituais
permitindo aos utilizadores finais a
manipulação direta dos modelos de DM e, deste modo,
aceder a todo o valor potencial desses
modelos com todos as vantagens que daí poderão advi
r. Utilizando um protótipo de um sistema
de BI, a linguagem foi implementada, testada e aval
iada conceptualmente. Verificou-se que a
linguagem possui as propriedades desejadas, a saber
, é amigável, iterativa, interativa.
Finalmente, a linguagem foi avaliada por utilizador
es finais que já tinham experiência anterior na
utilização de DM em contexto de BI. Verificou-se qu
e na ótica destes utilizadores a utilização da
linguagem apresenta vantagens em relação à utilizaç
ão tradicional de DM no âmbito do BI.Since Lunh first used the term Business Intelligenc
e (BI) in 1958, major transformations
happened in the field of information systems and te
chnologies, especially in the area of decision
support systems. Nowadays, BI systems are widely us
ed in organizations and their strategic
importance is clearly recognized. These systems pre
sent themselves as an essential part of a
complete knowledge of business and an irreplaceable
tool in the support to decision making. The
dissemination of data mining (DM) tools is increasi
ng in the BI field, as well as the
acknowledgement of the relevance of its usage in en
terprise BI systems.
BI tools are friendly, iterative and interactive, a
llowing business users an easy access. This way,
the user can directly manipulate data, thus having
the possibility to extract all the value contained
into that business data. One of the problems noted
in the use of DM in the field of BI is related to
the fact that DM models are, generally, too complex
in order to be directly manipulated by
business users, as opposite to other BI tools.
Within this context, the nonexistence of BI tools a
llowing business users the direct manipulation
of DM models was identified as the research problem
, since that, as a consequence of business
users not directly manipulating DM models, they can
be not able of extracting all the potential
value contained in DM models. This aspect has a par
ticular relevance in an entrepreneurial
universe where competition is stronger every day an
d the knowledge of the business, the
variables involved and the possible scenarios play
a fundamental role in allowing organizations to
compete in an extremely demanding market.
Considering that the majority of BI systems are bui
lt on top of operational systems, which use
mainly the relational model for databases, the rese
arch was inspired on the concepts related to
this model and associated languages in particular Q
uery-By-Example (QBE) languages. These
languages are widely used by business users in busi
ness environments, and have got a strong
interactivity component, are user-friendly, and all
ow for iterativeness.
Efforts are being developed in order to create stan
dards and rules in the field of DM with great
relevance being given to the subject of inductive d
atabases. Within the context of inductive
databases a great relevance is given to the so call
ed DM languages. These concepts were also an
inspiration for this research. Despite their import
ance, these languages are not oriented to
business users in business environments.
Data mining languages for business intelligence
vi
Linking concepts related with QBE languages and wit
h DM languages, a new DM language for BI,
named as Query-Models-By-Example (QMBE) was conceiv
ed and implemented. This new
language is, by nature, user-friendly, iterative an
d interactive; it presents the same characteristics
as the usual BI tools allowing business users the d
irect manipulation of DM models and, through
this, the access to the potential value of these mo
dels with all the advantages that may arise.
Using a BI system prototype, the language was imple
mented, tested, and conceptually evaluated.
It has been verified that the language possesses th
e desired properties, namely, being user-
friendly, iterative, and interactive. The language
was evaluated later by business users who were
already experienced in using DM within the context
of BI. It has been verified that, according to
these users, using the language presents advantages
when comparing to the traditional use of
DM within BI
Estratégia híbrida de recomendações num gestor de conteúdos ampliado
O objetivo principal desta dissertação é propor um modelo de recomendação de conteúdos de aprendizagem num ambiente formal, típico do Ensino Superior, sobre um gestor de conteúdos ampliado, onde os alunos avaliam e publicam conteúdos.
As principais contribuições deste trabalho são:
1. A adição de conteúdos pelos alunos é por eles bem aceite;
2. Modelo de recomendações híbrido, em cascata, com três filtragens baseadas em regras de precedência, duração de estudo e avaliação das atividades de aprendizagem;
3. Formulação de similaridade entre alunos, que valoriza os melhores alunos e o passado recente de conteúdos selecionados por cada aluno;
4. Implementação, experimentação e avaliação de um protótipo baseado no modelo proposto. A avaliação mostrou que o desenvolvimento deste tipo de sistemas permite aos alunos terem experiências únicas de aprendizagem com sequenciamentos de conteúdos adequados aos seus perfis.
Destacamos a contribuição para esta investigação da revisão de conceitos e literatura relacionada; ABSTRACT:The main objective of this thesis is to propose a model for personalized recommendation of learning activities, directed to learners, in a formal learning context. We suggest that learners can publish some useful contents and that they should rate them.
The main contributions of this work are:
1. The addition of new content was well accepted, by learners;
2. Hybrid recommendations model in cascade, with three filtering techniques, based on precedence rules, duration of study and classification of learning activities;
3. New formulation of similarity between students, which gives value to the best students and recent past of content selected by each student.
4. A prototype has been implemented and real experimentation was carried out during two months. It showed that such systems help learners to diversify their learning paths and experiences, increase useful collaboration and support making decisions.
We also highlight the contribution of the revision of related work