Calculating and Aggregating Direct Trust and Reputation in Organic Computing Systems

The growing complexity of current computer systems requires a high amount of administration, which poses an increasingly challenging task for manual administration. The Autonomic and Organic Computing Initiatives have introduced so called self-x properties, including self-configuration, self-optimization, self-healing, and self-protection, to allow administration to become autonomous. Although research in this area revealed promising results, it expects all participants to further the system goal, i.e., their benevolence is assumed. In open systems, where arbitrary participants can join the systems, this benevolence assumption must be dropped, since such a participant may act maliciously and try to exploit the system. This introduces a not yet considered uncertainty, which needs to be addressed. In human society, trust relations are used to lower the uncertainty of transactions with unknown interaction partners. Trust is based on past experiences with someone, as well as recommendations of trusted third parties. In this work trust metrics for direct trust, reputation, confidence, and an aggregation of them are presented. While the presented metrics were primarily designed to improve the self-x properties of OC systems they can also be used by applications in Multi-Agent-Systems to evaluate the behavior of other agents. Direct trust is calculated by the Delayed-Ack metric, that assesses the reliability of nodes in Organic Computing systems. The other metrics are general enough to be used with all kinds of contexts and facets to cover any kind of trust requirements of a system, as long as corresponding direct trust values exist. These metrics include reputation (Neighbor-Trust), confidence, and an aggregation of them. Evaluations based on an Automated Design Space Exploration are conducted to find the best configurations for each metric, especially to identify the importance of direct trust, reputation, and confidence for the total trust value. They illustrate, that reputation, i.e., the recommendations of others, is an important aspect to evaluate the trustworthiness of an interaction partner. In addition, it is shown that a gradual change of priority from reputation to direct trust is preferable instead of a sudden switch when enough confidence in the correctness of ones own experiences is accumulated. All evaluations focus on systems with volatile behavior, i.e., system participants change their behavior over time. In such a system, the ability to adapt fast to behavior changes has turned out to be the most important parameter.Die steigende Komplexität aktueller Systeme benötigt einen hohen Grad an Administration, was eine wachsende Herausforderung für die manuelle Administration darstellt. Die Autonomic- und Organic-Computing Initiativen haben so genannte Selbst-x Eigenschaften vorgestellt, unter anderem Selbst-Konfiguration, Selbst-Optimierung, Selbst-Heilung sowie Selbst-Schutz, die eine autonome Administration erlauben. Obwohl die Forschung in diesem Gebiet erfolgversprechende Ergebnisse geliefert hat, wird von allen Teilnehmern erwartet, dass sie das Systemziel vorantreiben, d.h., ihr Wohlwollen wird vorausgesetzt. In offenen Systemen, in denen beliebige Teilnehmer dem System beitreten können, muss diese Wohlverhaltensannahme fallen gelassen werden, da solche Teilnehmer bösartig handeln und versuchen können, das System auszunutzen. In einer menschlichen Gesellschaft werden Vertrauensbeziehungen dazu benutzt, die Unsicherheit von Transaktionen mit unbekannten Interaktionspartnern zu mindern. Vertrauen basiert auf den bisherigen Erfahrungen mit Jemandem und auf Empfehlungen von Dritten. In dieser Arbeit werden Trust-Metriken für direkten Trust, Reputation, Konfidenz und deren Aggregation vorgestellt. Obwohl die vorgestellten Metriken hauptsächlich dafür entworfen wurden, die Selbst-x Eigenschaften von Organic-Computing Systemen zu verbessern, können sie ebenso von Applikationen in Multi-Agenten-Systemen benutzt werden, um das Verhalten anderer Agenten einschätzen zu können. Direkter Trust wird durch die Delayed-Ack Metrik berechnet, welche die Zuverlässigkeit von Knoten in Organic-Computing Systemen einschätzt. Die anderen Metriken sind allgemein genug gehalten, um in jedem Kontext und jeder Facette benutzt werden zu können, in dem ein System operiert, solange ein Trust-Wert für direkten Trust existiert. Diese Metriken beinhalten Reputation (Neighbor-Trust), Konfidenz und die Aggregation dieser. Es werden Evaluationen basierend auf einer automatischen Design Space Exploration durchgeführt, um die beste Konfiguration für jede Metrik zu finden, um dabei speziell die Wichtigkeit von direktem Trust, Reputation und Konfidenz auf den gesamten Trust-Wert zu identifizieren. Sie veranschaulichen, dass Reputation, d.h. die Vorschläge Dritter, ein wichtiger Aspekt ist, um die Vertrauenswürdigkeit eines Interaktionspartners einschätzen zu können. Zusätzlich zeigen sie, dass ein gradueller Wechsel von Reputation zu eigenen Erfahrungen einem plötzlichen Wechsel vorzuziehen ist, wenn genug Zuversicht auf die Korrektheit der eigenen Erfahrungen vorhanden ist. Alle Auswertungen befassen sich mit Systemen mit unbeständigem Verhalten, d.h. Systemteilnehmer ändern ihr Verhalten über die Zeit. In solch einem System hat sich herausgestellt, dass die Fähigkeit, sich schnell an Verhaltensänderungen anpassen zu können, der wichtigste Faktor ist

Calculating and Aggregating Direct Trust and Reputation in Organic Computing Systems

The growing complexity of current computer systems requires a high amount of administration, which poses an increasingly challenging task for manual administration. The Autonomic and Organic Computing Initiatives have introduced so called self-x properties, including self-configuration, self-optimization, self-healing, and self-protection, to allow administration to become autonomous. Although research in this area revealed promising results, it expects all participants to further the system goal, i.e., their benevolence is assumed. In open systems, where arbitrary participants can join the systems, this benevolence assumption must be dropped, since such a participant may act maliciously and try to exploit the system. This introduces a not yet considered uncertainty, which needs to be addressed. In human society, trust relations are used to lower the uncertainty of transactions with unknown interaction partners. Trust is based on past experiences with someone, as well as recommendations of trusted third parties. In this work trust metrics for direct trust, reputation, confidence, and an aggregation of them are presented. While the presented metrics were primarily designed to improve the self-x properties of OC systems they can also be used by applications in Multi-Agent-Systems to evaluate the behavior of other agents. Direct trust is calculated by the Delayed-Ack metric, that assesses the reliability of nodes in Organic Computing systems. The other metrics are general enough to be used with all kinds of contexts and facets to cover any kind of trust requirements of a system, as long as corresponding direct trust values exist. These metrics include reputation (Neighbor-Trust), confidence, and an aggregation of them. Evaluations based on an Automated Design Space Exploration are conducted to find the best configurations for each metric, especially to identify the importance of direct trust, reputation, and confidence for the total trust value. They illustrate, that reputation, i.e., the recommendations of others, is an important aspect to evaluate the trustworthiness of an interaction partner. In addition, it is shown that a gradual change of priority from reputation to direct trust is preferable instead of a sudden switch when enough confidence in the correctness of ones own experiences is accumulated. All evaluations focus on systems with volatile behavior, i.e., system participants change their behavior over time. In such a system, the ability to adapt fast to behavior changes has turned out to be the most important parameter.Die steigende Komplexität aktueller Systeme benötigt einen hohen Grad an Administration, was eine wachsende Herausforderung für die manuelle Administration darstellt. Die Autonomic- und Organic-Computing Initiativen haben so genannte Selbst-x Eigenschaften vorgestellt, unter anderem Selbst-Konfiguration, Selbst-Optimierung, Selbst-Heilung sowie Selbst-Schutz, die eine autonome Administration erlauben. Obwohl die Forschung in diesem Gebiet erfolgversprechende Ergebnisse geliefert hat, wird von allen Teilnehmern erwartet, dass sie das Systemziel vorantreiben, d.h., ihr Wohlwollen wird vorausgesetzt. In offenen Systemen, in denen beliebige Teilnehmer dem System beitreten können, muss diese Wohlverhaltensannahme fallen gelassen werden, da solche Teilnehmer bösartig handeln und versuchen können, das System auszunutzen. In einer menschlichen Gesellschaft werden Vertrauensbeziehungen dazu benutzt, die Unsicherheit von Transaktionen mit unbekannten Interaktionspartnern zu mindern. Vertrauen basiert auf den bisherigen Erfahrungen mit Jemandem und auf Empfehlungen von Dritten. In dieser Arbeit werden Trust-Metriken für direkten Trust, Reputation, Konfidenz und deren Aggregation vorgestellt. Obwohl die vorgestellten Metriken hauptsächlich dafür entworfen wurden, die Selbst-x Eigenschaften von Organic-Computing Systemen zu verbessern, können sie ebenso von Applikationen in Multi-Agenten-Systemen benutzt werden, um das Verhalten anderer Agenten einschätzen zu können. Direkter Trust wird durch die Delayed-Ack Metrik berechnet, welche die Zuverlässigkeit von Knoten in Organic-Computing Systemen einschätzt. Die anderen Metriken sind allgemein genug gehalten, um in jedem Kontext und jeder Facette benutzt werden zu können, in dem ein System operiert, solange ein Trust-Wert für direkten Trust existiert. Diese Metriken beinhalten Reputation (Neighbor-Trust), Konfidenz und die Aggregation dieser. Es werden Evaluationen basierend auf einer automatischen Design Space Exploration durchgeführt, um die beste Konfiguration für jede Metrik zu finden, um dabei speziell die Wichtigkeit von direktem Trust, Reputation und Konfidenz auf den gesamten Trust-Wert zu identifizieren. Sie veranschaulichen, dass Reputation, d.h. die Vorschläge Dritter, ein wichtiger Aspekt ist, um die Vertrauenswürdigkeit eines Interaktionspartners einschätzen zu können. Zusätzlich zeigen sie, dass ein gradueller Wechsel von Reputation zu eigenen Erfahrungen einem plötzlichen Wechsel vorzuziehen ist, wenn genug Zuversicht auf die Korrektheit der eigenen Erfahrungen vorhanden ist. Alle Auswertungen befassen sich mit Systemen mit unbeständigem Verhalten, d.h. Systemteilnehmer ändern ihr Verhalten über die Zeit. In solch einem System hat sich herausgestellt, dass die Fähigkeit, sich schnell an Verhaltensänderungen anpassen zu können, der wichtigste Faktor ist

Calculating and Aggregating Direct Trust and Reputation in Organic Computing Systems

The growing complexity of current computer systems requires a high amount of administration, which poses an increasingly challenging task for manual administration. The Autonomic and Organic Computing Initiatives have introduced so called self-x properties, including self-configuration, self-optimization, self-healing, and self-protection, to allow administration to become autonomous. Although research in this area revealed promising results, it expects all participants to further the system goal, i.e., their benevolence is assumed. In open systems, where arbitrary participants can join the systems, this benevolence assumption must be dropped, since such a participant may act maliciously and try to exploit the system. This introduces a not yet considered uncertainty, which needs to be addressed. In human society, trust relations are used to lower the uncertainty of transactions with unknown interaction partners. Trust is based on past experiences with someone, as well as recommendations of trusted third parties. In this work trust metrics for direct trust, reputation, confidence, and an aggregation of them are presented. While the presented metrics were primarily designed to improve the self-x properties of OC systems they can also be used by applications in Multi-Agent-Systems to evaluate the behavior of other agents. Direct trust is calculated by the Delayed-Ack metric, that assesses the reliability of nodes in Organic Computing systems. The other metrics are general enough to be used with all kinds of contexts and facets to cover any kind of trust requirements of a system, as long as corresponding direct trust values exist. These metrics include reputation (Neighbor-Trust), confidence, and an aggregation of them. Evaluations based on an Automated Design Space Exploration are conducted to find the best configurations for each metric, especially to identify the importance of direct trust, reputation, and confidence for the total trust value. They illustrate, that reputation, i.e., the recommendations of others, is an important aspect to evaluate the trustworthiness of an interaction partner. In addition, it is shown that a gradual change of priority from reputation to direct trust is preferable instead of a sudden switch when enough confidence in the correctness of ones own experiences is accumulated. All evaluations focus on systems with volatile behavior, i.e., system participants change their behavior over time. In such a system, the ability to adapt fast to behavior changes has turned out to be the most important parameter.Die steigende Komplexität aktueller Systeme benötigt einen hohen Grad an Administration, was eine wachsende Herausforderung für die manuelle Administration darstellt. Die Autonomic- und Organic-Computing Initiativen haben so genannte Selbst-x Eigenschaften vorgestellt, unter anderem Selbst-Konfiguration, Selbst-Optimierung, Selbst-Heilung sowie Selbst-Schutz, die eine autonome Administration erlauben. Obwohl die Forschung in diesem Gebiet erfolgversprechende Ergebnisse geliefert hat, wird von allen Teilnehmern erwartet, dass sie das Systemziel vorantreiben, d.h., ihr Wohlwollen wird vorausgesetzt. In offenen Systemen, in denen beliebige Teilnehmer dem System beitreten können, muss diese Wohlverhaltensannahme fallen gelassen werden, da solche Teilnehmer bösartig handeln und versuchen können, das System auszunutzen. In einer menschlichen Gesellschaft werden Vertrauensbeziehungen dazu benutzt, die Unsicherheit von Transaktionen mit unbekannten Interaktionspartnern zu mindern. Vertrauen basiert auf den bisherigen Erfahrungen mit Jemandem und auf Empfehlungen von Dritten. In dieser Arbeit werden Trust-Metriken für direkten Trust, Reputation, Konfidenz und deren Aggregation vorgestellt. Obwohl die vorgestellten Metriken hauptsächlich dafür entworfen wurden, die Selbst-x Eigenschaften von Organic-Computing Systemen zu verbessern, können sie ebenso von Applikationen in Multi-Agenten-Systemen benutzt werden, um das Verhalten anderer Agenten einschätzen zu können. Direkter Trust wird durch die Delayed-Ack Metrik berechnet, welche die Zuverlässigkeit von Knoten in Organic-Computing Systemen einschätzt. Die anderen Metriken sind allgemein genug gehalten, um in jedem Kontext und jeder Facette benutzt werden zu können, in dem ein System operiert, solange ein Trust-Wert für direkten Trust existiert. Diese Metriken beinhalten Reputation (Neighbor-Trust), Konfidenz und die Aggregation dieser. Es werden Evaluationen basierend auf einer automatischen Design Space Exploration durchgeführt, um die beste Konfiguration für jede Metrik zu finden, um dabei speziell die Wichtigkeit von direktem Trust, Reputation und Konfidenz auf den gesamten Trust-Wert zu identifizieren. Sie veranschaulichen, dass Reputation, d.h. die Vorschläge Dritter, ein wichtiger Aspekt ist, um die Vertrauenswürdigkeit eines Interaktionspartners einschätzen zu können. Zusätzlich zeigen sie, dass ein gradueller Wechsel von Reputation zu eigenen Erfahrungen einem plötzlichen Wechsel vorzuziehen ist, wenn genug Zuversicht auf die Korrektheit der eigenen Erfahrungen vorhanden ist. Alle Auswertungen befassen sich mit Systemen mit unbeständigem Verhalten, d.h. Systemteilnehmer ändern ihr Verhalten über die Zeit. In solch einem System hat sich herausgestellt, dass die Fähigkeit, sich schnell an Verhaltensänderungen anpassen zu können, der wichtigste Faktor ist