Automated Negotiations under User Preference Uncertainty: A Linear Programming Approach

Autonomous agents negotiating on our behalf find applications in everyday life in many domains such as high frequency trading, cloud computing and the smart grid among others. The agents negotiate with one another to reach the best agreement for the users they represent. An obstacle in the future of automated negotiators is that the agent may not always have a priori information about the preferences of the user it represents. The purpose of this work is to develop an agent that will be able to negotiate given partial information about the user’s preferences. First, we present a new partial information model that is supplied to the agent, which is based on categorical data in the form of pairwise comparisons of outcomes instead of precise utility information. Using this partial information, we develop an estimation model that uses linear optimization and translates the information into utility estimates. We test our methods in a negotiation scenario based on a smart grid cooperative where agents participate in energy trade-offs. The results show that already with very limited information the model becomes accurate quickly and performs well in an actual negotiation setting. Our work provides valuable insight into how uncertainty affects an agent’s negotiation performance, how much information is needed to be able to formulate an accurate user model, and shows a capability of negotiating effectively with minimal user feedback

Nonlinear Negotiation Approaches for Complex-Network Optimization: A Study Inspired by Wi-Fi Channel Assignment

At the present time, Wi-Fi networks are everywhere. They operate in unlicensed radio-frequency spectrum bands (divided in channels), which are highly congested. The purpose of this paper is to tackle the problem of channel assignment in Wi-Fi networks. To this end, we have modeled the networks as multilayer graphs, in a way that frequency channel assignment becomes a graph coloring problem. For a high number and variety of scenarios, we have solved the problem with two different automated negotiation techniques: a hill-climber and a simulated annealer. As an upper bound reference for the performance of these two techniques, we have also solved the problem using a particle swarm optimizer. Results show that the annealer negotiator behaves as the best choice because it is able to obtain even better results than the particle swarm optimizer in the most complex scenarios under study, with running times one order of magnitude below. Finally, we study how different properties of the network layout affect to the performance gain that the annealer is able to obtain with respect to the particle swarm optimizer.Comment: This is a pre-print of an article published in Group Decision and Negotiation. The final version is available online at https://doi.org/10.1007/s10726-018-9600-

Uso de técnicas de negociación automática para la asignación de canales en IEEE 802.11

XII Jornadas de Ingeniería Telemática (JITEL 2015), 14/10/2015-16/10/2015, Palma de Mallorca, EspañaLas redes inalámbricas actuales deben dar soporte a cada vez más servicios telemáticos que demandan mayores prestaciones. Puesto que el espectro radioeléctrico en el que estas redes se basan es limitado, aumentar su eficiencia es ya una exigencia. En este trabajo se aborda el problema de la asignación de canales a puntos de acceso IEEE 802.11n con el objetivo de que los clientes de la red vean mejorada su experiencia de utilización. Las técnicas que se emplean con tal objetivo se basan en la negociación automática, comparándose con otras alternativas. Los resultados muestran que las técnicas de negociación son muy adecuadas para resolver el problema en cuestión, siendo capaces de obtener prestaciones superiores al resto de métodos con los que se han comparado.Comunidad de MadridMinisterio de Economía y Competitivida

Evaluating practical negotiating agents: Results and analysis of the 2011 international competition

This paper presents an in-depth analysis and the key insights gained from the Second International Automated Negotiating Agents Competition (ANAC 2011). ANAC is an international competition that challenges researchers to develop successful automated negotiation agents for scenarios where there is no information about the strategies and preferences of the opponents. The key objectives of this competition are to advance the state-of-the-art in the area of practical bilateral multi-issue negotiations, and to encourage the design of agents that are able to operate effectively across a variety of scenarios. Eighteen teams from seven different institutes competed. This paper describes these agents, the setup of the tournament, including the negotiation scenarios used, and the results of both the qualifying and final rounds of the tournament. We then go on to analyse the different strategies and techniques employed by the participants using two methods: (i) we classify the agents with respect to their concession behaviour against a set of standard benchmark strategies and (ii) we employ empirical game theory (EGT) to investigate the robustness of the strategies. Our analysis of the competition results allows us to highlight several interesting insights for the broader automated negotiation community. In particular, we show that the most adaptive negotiation strategies, while robu

What to bid and when to stop

Negotiation is an important activity in human society, and is studied by various disciplines, ranging from economics and game theory, to electronic commerce, social psychology, and artificial intelligence. Traditionally, negotiation is a necessary, but also time-consuming and expensive activity. Therefore, in the last decades there has been a large interest in the automation of negotiation, for example in the setting of e-commerce. This interest is fueled by the promise of automated agents eventually being able to negotiate on behalf of human negotiators.Every year, automated negotiation agents are improving in various ways, and there is now a large body of negotiation strategies available, all with their unique strengths and weaknesses. For example, some agents are able to predict the opponent's preferences very well, while others focus more on having a sophisticated bidding strategy. The problem however, is that there is little incremental improvement in agent design, as the agents are tested in varying negotiation settings, using a diverse set of performance measures. This makes it very difficult to meaningfully compare the agents, let alone their underlying techniques. As a result, we lack a reliable way to pinpoint the most effective components in a negotiating agent.There are two major advantages of distinguishing between the different components of a negotiating agent's strategy: first, it allows the study of the behavior and performance of the components in isolation. For example, it becomes possible to compare the preference learning component of all agents, and to identify the best among them. Second, we can proceed to mix and match different components to create new negotiation strategies., e.g.: replacing the preference learning technique of an agent and then examining whether this makes a difference. Such a procedure enables us to combine the individual components to systematically explore the space of possible negotiation strategies.To develop a compositional approach to evaluate and combine the components, we identify structure in most agent designs by introducing the BOA architecture, in which we can develop and integrate the different components of a negotiating agent. We identify three main components of a general negotiation strategy; namely a bidding strategy (B), possibly an opponent model (O), and an acceptance strategy (A). The bidding strategy considers what concessions it deems appropriate given its own preferences, and takes the opponent into account by using an opponent model. The acceptance strategy decides whether offers proposed by the opponent should be accepted.The BOA architecture is integrated into a generic negotiation environment called Genius, which is a software environment for designing and evaluating negotiation strategies. To explore the negotiation strategy space of the negotiation research community, we amend the Genius repository with various existing agents and scenarios from literature. Additionally, we organize a yearly international negotiation competition (ANAC) to harvest even more strategies and scenarios. ANAC also acts as an evaluation tool for negotiation strategies, and encourages the design of negotiation strategies and scenarios.We re-implement agents from literature and ANAC and decouple them to fit into the BOA architecture without introducing any changes in their behavior. For each of the three components, we manage to find and analyze the best ones for specific cases, as described below. We show that the BOA framework leads to significant improvements in agent design by wining ANAC 2013, which had 19 participating teams from 8 international institutions, with an agent that is designed using the BOA framework and is informed by a preliminary analysis of the different components.In every negotiation, one of the negotiating parties must accept an offer to reach an agreement. Therefore, it is important that a negotiator employs a proficient mechanism to decide under which conditions to accept. When contemplating whether to accept an offer, the agent is faced with the acceptance dilemma: accepting the offer may be suboptimal, as better offers may still be presented before time runs out. On the other hand, accepting too late may prevent an agreement from being reached, resulting in a break off with no gain for either party. We classify and compare state-of-the-art generic acceptance conditions. We propose new acceptance strategies and we demonstrate that they outperform the other conditions. We also provide insight into why some conditions work better than others and investigate correlations between the properties of the negotiation scenario and the efficacy of acceptance conditions.Later, we adopt a more principled approach by applying optimal stopping theory to calculate the optimal decision on the acceptance of an offer. We approach the decision of whether to accept as a sequential decision problem, by modeling the bids received as a stochastic process. We determine the optimal acceptance policies for particular opponent classes and we present an approach to estimate the expected range of offers when the type of opponent is unknown. We show that the proposed approach is able to find the optimal time to accept, and improves upon all existing acceptance strategies.Another principal component of a negotiating agent's strategy is its ability to take the opponent's preferences into account. The quality of an opponent model can be measured in two different ways. One is to use the agent's performance as a benchmark for the model's quality. We evaluate and compare the performance of a selection of state-of-the-art opponent modeling techniques in negotiation. We provide an overview of the factors influencing the quality of a model and we analyze how the performance of opponent models depends on the negotiation setting. We identify a class of simple and surprisingly effective opponent modeling techniques that did not receive much previous attention in literature.The other way to measure the quality of an opponent model is to directly evaluate its accuracy by using similarity measures. We review all methods to measure the accuracy of an opponent model and we then analyze how changes in accuracy translate into performance differences. Moreover, we pinpoint the best predictors for good performance. This leads to new insights concerning how to construct an opponent model, and what we need to measure when optimizing performance.Finally, we take two different approaches to gain more insight into effective bidding strategies. We present a new classification method for negotiation strategies, based on their pattern of concession making against different kinds of opponents. We apply this technique to classify some well-known negotiating strategies, and we formulate guidelines on how agents should bid in order to be successful, which gives insight into the bidding strategy space of negotiating agents. Furthermore, we apply optimal stopping theory again, this time to find the concessions that maximize utility for the bidder against particular opponents. We show there is an interesting connection between optimal bidding and optimal acceptance strategies, in the sense that they are mirrored versions of each other.Lastly, after analyzing all components separately, we put the pieces back together again. We take all BOA components accumulated so far, including the best ones, and combine them all together to explore the space of negotiation strategies.We compute the contribution of each component to the overall negotiation result, and we study the interaction between components. We find that combining the best agent components indeed makes the strongest agents. This shows that the component-based view of the BOA architecture not only provides a useful basis for developing negotiating agents but also provides a useful analytical tool. By varying the BOA components we are able to demonstrate the contribution of each component to the negotiation result, and thus analyze the significance of each. The bidding strategy is by far the most important to consider, followed by the acceptance conditions and finally followed by the opponent model.Our results validate the analytical approach of the BOA framework to first optimize the individual components, and then to recombine them into a negotiating agent

Contribución a la negociación automática en espacios de utilidad complejos

Premio Extraordinario de Doctorado 2012Podemos entender la negociación como una interacción entre varias partes que intentan alcanzar un acuerdo en relación a una serie de atributos que les suponen un conflicto de intereses. Así definida, la negociación está presente en numerosos aspectos de la vida cotidiana, desde las relaciones personales a la economía o la política internacional. Algunos escenarios de negociación pueden ser total o parcialmente automatizados, beneficiándose así de las ventajas en cuanto a eficiencia del empleo de técnicas de inteligencia artificial. Entre los problemas que ya se han abordado con éxito en la literatura haciendo uso de negociación automática entre agentes podemos destacar diferentes escenarios de negociación en comercio electrónico y problemas de reparto de recursos o tareas, como por ejemplo cadenas de producción o reparto de carga computacional en procesos informáticos. La automatización de los procesos de negociación permite no sólo replicar la toma de decisiones humana en escenarios de negociación tradicionales, sino también abordar problemas en los que la negociación con humanos no es viable, ya sea por la complejidad del escenario o por las limitaciones temporales del proceso de negociación. Dentro de este ámbito, existe un interés creciente por el estudio de escenarios de negociación complejos, como pueden ser las negociaciones de contratos jurídicos o los acuerdos de requisitos entre proveedores y clientes. En este tipo de escenarios, son frecuentes las negociaciones de múltiples atributos interdependientes. La complejidad inherente a este tipo de problemas de negociación sugiere la automatización total o parcial del proceso, especialmente cuando existen restricciones temporales severas sobre la duración de la negociación. Sin embargo, la dependencia entre atributos genera espacios de utilidad no lineales, haciendo que los mecanismos clásicos de negociación automática no sean aplicables. Incluso mecanismos específicamente diseñados para escenarios no lineales pueden fallar si la complejidad del espacio de utilidades aumenta considerablemente. Existe, por tanto, la necesidad de diseñar mecanismos que permitan negociar de forma efectiva y eficaz en escenarios que impliquen espacios de utilidad de elevada complejidad. Esta tesis aborda el problema de la negociación automática multilateral en espacios de utilidad complejos, tratando de dar respuesta a esta necesidad. Para ello se propone un modelo de negociación especialmente diseñado para este tipo de escenarios. El modelo comprende la representación de las preferencias de los agentes, la especificación del protocolo de interacción que gobierna la negociación, y el diseño de estrategias heurísticas para la toma de decisiones de los agentes. Para las preferencias de los agentes, se opta por funciones de utilidad basadas en restricciones ponderadas, y se presenta un generador de preferencias que permite diseñar, a partir de un conjunto de parámetros, escenarios de complejidad ajustable, tanto en lo referente a la complejidad de los espacios de preferencias individuales de los agentes como en lo referente a la correlación mutua de las funciones de utilidad de los diferentes agentes. Para el proceso de negociación, este trabajo parte de la hipótesis de que, en escenarios en los que los espacios de utilidad de los agentes son complejos, la dificultad de la consecución de acuerdos mutuamente aceptables puede paliarse buscando un equilibrio adecuado entre los objetivos individuales de maximización de la utilidad de cada agente, y el objetivo social de la consecución del acuerdo. Teniendo esto en cuenta, se propone un protocolo de interacción expresivo e iterativo basado en subastas, que permite a los agentes refinar sus propuestas en cada iteración sirviéndose de la capacidad expresiva que proporcionan las técnicas de argumentación. Finalmente, se diseña un conjunto de estrategias para la toma de decisiones de los agentes, orientadas a equilibrar el beneficio obtenido y la probabilidad de acuerdo en función de la actitud hacia el riesgo de cada agente. Una vez formulada la propuesta, se ha realizado una exhaustiva evaluación experimental orientada a determinar la contribución a la negociación de los mecanismos propuestos en términos de efectividad y eficiencia. Los experimentos realizados han confirmado nuestra hipótesis de trabajo y la adecuación de nuestra propuesta basada en el equilibrio entre utilidad y probabilidad de acuerdo y la capacidad expresiva de los agentes, y nos han permitido extraer importantes conclusiones en el ámbito de investigación de los sistemas de negociación automática multilateral multiatributo para espacios de utilidad complejos

Aproximaciones a la aplicación de políticas de consenso en escenarios de negociación automática compleja

En escenarios de negociación complejos es frecuente la negociación de múltiples atributos interdependientes. En la negociación multiatributo es usual que existan distintas ofertas que proporcionen un mismo nivel de utilidad para el agente. Para un agente inmerso en una negociación la selección de una oferta no es trivial. Para llevar a cabo esta selección, un criterio que se suele emplear habitualmente como componente clave en muchos modelos de negociación es el criterio de similaridad. En escenarios con preferencias no monótonas y/o discontinuas este criterio se debilita debido a la ausencia de información suficiente acerca de la estructura de preferencias del oponente. Como primera contribución, esta tesis propone un protocolo de negociación que pueda trabajar de forma eficiente en espacios de utilidad complejos donde la aproximación basada en similaridad falla. En esta tesis se plantean mecanismos de negociación que permiten abordar negociaciones multiatributo complejas con espacios de preferencias no diferenciables. El protocolo propuesto extiende algunos de los principios de la búsqueda basada en patrones para realizar una búsqueda distribuida en el espacio de soluciones. Con objeto de incorporar el principio básico de exploración iterativa por patrones en nuestro protocolo, proponemos pasar de un protocolo de interacción basado en el intercambio de contratos (puntos del espacio de soluciones) a un protocolo basado en el intercambio de regiones. El protocolo define un proceso de exploración conjunta de forma recursiva. Podemos entender este proceso como una contracción iterativa del espacio de soluciones. Una vez que la región sobre la que se realiza la búsqueda es lo suficientemente pequeña como para ser interpretada como si fuera un único contrato, los agentes deciden que la negociación ha terminado. La extensión de los mecanismos de negociación descritos a un entorno de negociación multilateral exige que se incorpore un procedimiento para la agregación de las preferencias de los distintos agentes. En este contexto, y teniendo en cuenta los requisitos de privacidad y escalabilidad de las soluciones, parece natural la utilización de aproximaciones mediadas. En las aproximaciones mediadas, un mediador intenta optimizar algún tipo de métrica del bienestar social. Sin embargo, pocos trabajos han tratado de incorporar algún criterio de bienestar social en el proceso de búsqueda. Para este tipo de escenarios, se hace necesario definir nuevos conceptos de bienestar social. Esta tesis presenta además mecanismos de negociación que permiten incluir en el proceso de búsqueda de acuerdos políticas de consenso, que podrán ser definidas en términos lingüísticos, de forma que es posible especificar el tipo de acuerdo que se persigue. Para validar las contribuciones de la tesis, se ha realizado una evaluación experimental exhaustiva empleando tanto escenarios tipo como escenarios aleatorizados. Los experimentos realizados han confirmado que nuestra propuesta basada en los principios de búsqueda por patrones permite superar las limitaciones de las aproximaciones basadas en similaridad y alcanzar acuerdos consistentes con políticas de consenso definidas en el mediador de forma efectiva, abriendo una nueva línea de trabajo en el ámbito del diseño de mecanismos de negociación automática multilateral de múltiples atributos para espacios de utilidad complejos. Por último, se explora la aplicabilidad de los protocolos de negociación para espacios de utilidad de alta complejidad a escenarios reales. En concreto, se estudia el escenario de asignación de frecuencias en redes inalámbricas Wi-Fi, en el que varios proveedores de red deben acordar la asignación de frecuencias a los puntos de acceso bajo su control. Este trabajo supone la primera aplicación de este tipo de protocolos en entornos reales. Los resultados muestran que es posible alcanzar acuerdos que mejoran los obtenidos por las heurísticas que se emplean actualmente e incluso los conseguidos por optimizadores con información completa