Can maker-taker fees prevent algorithmic cooperation in market making?

In a semi-realistic market simulator, independent reinforcement learning algorithms may facilitate market makers to maintain wide spreads even without communication. This unexpected outcome challenges the current antitrust law framework. We study the effectiveness of maker-taker fee models in preventing cooperation via algorithms. After modeling market making as a repeated general-sum game, we experimentally show that the relation between net transaction costs and maker rebates is not necessarily monotone. Besides an upper bound on taker fees, we may also need a lower bound on maker rebates to destabilize the cooperation. We also consider the taker-maker model and the effects of mid-price volatility, inventory risk, and the number of agents

Consumer prices : effects of learning algorithms and pandemic-related policy measures

When it comes to product prices, two major topics have dominated the public debate in recent years: One is pricing with the help of artificial intelligence, and the other is the price level, which has risen more than usual with the onset of the COVID-19 pandemic. Higher prices create a loss of consumer surplus and possibly total welfare, which is the reason this topic has become ubiquitous in political discussions. This dissertation contributes to the debate by extending the existing literature on algorithmic pricing, which is said to facilitate personalized pricing, as well as collusive behavior and to enhance the general understanding of how government measures enforced during the COVID-19 pandemic contributed to (short-time) price developments. Thereby, the first part of the thesis addresses the concern that tacit collusion might occur if firms employ learning algorithms, as several simulation studies have demonstrated that algorithms using reinforcement learning are able to coordinate their pricing behavior and, as a result, achieve a collusive outcome without having been programmed for it. We discuss several conceptual challenges as well as challenges in the real-world application of algorithms and show by or own simulations that resulting market prices strongly depend on the type of algorithm or heuristic that is used by the firms to set prices. In the subsequent part of the thesis we examine how a self-learning pricing algorithm performs when faced with inequity-averse consumers. From our simulations we can conclude that consumers sense of fairness, which have prevented firms from engaging in price discrimination in the past years, can be incorporated into firms pricing decisions with the help of learning algorithms, making differential pricing strategies more feasible. The discussion surrounding the above-average price levels in many countries during the COVID-19 pandemic is extended in the third part of the thesis. We present empirical evidence for the impact of government-imposed restrictions and, as a consequence of their enforcement, reduced mobility on consumer prices during the COVID-19 pandemic. We show that the stringency of government measures had a positive and significant impact on consumer prices mainly in the food sector, which means that more stringent measures induced higher consumer prices in these categories.Beim Thema Verbraucherpreise haben in den letzten Jahren vor allem zwei große Themen die öffentliche Debatte dominiert: Zum einen die Preisgestaltung mit Hilfe künstlicher Intelligenz und zum anderen das hohe Preisniveau, welches mit dem Ausbruch der COVID-19-Pandemie stärker als üblich angestiegen ist. Höhere Preise führen zu einem Verlust an Konsumentenrente und möglicherweise auch an Gesamtwohlfahrt, weshalb dieses Thema in der politischen Diskussion allgegenwärtig wurde. Die Dissertation leistet einen Beitrag zu dieser Debatte, indem sie die vorhandene Literatur zu algorithmischer Preisbildung erweitert, von der angenommen wird, dass sie eine personalisierte Preisbildung sowie kollusives Verhalten begünstigt, und indem sie das allgemeine Verständnis dafür verbessert, wie die während der COVID-19-Pandemie durchgesetzten staatlichen Maßnahmen zur (kurzfristigen) Preisentwicklung beigetragen haben. Der erste Teil der Arbeit befasst sich mit den Befürchtungen, dass es zu stillschweigenden Absprachen kommen könnte, wenn Unternehmen lernende Algorithmen einsetzen, da mehrere Simulationsstudien gezeigt haben, dass Algorithmen, die sogenanntes Reinforcement Learning einsetzen, in der Lage sind, ihr Preisverhalten zu koordinieren und infolgedessen ein kollusives Ergebnis zu erzielen, ohne dafür programmiert worden zu sein. Wir erörtern verschiedene konzeptionelle Herausforderungen sowie Hürden bei der realen Anwendung von Algorithmen und zeigen anhand eigener Simulationen, dass die resultierenden Marktpreise stark von der Art des Algorithmus oder der Heuristik abhängen, die von den Unternehmen zur Preisbildung verwendet wird. Im anschließenden Teil der Arbeit wird untersucht, wie sich ein selbstlernender Preisalgorithmus gegenüber ungleichheitsaversen Konsumenten verhält. Aus unseren Simulationen können wir schließen, dass das Fairnessempfinden der Verbraucher, das die Unternehmen in den vergangenen Jahren von Preisdiskriminierung abgehalten hat, mit Hilfe von lernenden Algorithmen in die Preisentscheidungen der Unternehmen einfließen kann, sodass differenzierte Preisstrategien wahrscheinlicher werden. Die Diskussion über das überdurchschnittliche Preisniveau in vielen Ländern während der COVID-19-Pandemie wird im dritten Teil der Dissertation vertieft. Es wird empirisch untersucht, inwieweit die Auswirkungen staatlich verordneter Beschränkungen und - als Folge ihrer Durchsetzung die eingeschränkte Mobilität die Verbraucherpreise während der COVID-19-Pandemie beeinflusst haben. Es wird gezeigt, dass die Strenge der staatlichen Maßnahmen einen positiven und signifikanten Einfluss auf die Verbraucherpreise vor allem im Lebensmittelsektor hatten, was bedeutet, dass strengere Maßnahmen zu höheren Verbraucherpreisen in diesen Kategorien geführt haben

Reinforcement learning for finance: A review

This paper provides a comprehensive review of the application of Reinforcement Learning (RL) in the domain of finance, shedding light on the groundbreaking progress achieved and the challenges that lie ahead. We explore how RL, a subfield of machine learning, has been instrumental in solving complex financial problems by enabling decision-making processes that optimize long-term rewards. Reinforcement learning (RL) is a powerful machine learning technique that can be used to train agents to make decisions in complex environments. In finance, RL has been used to solve a variety of problems, including optimal execution, portfolio optimization, option pricing and hedging, market making, smart order routing, and robo-advising. In this paper, we review the recent developments in RL for finance. We begin by introducing RL and Markov decision processes (MDPs), which is the mathematical framework for RL. We then discuss the various RL algorithms that have been used in finance, with a focus on value-based and policy-based methods. We also discuss the use of neural networks in RL for finance. Finally, we discuss the results of recent studies that have used RL to solve financial problems. We conclude by discussing the challenges and opportunities for future research in RL for finance.Este artículo ofrece una revisión exhaustiva de la aplicación del aprendizaje por refuerzo (AR) en el dominio de las finanzas, y arroja una luz sobre el innovador progreso alcanzado y los desafíos que se avecinan. Exploramos cómo el AR, un subcampo del aprendizaje automático, ha sido instrumental para resolver problemas financieros complejos al permitir procesos de toma de decisiones que optimizan las recompensas a largo plazo. El AR es una poderosa técnica de aprendizaje automático que se puede utilizar para entrenar a agentes a fin de tomar decisiones en entornos complejos. En finanzas, el AR se ha utilizado para resolver una variedad de problemas, incluyendo la ejecución óptima, la optimización de carteras, la valoración y cobertura de opciones, la creación de mercados, el enrutamiento inteligente de órdenes y el robo-asesoramiento. En este artículo revisamos los desarrollos recientes en AR para finanzas. Comenzamos proporcionando una introducción al AR y a los procesos de decisión de Markov (MDP), que es el marco matemático para el AR. Luego discutimos los diversos algoritmos de AR que se han utilizado en finanzas, con un enfoque en métodos basados en valor y políticas. También discutimos el uso de redes neuronales en AR para finanzas. Finalmente, abordamos los resultados de estudios recientes que han utilizado AR para resolver problemas financieros. Concluimos discutiendo los desafíos y las oportunidades para futuras investigaciones en AR para finanzas