Content Placement in Cache-Enabled Sub-6 GHz and Millimeter-Wave Multi-antenna Dense Small Cell Networks

This paper studies the performance of cache-enabled dense small cell networks consisting of multi-antenna sub-6 GHz and millimeter-wave base stations. Different from the existing works which only consider a single antenna at each base station, the optimal content placement is unknown when the base stations have multiple antennas. We first derive the successful content delivery probability by accounting for the key channel features at sub-6 GHz and mmWave frequencies. The maximization of the successful content delivery probability is a challenging problem. To tackle it, we first propose a constrained cross-entropy algorithm which achieves the near-optimal solution with moderate complexity. We then develop another simple yet effective heuristic probabilistic content placement scheme, termed two-stair algorithm, which strikes a balance between caching the most popular contents and achieving content diversity. Numerical results demonstrate the superior performance of the constrained cross-entropy method and that the two-stair algorithm yields significantly better performance than only caching the most popular contents. The comparisons between the sub-6 GHz and mmWave systems reveal an interesting tradeoff between caching capacity and density for the mmWave system to achieve similar performance as the sub-6 GHz system.Comment: 14 pages; Accepted to appear in IEEE Transactions on Wireless Communication

The State of the Art in Model Predictive Control Application for Demand Response

Demand response programs have been used to optimize the participation of the demand side. Utilizing the demand response programs maximizes social welfare and reduces energy usage. Model Predictive Control is a suitable control strategy that manages the energy network, and it shows superiority over other predictive controllers. The goal of implementing this controller on the demand side is to minimize energy consumption, carbon footprint, and energy cost and maximize thermal comfort and social welfare.  This review paper aims to highlight this control strategy\u27s excellence in handling the demand response optimization problem. The optimization methods of the controller are compared. Summarization of techniques used in recent publications to solve the Model Predictive Control optimization problem is presented, including demand response programs, renewable energy resources, and thermal comfort. This paper sheds light on the current research challenges and future research directions for applying model-based control techniques to the demand response optimization problem

Output feedback stochastic MPC with packet losses

The paper considers constrained linear systems with stochastic additive disturbances and noisy measurements transmitted over a lossy communication channel. We propose a model predictive control (MPC) law that minimizes a discounted cost subject to a discounted expectation constraint. Sensor data is assumed to be lost with known probability, and data losses are accounted for by expressing the predicted control policy as an affine function of future observations, which results in a convex optimal control problem. An online constraint-tightening technique ensures recursive feasibility of the online optimization and satisfaction of the expectation constraint without bounds on the distributions of the noise and disturbance inputs. The cost evaluated along trajectories of the closed loop system is shown to be bounded by the optimal predicted cost. A numerical example is given to illustrate these results

Non-centralized optimization-based control schemes for large-scale energy systems

Non-centralized control schemes for large-scale systems, including energy networks, are more flexible, scalable, and reliable than the centralized counterpart. These benefrts are obtained by having a set of local control!ers, each of which is responsible for a partition of the system, instead of one central entity that controls the whole system. Furthermore,in sorne cases, employing a non­ centralized control structure might be necessary due to the intractability problem of the centralized method.Thus, this thesis is devoted to the study of non-centralized optimization-based control approaches for large-scale energy systems. Mainly,this thesis focuses on the communication and cooperation processes of local controllers, which are integral parts of such schemes. Throughout this thesis,the model predictíve control framework is applied to solve the economic dispatch problem of large-scale energy systems. In a non-centralized architecture, local controllers must cooperatively solve the economic dispatch problem, which is formulated as a convex optimization problem with edge-based coupling constraints, at each time step.Therefore, first, the augmented Lagrangian approach is deployed to decompose the problem and to design two distributed optimization methods, which are iterative and require the local controllers to exchange information with each other at each iteration. lt is then shown that the sequence produced by these methods converges to an optima!solution when sorne cond tions, which include how the controllers must communicate and cooperate, are satisfied. However, in practice, the communication process might not always be perfect,i.e.,the required communication assumption does not hold. In the case of communication link failures, the distributed methods might not be able to compute a solution.Therefore,an information exchange protocol that is based on consensus is designed to overcome this problem. Furthermore, the proposed distributed methods are also further·extended such that they work over random communication networks and asynchronous updates, i.e.,when not all controllers always perform the updates . Under this setup, the convergence and the convergence rate of the algorithms are shown. Additionally, the implementation of these distributed methods to an MPC-based economic dispatch is also presented. The discussion includes the techniques that can be used to reduce the number of iterat ions and the performance of the methods in a numerical study. Considering that the aforementioned methods are comrnunication-intensive, an alternative non-centralized scheme, which provides a trade-off between comrnunication intensity and suboptirnality,is proposed.The scheme consists of repartitioning the network online with the aim of obtaining self-sufficient subsystems, forming coalitions for subsystems that are not self-sufficient,and decomposing the economic dispatch problem of the system into coalition-based subproblems. In this scheme, each subsystem only communicates to the others that belong to the sarne coalition;thus, reducing communication. Especially when all subsystems are self-sufficient, exchanging information is not needed. Finally,a cooperation problem during the implementation of the decisions is discussed. Specifically, sorne subsystems do not cornply with the computed decisions to gain better performance at the cost of deteriorating the performance of the other subsystems.A resilient scheme that can cope with this problem is formulated.lt consists of a stochastic method to robustify the decisions against such adversaria! behavior and an identification and mitigation method that is based on hypothesis testing using Bayesian inference.The proposed scheme, in general,can mitigate the effect of non-Los esquemas de control no centralizados aplicados a sistemas a gran escala, entre los que se incluyen las redes energéticas, son más flexibles, escalables y fiables que sus equivalentes centralizados. Dichos beneficios pueden obtenerse empleando un conjunto de controladores locales, donde cada uno de ellos es responsable de una parte del sistema, en lugar de una entidad central que controle la totalidad del sistema.Asimismo,el uso de una estructura de control no centralizada podría ser, en algunos casos, necesario, dado el problema de intratabilidad del método centralizado. Por consiguiente, la presente tesis trata sobre el estudio de enfoques de control no centralizados basados en optimización para redes energéticas a gran escala. Principalmente, esta tesis se centra en los procesos de comunicación y cooperación llevados a cabo por los controladores locales , que constituyen partes esenciales de dichos esquemas . A lo largo de esta tesis, el control predictivo basado en modelos se usa para resolver el problema de expedir energia en redes energéticas a gran escala desde un punto de vista económico. En arquitecturas no centralizadas, los controladores locales deben resolver dicho problema de forma cooperativa, el cual se formula como un problema de optimización convexo con restricciones de acoplamiento en los enlaces entre nodos, que debe ser resuelto en cada instante de tiempo. Para ello, el método de Lagrangiano aumentado se utiliza inicialmente para descomponer el problema y diseñar dos métodos de optimización distribuidos , que son iterativos y requieren que los controladores locales intercambien información entre ellos en cada iteración . A continuación, se muestra que la secuencia generada por estos métodos converge a la solución óptima a condición de que se cumplan ciertas condiciones,incluyendo cómo los controladores deben comunicarse y cooperar. Sin embargo, en la práctica,la comunicación no siempre es perfecta, es decir,el supuesto de comunicación requerido no se cumple. En el caso de fallos en los enlaces de comunicación, los métodos distribuidos podrían no ser capaces de proporcionar una solución. Para paliar este problema, se diseña un protocolo de información basado en consenso.l'v1ás aún, los métodos de optimización distribuidos se extienden a fin de que sean capaces de trabajar en redes con comunicaciones aleatorias y actualizaciones asíncronas, es decir,redes en que no todos los controladores realicen las actualizaciones . En esta configuración se muestran la convergencia y el orden de convergencia de dichos algoritmos. Se muestra, además, la implementación de estos métodos en el control predictivo económico basado en modelos para redes energéticas. La discusión incluye las técnicas que pueden usarse para reducir el número de iteraciones, así como el desempeño de los métodos, a través de un estudio numérico. Teniendo en cuenta que los métodos anteriormente mencionados requieren una comunicación intensa,se propone otro esquema no centralizado que proporciona un compromiso entre intensidad de comunicación y suboptimalidad . Dicha estrategia consiste en volver a particionar en línea el sistema con el objetivo de obtener subsistemas autosuficientes,formando coaliciones de subsistemas que no lo sean por separado,y descomponiendo el problema económico de expedición de energía en subproblemas de tipo coalicional. En este esquema ,cada subsistema se comunica únicamente con aquellos otros subsistemas que pertenezcan a la misma coalición, reduciendo asi el tráfico de comunicación. En particular, cuando todos los subsistemas son autosuficientes, el intercambio de información ya no es necesario. Finalmente,se considera el problema de la cooperación durante la implementación de las decisiones Específicamente, algunos subsistemas no acatan las decisiones tomadas con el fin de lograr un desempeño propio superior a expensas de empeorar el desempeño de otros subsistemas. Es por esto que, con el fin de lidiar con este problema, se propone un esquema resiliente, el cual consiste en un método estocástico para hacer las decisiones más robustas frente a tal comportamiento adverso, y un método de identificación y mitigación basado en evaluación de hipótesis usando inferencia bayesiana. En general, el esquema propuesto logra mitigar el efecto de los subsistemas incumplidores sobre el resto, y en un caso concreto, también permite identificar los subsistemas adversos.Els esquemes de control no centralitzats aplicats a sistemes a gran escala, entre els quals s’inclouen les xarxes energètiques, són més flexibles, escalables i fiables que els seus equivalents centralitzats. Aquests beneficis es poden obtenir fent servir un conjunt de controladors locals, en què cadascun d’ells és responsable d’una part del sistema, en lloc d’una entitat central que controli la totalitat del sistema. Així mateix, l’ús d’una estructura de control no centralitzada podria ser, en alguns casos, necessari, donat el problema d’intractabilitat del mètode centralitzat. Per tant, la present tesi tracta sobre l’estudi d’enfocaments de control no centralitzats basats en optimització per a xarxes energètiques a gran escala. Principalment, aquesta tesi se centra en els processos de comunicació i cooperació duts a terme pels controladors locals, que constitueixen parts essencials d’aquests esquemes. Al llarg d’aquesta tesi, el control predictiu basat en models s’utilitza per a resoldre el problema d’expedició d’energia en xarxes energètiques a gran escala des d’un punt de vista econòmic. En arquitectures no centralitzades, els controladors locals han de resoldre aquest problema de forma cooperativa, formulat com un problema d’optimització convex amb restriccions d’acoblament en els enllaços entre nodes i que ha de ser resolt a cada instant de temps. A tal efecte, el mètode de Lagrangià augmentat s’utilitza inicialment per a descomposar el problema i dissenyar dos mètodes d’optimització distribuïts, que són iteratius i requereixen que els controladors locals intercanviïn informació entre ells a cada iteració. A continuació, es mostra que la seqüència generada per aquests mètodes convergeix a la solució òptima si es compleixen certes condicions, incloent la manera en què els controladors s’han de comunicar i cooperar. No obstant això, a la pràctica, la comunicació no és sempre perfecta, és a dir, el supòsit de comunicació perfecta no es compleix. En el cas de fallades en els enllaços de comunicació, els mètodes distribuïts podrien no ser capaços de proporcionar una solució. Per a resoldre aquest problema, es dissenya un protocol d’informació basat en consens. A més, els mètodes d’optimització distribuïts s’amplien per tal que siguin capaços de treballar en xarxes amb comunicacions aleatòries i actualitzacions asíncrones, és a dir, xarxes en què no tots els controladors realitzin les actualitzacions. En aquestes configuracions es mostren la convergència i l’ordre de convergència d’aquests algoritmes. A més, es mostra també la implementació d’aquests mètodes en el control predictiu econòmic basat en models per a xarxes energètiques. La discussió inclou les tècniques que es poden emprar per a reduir el nombre d’iteracions, així com el rendiment dels mètodes, fent servir un estudi numèric. Tenint en compte que els mètodes anteriorment esmentats requereixen una comunicació intensa, es proposa un altre esquema no centralitzat que proporciona un compromís entre intensitat de comunicació i suboptimalitat. Aquesta estratègia consisteix en tornar a particionar el sistema en línia amb l’objectiu d’obtenir subsistemes autosuficients, formant coalicions de subsistemes que no ho siguin per separat, i descomposant el problema econòmic d’expedició d’energia en subproblemes de tipus coalicional. En aquest esquema, cada subsistema es comunica únicament amb aquells altre subsistemes que pertanyin a la mateixa coalició, reduint així el trànsit de comunicació. En particular, quan tots els sistemes són autosuficients, l’intercanvi d’informació deixa de ser necessari. Finalment, es considera el problema de la cooperació durant la implementació de les decisions. Específicament, alguns subsistemes no acaten les decisions preses amb la finalitat de millorar el propi rendiment a costa de disminuir el d’altres subsistemes. És per això que, a fi de solucionar aquest problema, es proposa un esquema resilient, el qual consisteix en un mètode estocàstic per fer les decisions més robustes davant d’aquest comportament advers, i un mètode d’identificació i mitigació basat en evaluar hipòtesis utilitzant inferència bayesiana. En general, l’esquema proposat aconsegueix mitigar l’efecte que els subsistemes no obedients exerceixen sobre la resta, i en un cas concert, també permet identificar els subsistemes adversos.ABSTRAKSI (Indfonesian) Skema kendali yang tidak tersentralisasi untuk sistem berskala besar, seperti sistem aringan energi, lebih fleksibel, skalabel, dan reliabel dibandingkan dengan skema tersentralisasi. Keuntungan ini diperoleh dari terdapatnya satu set pengendali lokal, yang hanya bertanggung jawab terhadap satu partisi dari sistem tersebut, daripada jika hanya terdapat satu entitas yang mengendalikan seluruh sistem. Bahkan dalam beberapa sistem, penerapan struktur kendali yang tidak tersentralisasi menjadi keharusan karena adanya permasalahan intraktabilitas dari metode tersentralisasi. Oleh karena itu, disertasi ini bertujuan untuk melakukan studi pada metode kendali berdasarkan optimisasi dengan struktur yang tidak tersentralisasi untuk sistem energi berskala besar. Khususnya, disertasi ini memfokuskan pada proses komunikasi dan kooperasi pengendali‐pengendali lokal, yang merupakan bagian integral dalam skema yang dimaksud. Pada disertasi ini, sistem kontrol prediktif (model predictive control (MPC)) diterapkan untuk menyelesaikan optimisasi economic dispatch pada sistem energi berskala besar. Dalam arsitektur yang tidak tersentralisasi, pengendali‐pengendali lokal harus menyelesaikan permasalahan economic dispatch secara kooperatif. Permasalahan economic dispatch ini diformulasikan sebagai optimisasi yang konveks dan memiliki konstrain terkopling. Oleh karena itu, pendekatan Lagrange yang teraugmentasi diterapkan untuk mendekomposisi permasalahan optimisasi terkait. Pendekatan ini juga digunakan untuk merancang dua metode optimisasi terdistribusi, yang iteratif dan mengharuskan pengendali‐pengendali lokal bertukar informasi satu sama lain pada setiap iterasi. Sekuensi yang dihasilkan dari kedua metode tersebut akan terkonvergensi pada suatu solusi yang optimal apabila beberapa kondisi, yang meliputi bagaimana pengendali harus berkomunikasi dan berkooperasi, terpenuhi. Namun, pada praktiknya, proses komunikasi yang terjadi mungkin tidak selalu sempurna, dalam hal ini asumsi pada proses komunikasi yang dibutuhkan tidak terpenuhi. Pada kasus kegagalan jaringan komunikasi, metode terdistribusi yang dirancang mungkin tidak dapat menemukan solusinya. Oleh karena itu, suatu protokol untuk pertukaran informasi yang berdasarkan pada konsensus dirancang untuk mengatasi permasalahan ini. Selanjutnya, dua metode terdistribusi yang telah dirancang juga dikembangkan lebih jauh sehingga metode‐metode tersebut dapat bekerja pada jaringan komunikasi stokastik dengan proses yang asinkron, yaitu proses dimana tidak semua pengendali selalu melakukan pembaruan. Dalam hal ini, konvergensi dan laju konvergensi dari metode yang dirancang dipertunjukkan. Selain itu, implementasi dari metode terdistribusi pada sistem economic dispatch berbasis MPC juga dibahas. Diskusi pada bagian ini mencakup beberapa teknik yang dapat digunakan untuk mengurangi jumlah iterasi dan performa dari metode‐metode yang dirancang pada suatu studi numerik. Dengan pertimbangan bahwa metode‐metode yang disebut sebelumnya membutuhkan komunikasi yang intensif, maka sebuah skema alternatif, yang memberikan trade‐off antara intensitas komunikasi dan suboptimalitas, juga dirancang. Skema ini terdiri dari repartisi sistem online yang bertujuan untuk mendapatkan subsistemsubsistem yang swasembada, pembentukan koalisi untuk subsistem‐subsistem yang tidak swasembada, dan dekomposisi permasalahan economic dispatch menjadi subproblem berbasis koalisi. Dalam skema ini, tiap subsistem hanya perlu berkomunikasi dengan subsistem‐subsistem lain yang berada pada koalisi yang sama; sehingga mengurangi aliran komunikasi. Jika semua subsistem yang terbentuk swasembada, maka pertukaran informasi tidak dibutuhkan sama sekali. Pada akhirnya, disertasi ini juga membahas mengenai suatu permasalahan koperasi dalam masa implementasi keputusan (solusi). Pada permasalahan kooperasi ini, terdapat beberapa subsistem yang tidak menuruti keputusan (solusi), misalnya dengan tujuan untuk mendapatkan kinerja yang lebih baik dan di saat yang bersamaan memperburuk kinerja subsistem lainnya. Maka, sebuah skema resilien yang dapat mengatasi permasalahan ini dirumuskan. Skema tersebut terdiri dari sebuah metode stokastik untuk merobustifikasi keputusan terhadap perilaku adversari dan sebuah metode identifikasi dan mitigasi yang berdasarkan pada pengujian hipotesis dengan menggunakan inferensi Bayes. Skema yang diusulkan, secara umum, dapat memitigasi pengaruh subsistem yang tidak patuh pada subsistem reguler, dan pada kasus tertentu, juga dapat mengidentifikasi subsistem yang menjadi adversari

Cooperative Active Learning based Dual Control for Exploration and Exploitation in Autonomous Search

In this paper, a multi-estimator based computationally efficient algorithm is developed for autonomous search in an unknown environment with an unknown source. Different from the existing approaches that require massive computational power to support nonlinear Bayesian estimation and complex decision-making process, an efficient cooperative active learning based dual control for exploration and exploitation (COAL-DCEE) is developed for source estimation and path planning. Multiple cooperative estimators are deployed for environment learning process, which is helpful to improving the search performance and robustness against noisy measurements. The number of estimators used in COAL-DCEE is much smaller than that of particles required for Bayesian estimation in information-theoretic approaches. Consequently, the computational load is significantly reduced. As an important feature of this study, the convergence and performance of COAL-DCEE are established in relation to the characteristics of sensor noises and turbulence disturbances. Numerical and experimental studies have been carried out to verify the effectiveness of the proposed framework. Compared with existing approaches, COAL-DCEE not only provides convergence guarantee, but also yields comparable search performance using much less computational power