Selection of Clusters based on Internal Indices in Multi-Clustering Collaborative Filtering Recommender System

The successful application of a multi-clustering based neighborhood approach to recommender systems has led to increased recommendation accuracy and the elimination of divergence related to differences in clustering methods traditionally used. The Multi-Clustering Collaborative Filtering algorithm was developed to achieve this, as described in the author’s previous papers. However, utilizing multiple clusters poses challenges regarding memory consumption and scalability.Not all partitionings are equally advantageous, making selecting clusters for the recommender system’s input crucial without compromising recommendation accuracy. This article presents a solution for selecting clustering schemesbased on internal indices evaluation. This method can be employed for preparing input data in collaborative filtering recommender systems. The study’s results confirm the positive impact of scheme selection on the overall recommendationperformance, as it typically improves after the selection process.Furthermore, a smaller number of clustering schemes used asinput for the recommender system enhances scalability andreduces memory consumption. The findings are compared withbaseline recommenders’ outcomes to validate the effectiveness ofthe proposed approach

An Efficient Recommendation System in E-commerce using Passer learning optimization based on Bi-LSTM

Recommendation system services have become crucial for users to access personalized goods or services as the global e-commerce market expands. They can increase business sales growth and lower the cost of user information exploration. Recent years have seen a signifi-cant increase in researchers actively using user reviews to solve standard recommender system research issues. Reviews may, however, contain information that does not help consumers de-cide what to buy, such as advertising or fictitious or fake reviews. Using such reviews to offer suggestion services may reduce the effectiveness of those recommendations. In this research, the recommendation in e-commerce is developed using passer learning optimization based on Bi-LSTM to solve that issue (PL optimized Bi-LSTM). Data is first obtained from the product recommendation dataset and pre-processed to remove any values that are missing or incon-sistent. Then, feature extraction is performed using TF-IDF features and features that support graph embedding. Before submitting numerous features with the same dimensions to the Bi-LSTM classifier for analysis, they are integrated using the feature concatenation approach. The Collaborative Bi-LSTM method employs these features to determine if the model is a recommended product. The PL optimization approach, which efficiently adjusts the classifier's parameters and produces an extract output that measures the f1-score, MSE, precision, and recall, is the basis of this research's contributions. As compared to earlier methods, the pro-posed PL-optimized Bi-LSTM achieved values of 88.58%, 1.24%, 92.69%, and 92.69% for dataset 1, 88.46%, 0.48%, 92.43%, and 93.47% for dataset 2, and 92.51%, 1.58%, 91.90%, and 90.76% for dataset 3

Protection of ultra long HVDC transmission lines.

Thesis (M.Sc.Eng.)-University of KwaZulu-Natal, Durban, 2005.HVDC transmission is today widely used in modem Power Systems as an alternative to HVAC. Current trends indicate that many future conventional HVDC systems will be systems of increasing power ratings, delivered over larger distances as well as multi-terminal systems. In order to ensure the security and dependability of such systems, the current protection schemes need to be evaluated to assess their ability to provide adequate protection for the envisaged HVDC systems. This research work firstly reviews the present HVDC transmission line protection systems, and highlights their advantages and disadvantages, including factors that adversely influence their performance. The author critically evaluates the current protection schemes and reveals the drawbacks and other factors that render them unsuitable for the protection oflong dc transmission lines. The author then goes on to propose and develop an HVDC line protection system that will be able to provide adequate protection for proposed long HVDC transmission lines. The proposed protection system is able to make decisions based solely on local detection increasing its overall reliability. The author then recommends that the proposed protection system be used in conjunction with the existing main protection system in order to optimise the protection response times for both close in and distant faults. The author also proposes and develops a method of further enhancing the reliability of the protection system by the use of the telecommunication infrastructure when available. Finally the performance and feasibility of the proposed protection system is evaluated using the results obtained from the extensive fault simulations performed in EMTDC and Matlab. The simulations are performed using a bipole model of an HVDC System on which the required line and protection systems are modelled. The simulation results obtained are very favourable and promote the use of this proposed protection system, for the protection of long HVDC transmission lines

Discovering common features in a large set of disaggregates : methodology, modeling and forecasting

Macroeconomic variables are, in general, weighted averages of a large number of components. Therefore, the usual focus on the aggregate alone implies neglecting a large amount of information. The general objective of this thesis is to develop a procedure to model and forecast all the components of a macro or business variable at the maximum level of disaggregation. We denote these components as basic components and usually their number is large (hundreds). Our strategy consist of identifying and estimating relevant relationships between the basic components and then exploiting those relationships in single-equation models for all the disaggregates. This strategy can produce relatively precise forecasts of the components and may lead to an accurate indirect forecast for the aggregate. Since we are interested in modeling and forecasting all the disaggregates, a large estimation effort is inevitable and the advantages of disaggregation could be off-set by estimation uncertainty issues. Our approach for dealing with the informational losses vs. estimation uncertainty trade-off is the consideration of common features, as proposed by Espasa and Mayo-Burgos (2013). Their suggestion is to try to discover blocks of components that share unique common features (trends and cycles), and then to include the restrictions implied by those commonalities in single-equation models for the components. The search for those blocks is carried out by performing common features tests between all the N(N − 1)/2 pairs that exist in a set of N components. As the authors argue, the level of disaggregation used in this procedure must be the maximum available since ad-hoc sub-aggregates may add up series that do not share common features. An important aim of this thesis is to show that the mentioned pairwise strategy can be used as an objective method to discover blocks of components sharing single common features. That is, blocks of components can be constructed by first testing for common features between all the N(N − 1)/2 pairs of series and then grouping those that share a unique common feature. In this thesis we study by analytical and simulation methods the statistical properties of the procedure, thus, providing a solid base for its application. An important theoretical result is that the pairwise cointegration tests in a block of series that share a unique common trend are asymptotically equivalent, in the sense that the probability that all tests deliver the same conclusion tends to 1 as T goes to infinity, independently of the number of series. Thus, in this case the multiple testing is not an issue. In a Monte Carlo experiment, we confirm the asymptotic results and compare the performance of the pairwise approach with that of a Dynamic Factor Models (DFM) alternative. Additionally, we extend the procedure to make it robust when applied to real data which may be subject to irregularities and/or to short samples problems. In regards to common cycles tests, we analytically justify the validity of proceeding in a pairwise fashion for discovering ‘single-cycle’ subsets. In contrast with our results on common trends, we show that the multiple testing problem is in fact present in common cycles tests. This issue makes the probability of including a large proportion of the true series inside the estimated ‘single-cycle’ set to be a decreasing function of the true size of the subset. This is an undesirable property, for we want our procedure to work well not only when subsets are small, but also when they are large. We show that a simple ‘relaxation’ strategy solves the problem, with almost zero cost. The application of the pairwise approach to the US CPI and the US IPI lead to interesting conclusions. First, a detailed analysis of outliers indicate that while the ‘great moderation’ period can be characterized by a negative significant mean shift in the proportion of components with outliers, the sub-prime crises is characterized by a significant and positive mean shift. Additionally, we found that the aggregated outlier — a series constructed by aggregating the outliers of the components — helps to improve the model of the aggregate. This is because there are some outliers that are not identifiable in the aggregated series. Finally, in pseudo out of sample forecasting exercises, we compare the ability of the pairwise approach to forecast the aggregate with other indirect and direct procedures. The general conclusions are similar for both applications; the consideration of common features’ restrictions helps to improve indirect forecasts and to beat direct procedures.Las variables macroeconómicas son, en general, promedios ponderados de un gran número de componentes. Por tanto, el enfoque usual, que considera únicamente agregado implica descartar una gran cantidad de información. El objetivo general de esta tesis es desarrollar un procedimiento para modelizar y predecir todos los componentes de una variable macro-económica al máximo nivel de desagregación. Denotamos estos componentes como componentes básicos y por lo general su número es grande (cientos). Nuestra estrategia consiste en identificar y estimar relaciones relevantes entre los componentes básicos y luego explotar esas relaciones en modelos uni-ecuacionales para todos los componentes. Esta estrategia puede generar predicciones relativamente precisas de los componentes y puede dar lugar a una predicción indirecta certera para el agregado. Dado que estamos interesados en modelizar y predecir todos los componentes (no solamente el agregado), un gran esfuerzo de estimación es inevitable y las ventajas de la desagregación podrían perderse por cuestiones de incertidumbre de estimación. Nuestro enfoque para hacer frente al trade-off de pérdidas de información vs. incertidumbre en la estimación es la consideración de características comunes, como proponen Espasa and Mayo-Burgos (2013). Su sugerencia consiste en tratar de descubrir bloques de componentes que compartan características comunes únicas — common features — (tendencias y ciclos), y luego incluir las restricciones que se derivan de dichas características comunes en modelos uni-ecuacionales para todos los componentes. La búsqueda de esos bloques se lleva a cabo mediante la realización de contrastes de características comunes entre todos los N(N − 1)/2 pares que existen en un conjunto de N componentes. Como los autores argumentan, el nivel de desagregación utilizado en este procedimiento debe ser el máximo disponible ya que sub-agregados ad-hoc pueden agregar componentes que no comparten características comunes. Un objetivo importante de esta tesis es demostrar que la estrategia de pares mencionada puede ser utilizada como un método objetivo para descubrir bloques de componentes que comparten características comunes individuales. Es decir, los bloques de componentes pueden ser construidos contrastando características comunes entre todos los N(N − 1)/2 pares de series y, a continuación agrupando las que comparten una característica común única. En esta tesis se estudia mediante métodos analíticos y de simulación las propiedades estadísticas del procedimiento, proporcionando, por tanto, una base sólida para su aplicación. Un propósito específico central de esta tesis es demostrar que la estrategia por pares propuesta inicialmente por Espasa and Mayo-Burgos (2013) puede ser utilizada como un método objetivo para descubrir bloques de componentes que comparten características comunes individuales. Es decir, los bloques de componentes se pueden construir mediante la búsqueda de características comunes entre todos los N(N − 1)/2 pares de series y luego agrupar los que comparten una característica común única. Nuestra contribución principal en este aspecto consiste en proporcionar las propiedades estadísticas de la estrategia utilizando procedimientos analíticos y de Monte Carlo. Un resultado teórico importante es que los contrastes de cointegración por pares dentro de un bloque de series que comparten una única tendencia común asintóticamente equivalentes, en el sentido de que la probabilidad de que todos los contrastes arrojen la misma conclusión es tiende a 1 cuando T tiende a infinito, independientemente del número de series. Por lo tanto, en este caso, no hay un problema de contrastes múltiples. En un experimento de Monte Carlo, confirmamos los resultados asintóticos y comparamos el desempeño del enfoque por pares con el de una alternativa de Dynamic Factor Models (DFM). Adicionalmente extendemos el procedimiento para que sea robusto cuando se aplica a datos reales que pueden estar sujetos a irregularidades y/o problemas de muestras cortas. En lo que respecta a las pruebas de ciclos comunes, justificamos analíticamente la validez del procedimiento por pares para descubrir subconjuntos de “un sólo ciclo común”. En contraste con nuestros resultados para tendencias comunes, demostramos que el problema de contrastes múltiples sí está presente en las pruebas de ciclos comunes. Este problema hace que la probabilidad de incluir una gran proporción de series correctas dentro del subconjunto estimado sea una función decreciente del verdadero tamaño del subconjunto. Esta es una propiedad indeseable, porque queremos que nuestro procedimiento funcione bien no sólo cuando los subconjuntos son pequeños, sino también cuando son grandes. Demostramos sin embargo que una estrategia simple “relajación” resuelve el problema, casi con cero costo. La aplicación del enfoque por parejas al IPC y al IPI de Estados Unidos conduce a conclusiones interesantes. En primer lugar, el análisis detallado de valores atípicos indica que mientras el período de “la gran moderación” puede ser caracterizado por un cambio negativo y significativo en la media de la proporción de componentes con valores atípicos, las crisis sub-prime se caracteriza por un cambio de media significativo y positivo. Además, encontramos que el valor atípico agregado —una serie construida mediante la agregación de los valores atípicos de los componentes — ayuda a mejorar el modelo del agregado. Esto se debe a que algunos valores atípicos no son identificables en la serie agregada. Finalmente, en ejercicios de predicción seudo furera de muestra, comparamos la capacidad del enfoque por parejas para predecir el agregado con otros procedimientos indirectos y directos. Las conclusiones generales son similares en ambas aplicaciones; la consideración de restricciones derivadas de las características comunes ayuda a mejorar las predicciones indirectas y a superar a los procedimientos directos.Programa Oficial de Doctorado en Economía de la Empresa y Métodos CuantitativosPresidente: Esther Ruiz Ortega; Secretario: Alfonso Novales Cinca; Vocal: Timo Terasvirt

Wide-Area Situation Awareness based on a Secure Interconnection between Cyber-Physical Control Systems

Posteriormente, examinamos e identificamos los requisitos especiales que limitan el diseño y la operación de una arquitectura de interoperabilidad segura para los SSC (particularmente los SCCF) del smart grid. Nos enfocamos en modelar requisitos no funcionales que dan forma a esta infraestructura, siguiendo la metodología NFR para extraer requisitos esenciales, técnicas para la satisfacción de los requisitos y métricas para nuestro modelo arquitectural. Estudiamos los servicios necesarios para la interoperabilidad segura de los SSC del SG revisando en profundidad los mecanismos de seguridad, desde los servicios básicos hasta los procedimientos avanzados capaces de hacer frente a las amenazas sofisticadas contra los sistemas de control, como son los sistemas de detección, protección y respuesta ante intrusiones. Nuestro análisis se divide en diferentes áreas: prevención, consciencia y reacción, y restauración; las cuales general un modelo de seguridad robusto para la protección de los sistemas críticos. Proporcionamos el diseño para un modelo arquitectural para la interoperabilidad segura y la interconexión de los SCCF del smart grid. Este escenario contempla la interconectividad de una federación de proveedores de energía del SG, que interactúan a través de la plataforma de interoperabilidad segura para gestionar y controlar sus infraestructuras de forma cooperativa. La plataforma tiene en cuenta las características inherentes y los nuevos servicios y tecnologías que acompañan al movimiento de la Industria 4.0. Por último, presentamos una prueba de concepto de nuestro modelo arquitectural, el cual ayuda a validar el diseño propuesto a través de experimentaciones. Creamos un conjunto de casos de validación que prueban algunas de las funcionalidades principales ofrecidas por la arquitectura diseñada para la interoperabilidad segura, proporcionando información sobre su rendimiento y capacidades.Las infraestructuras críticas (IICC) modernas son vastos sistemas altamente complejos, que precisan del uso de las tecnologías de la información para gestionar, controlar y monitorizar el funcionamiento de estas infraestructuras. Debido a sus funciones esenciales, la protección y seguridad de las infraestructuras críticas y, por tanto, de sus sistemas de control, se ha convertido en una tarea prioritaria para las diversas instituciones gubernamentales y académicas a nivel mundial. La interoperabilidad de las IICC, en especial de sus sistemas de control (SSC), se convierte en una característica clave para que estos sistemas sean capaces de coordinarse y realizar tareas de control y seguridad de forma cooperativa. El objetivo de esta tesis se centra, por tanto, en proporcionar herramientas para la interoperabilidad segura de los diferentes SSC, especialmente los sistemas de control ciber-físicos (SCCF), de forma que se potencie la intercomunicación y coordinación entre ellos para crear un entorno en el que las diversas infraestructuras puedan realizar tareas de control y seguridad cooperativas, creando una plataforma de interoperabilidad segura capaz de dar servicio a diversas IICC, en un entorno de consciencia situacional (del inglés situational awareness) de alto espectro o área (wide-area). Para ello, en primer lugar, revisamos las amenazas de carácter más sofisticado que amenazan la operación de los sistemas críticos, particularmente enfocándonos en los ciberataques camuflados (del inglés stealth) que amenazan los sistemas de control de infraestructuras críticas como el smart grid. Enfocamos nuestra investigación al análisis y comprensión de este nuevo tipo de ataques que aparece contra los sistemas críticos, y a las posibles contramedidas y herramientas para mitigar los efectos de estos ataques