118 research outputs found

    Radiation Mitigation and Power Optimization Design Tools for Reconfigurable Hardware in Orbit

    Get PDF
    The Reconfigurable Hardware in Orbit (RHinO)project is focused on creating a set of design tools that facilitate and automate design techniques for reconfigurable computing in space, using SRAM-based field-programmable-gate-array (FPGA) technology. In the second year of the project, design tools that leverage an established FPGA design environment have been created to visualize and analyze an FPGA circuit for radiation weaknesses and power inefficiencies. For radiation, a single event Upset (SEU) emulator, persistence analysis tool, and a half-latch removal tool for Xilinx/Virtex-II devices have been created. Research is underway on a persistence mitigation tool and multiple bit upsets (MBU) studies. For power, synthesis level dynamic power visualization and analysis tools have been completed. Power optimization tools are under development and preliminary test results are positive

    Optimizing Scrubbing by Netlist Analysis for FPGA Configuration Bit Classification and Floorplanning

    Full text link
    Existing scrubbing techniques for SEU mitigation on FPGAs do not guarantee an error-free operation after SEU recovering if the affected configuration bits do belong to feedback loops of the implemented circuits. In this paper, we a) provide a netlist-based circuit analysis technique to distinguish so-called critical configuration bits from essential bits in order to identify configuration bits which will need also state-restoring actions after a recovered SEU and which not. Furthermore, b) an alternative classification approach using fault injection is developed in order to compare both classification techniques. Moreover, c) we will propose a floorplanning approach for reducing the effective number of scrubbed frames and d), experimental results will give evidence that our optimization methodology not only allows to detect errors earlier but also to minimize the Mean-Time-To-Repair (MTTR) of a circuit considerably. In particular, we show that by using our approach, the MTTR for datapath-intensive circuits can be reduced by up to 48.5% in comparison to standard approaches

    Cross-layer Soft Error Analysis and Mitigation at Nanoscale Technologies

    Get PDF
    This thesis addresses the challenge of soft error modeling and mitigation in nansoscale technology nodes and pushes the state-of-the-art forward by proposing novel modeling, analyze and mitigation techniques. The proposed soft error sensitivity analysis platform accurately models both error generation and propagation starting from a technology dependent device level simulations all the way to workload dependent application level analysis

    FireNN: Neural Networks Reliability Evaluation on Hybrid Platforms

    Get PDF
    The growth of neural networks complexity has led to adopt of hardware-accelerators to cope with the computational power required by the new architectures. The possibility to adapt the network for different platforms enhanced the interests of safety-critical applications. The reliability evaluation of neural networks are still premature and requires platforms to measure the safety standards required by mission-critical applications. For this reason, the interest in studying the reliability of neural networks is growing. We propose a new approach for evaluating the resiliency of neural networks by using hybrid platforms. The approach relies on the reconfigurable hardware for emulating the target hardware platform and performing the fault injection process. The main advantage of the proposed approach is to involve the on-hardware execution of the neural network in the reliability analysis without any intrusiveness into the network algorithm and addressing specific fault models. The implementation of FireNN, the platform based on the proposed approach, is described in the paper. Experimental analyses are performed using fault injection on AlexNet. The analyses are carried out using the FireNN platform and the results are compared with the outcome of traditional software-level evaluations. Results are discussed considering the insight into the hardware level achieved using FireNN

    A Framework for implementing radiation-tolerant circuits on reconfigurable FPGAs

    Get PDF
    The outstanding versatility of SRAM-based FPGAs make them the preferred choice for implementing complex customizable circuits. To increase the amount of logic available, manufacturers are using nanometric technologies to boost logic density and reduce prices. However, the use of nanometric scales also makes FPGAs particularly vulnerable to radiation-induced faults, especially because of the increasing amount of configuration memory cells that are necessary to define their functionality. This paper describes a framework for implementing circuits immune to radiation-induced faults, based on a customized Triple Modular Redundancy (TMR) infrastructure and on a detection-and-fix controller. This controller is responsible for the detection of data incoherencies, location of the faulty module and restoration of the original configuration, without affecting the normal operation of the mission logic. A short survey of the most recent data published concerning the impact of radiation-induced faults in FPGAs is presented to support the assumptions underlying our proposed framework. A detailed explanation of the controller functionality is also provided, followed by an experimental case study

    Contributions to the detection and diagnosis of soft errors in radiation environments

    Get PDF
    Texto completo descargado desde Teseo1. Introducción Los efectos de la radiación ionizante sobre dispositivos semiconductores es objeto de estudio desde la invención del transistor bipolar en 1947. El espacio es un entorno de alta radiación, como pusieron de manifiesto los primeros satélites puestos en órbita, y fue durante la carrera espacial de los años 50 cuando se impulsó el estudio de errores generados en componentes electrónicos críticos a bordo de las primeras misiones espaciales. La necesidad de robustecer la electrónica frente a la radiación ha estado siempre presente en el sector aeroespacial, además, el progresivo escalado de las tecnologías microelectrónicas, hace que el problema sea cada vez más acuciante, afectando incluso a dispositivos que operan a nivel del mar. El advenimiento de tecnologías nanométricas augura que serán necesarias nuevas y más eficaces técnicas de robustecimiento que garanticen la fiabilidad de equipos electrónicos críticos en sectores tan importantes como la aviación, automoción o energía nuclear. Existen dos métodos de robustecimiento para los dispositivos electrónicos, por proceso y por diseño. En el primer caso, el circuito integrado es fabricado en una tecnología que presenta baja sensibilidad a los efectos de la radiación, como la ampliamente utilizada SOI (Silicon On Insulator). En el segundo caso, el circuito presenta topologías en su diseño que mitigan en mayor o menor grado el daño por radiación. La efectividad de cualquier medida de protección debe ser validada en el correspondiente ensayo de radiación de acuerdo a los estándares vigentes (ESA, NASA, JEDEC, AEC,...). Existen varios tipos de daño por radiación, asociados a dosis acumulada (TID) y a eventos únicos (SEE), fundamentalmente. Estos últimos están asociados al paso de una única partícula energética a través del dispositivo, que genera una estela de carga y puede dar lugar a respuestas eléctricas no deseadas, como conmutación 2 2 Antecedentes de biestables, enclavamiento de un bit o excursiones de voltaje transitorias. A su vez, dentro de los errores asociados a eventos únicos se puede distinguir entre daños físicos, que pueden destruir el dispositivo de manera irreversible, y errores lógicos o soft errors que conllevan la corrupción del estado de un circuito digital, por ejemplo por la conmutación del valor lógico de un biestable. Los tests en aceleradores de partículas o con fuentes radiactivas, se consideran los ensayos más representativos para conocer la inmunidad de un componente frente al daño de tipo SEE. Sin embargo, la complejidad de estos ensayos dificulta la observabilidad experimental y la interpretación de los resultados obtenidos. En particular los tests dinámicos, que implican que el chip esté operando durante la irradiacón, comportan una dificultad añadida a la hora de interpretar los errores observados en las salidas del circuito. El test dinámico de radiación es el más realista, ya que introduce la variable temporal en el experimento y da lugar a efectos reales que no son reproducibles en condiciones estáticas, como el evento único transitorio (SET). El trabajo a realizar durante esta tesis pretende aportar una metodología de test que mejore la observabilidad de errores lógicos en un test dinámico de radiación de circuitos digitales mediante detección y diagnóstico en tiempo real. 2. Antecedentes La experiencia investigadora del grupo al que pertenece el autor de esta tesis en el campo de los efectos de la radiación sobre dispositivos electrónicos, ha puesto de manifiesto la necesidad de establecer una metodología que permita el diagnóstico de los errores observados en un componente electrónico sometido a radiación ionizante. Generalmente, no es posible correlacionar con certeza el efecto (anomalía detectada en los puertos de salida) con la causa del mismo. La complejidad inherente a la instrumentación de un ensayo de radiación en un acelerador 3 3 Hipótesis y Objetivos de partículas, así como la propia comlejidad del circuito bajo estudio, requieren algún criterio de clasificación de los errores observados que pueden ser de muy diversa naturaleza. Algunos autores han aportado técnicas que combinan inyección de fallos dinámica con test en acelerador estáticos para estimar la probabilidad de fallo real del circuito, salvando la complejidad del test de radiación dinámico. La protección selectiva, consistente en adoptar topologías de diseño robustas en ¿puntos calientes¿ o críticos del circuito, requiere técnicas de ensayo que permita el diagnóstico y localización del daño por radiación. El uso de microsondas nucleares permite la focalización de un haz de iones en una región relativamente pequeña, facilitando el diagnóstico. La disponibilidad de uso de la microsonda nuclear en el Centro Nacional de Aceleradores puede contribuir al desarrollo de la técnica de detección y diagnóstico que es objeto de esta tesis. La curva de sección eficaz de fallo SEE es la forma más extendida de representación de resultados de experimentación. Estas curvas representan una colección de datos experimentales que deben ser minuciosamente clasificados. Lo mismo ocurre en los tests destinados a evaluar la tasa de errores lógicos en tiempo real (RTSER). En este sentido, la norma JEDEC JESD89-1A recomienda que se sigan ¿criterios de fallo¿ para la correcta identificación de los errores detectados a la salida de un circuito en tests de radiación. 3. Hipótesis y Objetivos El grupo de investigación al que pertenece el doctorando, posee una contrastada experiencia en el uso de emuladores hardware para la evaluación temprana de la robustez de diseños digitales ante errores lógicos. Estos emuladores inyectan fallos en la netlist de un diseño digital y estudian la evolución del estado del circuito durante la ejecución de un conjunto de estímulos. La principal ventaja de estas herramientas frente a la simulación, radica en la aceleración hardware de los 4 3 Hipótesis y Objetivos tests que permite la finalización de campañas de inyección masivas en un tiempo relativamente corto. Las campañas masivas o sistemáticas de inyección de fallos permiten comprobar de forma exhaustiva la respuesta de un diseño digital a un entorno de alta radiación. Estas campañas arrojan una ingente cantidad de información acerca de las vulnerabilidades del diseño que debe ser procesada generalmente de forma estadística. La correlación entre el instante y lugar de inyección del fallo emulado y la respuesta del mismo, sería una información que permitiría establecer la causa de un error (comportamiento anómalo) observado durante un test de radiación, donde generalmente sólo están accesibles las salidas del dispositivo. Los resultados de una campaña de inyección dependen, además del diseño bajo test, del conjunto de estímulos aplicado (workload). A partir de los resultados de la campaña de inyección masiva, se puede realizar un estudio estadístico que determine la calidad de los vectores de test desde el punto de vista del diagnóstico. Es de esperar que diferentes fallos inyectados compartan la misma firma, de manera que en caso de obtener dicha firma en un test de radiación, sea imposible determinar exactamente el punto de inyección del fallo. A la hora de preparar un test de radiación, es recomendable emplear vectores de test que garanticen que la certidumbre del diagnóstico sea máxima, lo cual es un aporte adicional de la tesis. Esta tesis pretende establecer un procedimiento que permita obtener ¿diccionarios de fallos¿ en los que se establece una correlación entre el punto de inyección y la respuesta del circuito codificada en una firma de pocos bytes. Durante un test de radiación se pueden obtener en tiempo real las firmas generadas por el circuito, que servirán para diagnosticar en cada caso el origen del daño empleando los diccionarios de fallos previamente generados en un emulador hardware. En el supuesto de que la firma generada durante la irradiación no estuviera contenida en un diccionario exhaustivo, se puede decir que el error no ha sido originado por el 5 4 Metodología y Trabajo Realizado modelo de fallo empleado en la generación del diccionario, debiéndose por tanto a un tipo de daño no contemplado (por ejemplo daño físico). La culminación de la tesis es el test de radiación en un acelerador de partículas. La Universidad de Sevilla cuenta con las instalaciones del Centro Nacional de Aceleradores, que puede ser un banco de pruebas idóneo para comprobar la validez de la metodología y comprobar las ventajas e inconvenientes de la misma. 4. Metodología y Trabajo Realizado El plan de trabajo incluyó los siguientes hitos en el orden expuesto: Estudio de la base de conocimiento genérica relacionada con los efectos de la radiación en circuitos electrónicos Análisis del Estado del Arte en técnicas de inyección de fallos en circuitos digitales. Recopilación de normas y estándares relacionados con los test radiación de componentes electrónicos. Estudio simulado de bajo nivel de los efectos de la radiación en tecnologías submicrométricas. Selección de un módulo adecuado para creación de firmas a partir de las salidas de un circuito digital. Adecuación del emulador hardware FT-UNSHADES para la generación de firmas durante las campañas de inyección. Selección de un vehículo de test para el experimento en la microsonda nuclear del CNA. 6 4 Metodología y Trabajo Realizado Realización de campañas de inyección masivas para la generación de diccionarios de fallos sobre diseños digitales y análisis de resultados. Preparación del setup experimental para el acelerador de partículas. Experimento en la microsonda nuclear del CNA y análisis de resultados. El estudio bibliográfico de la base de conocimiento en el campo de los efectos de la radiación sobre circuitos electrónicos ha sido fundamental para poder establecer el ámbito de aplicación de la tesis. El papel de la emulación hardware para inyección de fallos en esta investigación fue crítica y ha sido necesario un estudio de las plataformas existentes para entender qué puede aportar cada herramienta. Para acabar con la documentación, es necesario además recopilar las normas y estándares relacionados con test de radiación de circuitos electrónicos. La simulación de bajo nivel de los efectos de la radiación sobre una determinada tecnología engloba herramientas como SPICE, SRIM y TCAD. Estas simulaciones permiten estimar cuales deben ser las características del haz de iones empleado en un futuro ensayo en el acelerador de partículas. Los resultados de estas simulaciones fueron discutidos con los técnicos del acelerador para estudiar la viabilidad de los parámetros deseados. Un elemento clave en la metodología fue el bloque que debe generar las firmas a partir de las salidas del circuito digital. Es deseable que se trate de un módulo sencillo y que pueda ser implementado en un dispositivo programable sin suponer un consumo excesivo de recursos. El emulador FT-UNSHADES fue adaptado par incorporar el módulo de firmas. Se dispuso de un circuito integrado que servió vehículo de test para un experimento en el CNA. Es necesaria además la descripción VHDL del mismo para su emulación en FT-UNSHADES. No es objeto de esta tesis el desarrollo de este componente, su diseño y fabricación está fuera del alcance de esta tesis. Se gener- 7 4 Metodología y Trabajo Realizado aron diccionarios de fallos del vehículo de tests y de otros diseños digitales y, a partir de estos diccionarios, se han confeccionado estudios estadísticos de diagnóstico. En una fase ulterior, se desarrolló el hardware necesario para el setup experimental. Todo el hardware se probó en el laboratorio, antes de acudir al CNA. El resultado de esta etapa es la configuración del equipamiento de test automático (ATE) que se encargó de introducir estímulos en el chip y monitorizarlo durante el experimento en el acelerador de partículas. Finalmente, se llevó a cabo un experimento en el Centro Nacional de Aceleradores sobre el vehículo de test elegido para completar una prueba de concepto de la metodología propuesta.

    Characterization of Interconnection Delays in FPGAS Due to Single Event Upsets and Mitigation

    Get PDF
    RÉSUMÉ L’utilisation incessante de composants électroniques à géométrie toujours plus faible a engendré de nouveaux défis au fil des ans. Par exemple, des semi-conducteurs à mémoire et à microprocesseur plus avancés sont utilisés dans les systèmes avioniques qui présentent une susceptibilité importante aux phénomènes de rayonnement cosmique. L'une des principales implications des rayons cosmiques, observée principalement dans les satellites en orbite, est l'effet d'événements singuliers (SEE). Le rayonnement atmosphérique suscite plusieurs préoccupations concernant la sécurité et la fiabilité de l'équipement avionique, en particulier pour les systèmes qui impliquent des réseaux de portes programmables (FPGA). Les FPGA à base de cellules de mémoire statique (SRAM) présentent une solution attrayante pour mettre en oeuvre des systèmes complexes dans le domaine de l’avionique. Les expériences de rayonnement réalisées sur les FPGA ont dévoilé la vulnérabilité de ces dispositifs contre un type particulier de SEE, à savoir, les événements singuliers de changement d’état (SEU). Un SEU est considérée comme le changement de l'état d'un élément bistable (c'est-à-dire, un bit-flip) dû à l'effet d'un ion, d'un proton ou d’un neutron énergétique. Cet effet est non destructif et peut être corrigé en réécrivant la partie de la SRAM affectée. Les changements de délai (DC) potentiels dus aux SEU affectant la mémoire de configuration de routage ont été récemment confirmés. Un des objectifs de cette thèse consiste à caractériser plus précisément les DC dans les FPGA causés par les SEU. Les DC observés expérimentalement sont présentés et la modélisation au niveau circuit de ces DC est proposée. Les circuits impliqués dans la propagation du délai sont validés en effectuant une modélisation précise des blocs internes à l'intérieur du FPGA et en exécutant des simulations. Les résultats montrent l’origine des DC qui sont en accord avec les mesures expérimentales de délais. Les modèles proposés au niveau circuit sont, aux meilleures de notre connaissance, le premier travail qui confirme et explique les délais combinatoires dans les FPGA. La conception d'un circuit moniteur de délai pour la détection des DC a été faite dans la deuxième partie de cette thèse. Ce moniteur permet de détecter un changement de délai sur les sections critiques du circuit et de prévenir les pannes de synchronisation engendrées par les SEU sans utiliser la redondance modulaire triple (TMR).----------ABSTRACT The unrelenting demand for electronic components with ever diminishing feature size have emerged new challenges over the years. Among them, more advanced memory and microprocessor semiconductors are being used in avionic systems that exhibit a substantial susceptibility to cosmic radiation phenomena. One of the main implications of cosmic rays, which was primarily observed in orbiting satellites, is single-event effect (SEE). Atmospheric radiation causes several concerns regarding the safety and reliability of avionics equipment, particularly for systems that involve field programmable gate arrays (FPGA). SRAM-based FPGAs, as an attractive solution to implement systems in aeronautic sector, are very susceptible to SEEs in particular Single Event Upset (SEU). An SEU is considered as the change of the state of a bistable element (i.e., bit-flip) due to the effect of an energetic ion or proton. This effect is non-destructive and may be fixed by rewriting the affected part. Sensitivity evaluation of SRAM-based FPGAs to a physical impact such as potential delay changes (DC) has not been addressed thus far in the literature. DCs induced by SEU can affect the functionality of the logic circuits by disturbing the race condition on critical paths. The objective of this thesis is toward the characterization of DCs in SRAM-based FPGAs due to transient ionizing radiation. The DCs observed experimentally are presented and the circuit-level modeling of those DCs is proposed. Circuits involved in delay propagation are reverse-engineered by performing precise modeling of internal blocks inside the FPGA and executing simulations. The results show the root cause of DCs that are in good agreement with experimental delay measurements. The proposed circuit level models are, to the best of our knowledge, the first work on modeling of combinational delays in FPGAs.In addition, the design of a delay monitor circuit for DC detection is investigated in the second part of this thesis. This monitor allowed to show experimentally cumulative DCs on interconnects in FPGA. To this end, by avoiding the use of triple modular redundancy (TMR), a mitigation technique for DCs is proposed and the system downtime is minimized. A method is also proposed to decrease the clock frequency after DC detection without interrupting the process

    Dependability modeling and optimization of triple modular redundancy partitioning for SRAM-based FPGAs

    Full text link
    SRAM-based FPGAs are popular in the aerospace industry for their field programmability and low cost. However, they suffer from cosmic radiation-induced Single Event Upsets (SEUs). Triple Modular Redundancy (TMR) is a well-known technique to mitigate SEUs in FPGAs that is often used with another SEU mitigation technique known as configuration scrubbing. Traditional TMR provides protection against a single fault at a time, while partitioned TMR provides improved reliability and availability. In this paper, we present a methodology to analyze TMR partitioning at early design stage using probabilistic model checking. The proposed formal model can capture both single and multiple-cell upset scenarios, regardless of any assumption of equal partition sizes. Starting with a high-level description of a design, a Markov model is constructed from the Data Flow Graph (DFG) using a specified number of partitions, a component characterization library and a user defined scrub rate. Such a model and exhaustive analysis captures all the considered failures and repairs possible in the system within the radiation environment. Various reliability and availability properties are then verified automatically using the PRISM model checker exploring the relationship between the scrub frequency and the number of TMR partitions required to meet the design requirements. Also, the reported results show that based on a known voter failure rate, it is possible to find an optimal number of partitions at early design stages using our proposed method.Comment: Published in Reliability Engineering & System Safety Volume 182, February 2019, Pages 107-11

    Analyse und Erweiterung eines fehler-toleranten NoC für SRAM-basierte FPGAs in Weltraumapplikationen

    Get PDF
    Data Processing Units for scientific space mission need to process ever higher volumes of data and perform ever complex calculations. But the performance of available space-qualified general purpose processors is just in the lower three digit megahertz range, which is already insufficient for some applications. As an alternative, suitable processing steps can be implemented in hardware on a space-qualified SRAM-based FPGA. However, suitable devices are susceptible against space radiation. At the Institute for Communication and Network Engineering a fault-tolerant, network-based communication architecture was developed, which enables the construction of processing chains on the basis of different processing modules within suitable SRAM-based FPGAs and allows the exchange of single processing modules during runtime, too. The communication architecture and its protocol shall isolate non SEU mitigated or just partial SEU mitigated modules affected by radiation-induced faults to prohibit the propagation of errors within the remaining System-on-Chip. In the context of an ESA study, this communication architecture was extended with further components and implemented in a representative hardware platform. Based on the acquired experiences during the study, this work analyses the actual fault-tolerance characteristics as well as weak points of this initial implementation. At appropriate locations, the communication architecture was extended with mechanisms for fault-detection and fault-differentiation as well as with a hardware-based monitoring solution. Both, the former measures and the extension of the employed hardware-platform with selective fault-injection capabilities for the emulation of radiation-induced faults within critical areas of a non SEU mitigated processing module, are used to evaluate the effects of radiation-induced faults within the communication architecture. By means of the gathered results, further measures to increase fast detection and isolation of faulty nodes are developed, selectively implemented and verified. In particular, the ability of the communication architecture to isolate network nodes without SEU mitigation could be significantly improved.Instrumentenrechner für wissenschaftliche Weltraummissionen müssen ein immer höheres Datenvolumen verarbeiten und immer komplexere Berechnungen ausführen. Die Performanz von verfügbaren qualifizierten Universalprozessoren liegt aber lediglich im unteren dreistelligen Megahertz-Bereich, was für einige Anwendungen bereits nicht mehr ausreicht. Als Alternative bietet sich die Implementierung von entsprechend geeigneten Datenverarbeitungsschritten in Hardware auf einem qualifizierten SRAM-basierten FPGA an. Geeignete Bausteine sind jedoch empfindlich gegenüber der Strahlungsumgebung im Weltraum. Am Institut für Datentechnik und Kommunikationsnetze wurde eine fehlertolerante netzwerk-basierte Kommunikationsarchitektur entwickelt, die innerhalb eines geeigneten SRAM-basierten FPGAs Datenverarbeitungsmodule miteinander nach Bedarf zu Verarbeitungsketten verbindet, sowie den Austausch von einzelnen Modulen im Betrieb ermöglicht. Nicht oder nur partiell SEU mitigierte Module sollen bei strahlungsbedingten Fehlern im Modul durch das Protokoll und die Fehlererkennungsmechanismen der Kommunikationsarchitektur isoliert werden, um ein Ausbreiten des Fehlers im restlichen System-on-Chip zu verhindern. Im Kontext einer ESA Studie wurde diese Kommunikationsarchitektur um Komponenten erweitert und auf einer repräsentativen Hardwareplattform umgesetzt. Basierend auf den gesammelten Erfahrungen aus der Studie, wird in dieser Arbeit eine Analyse der tatsächlichen Fehlertoleranz-Eigenschaften sowie der Schwachstellen dieser ursprünglichen Implementierung durchgeführt. Die Kommunikationsarchitektur wurde an geeigneten Stellen um Fehlerdetektierungs- und Fehlerunterscheidungsmöglichkeiten erweitert, sowie um eine hardwarebasierte Überwachung ergänzt. Sowohl diese Maßnahmen, als auch die Erweiterung der Hardwareplattform um gezielte Fehlerinjektions-Möglichkeiten zum Emulieren von strahlungsinduzierten Fehlern in kritischen Komponenten eines nicht SEU mitigierten Prozessierungsmoduls werden genutzt, um die tatsächlichen auftretenden Effekte in der Kommunikationsarchitektur zu evaluieren. Anhand der Ergebnisse werden weitere Verbesserungsmaßnahmen speziell zur schnellen Detektierung und Isolation von fehlerhaften Knoten erarbeitet, selektiv implementiert und verifiziert. Insbesondere die Fähigkeit, fehlerhafte, nicht SEU mitigierte Netzwerkknoten innerhalb der Kommunikationsarchitektur zu isolieren, konnte dabei deutlich verbessert werden
    corecore