Evaluating indoor positioning systems in a shopping mall : the lessons learned from the IPIN 2018 competition

The Indoor Positioning and Indoor Navigation (IPIN) conference holds an annual competition in which indoor localization systems from different research groups worldwide are evaluated empirically. The objective of this competition is to establish a systematic evaluation methodology with rigorous metrics both for real-time (on-site) and post-processing (off-site) situations, in a realistic environment unfamiliar to the prototype developers. For the IPIN 2018 conference, this competition was held on September 22nd, 2018, in Atlantis, a large shopping mall in Nantes (France). Four competition tracks (two on-site and two off-site) were designed. They consisted of several 1 km routes traversing several floors of the mall. Along these paths, 180 points were topographically surveyed with a 10 cm accuracy, to serve as ground truth landmarks, combining theodolite measurements, differential global navigation satellite system (GNSS) and 3D scanner systems. 34 teams effectively competed. The accuracy score corresponds to the third quartile (75th percentile) of an error metric that combines the horizontal positioning error and the floor detection. The best results for the on-site tracks showed an accuracy score of 11.70 m (Track 1) and 5.50 m (Track 2), while the best results for the off-site tracks showed an accuracy score of 0.90 m (Track 3) and 1.30 m (Track 4). These results showed that it is possible to obtain high accuracy indoor positioning solutions in large, realistic environments using wearable light-weight sensors without deploying any beacon. This paper describes the organization work of the tracks, analyzes the methodology used to quantify the results, reviews the lessons learned from the competition and discusses its future

Estimation Algorithms for Non-Gaussian State-Space Models with Application to Positioning

State-space models (SSMs) are used to model systems with hidden time-varying state and observable measurement output. In statistical SSMs, the state dynamics is assumed known up to a random term referred to as the process noise, and the measurements contain random measurement noise. Kalman filter (KF) and Rauch– Tung–Striebel smoother (RTSS) are widely-applied closed-form algorithms that provide the parameters of the exact Bayesian filtering and smoothing distributions for discrete-time linear statistical SSMs where the process and measurement noises follow Gaussian distributions. However, when the SSM involves nonlinear functions and/or non-Gaussian noises, the Bayesian filtering and smoothing distributions cannot in general be solved using closed-form algorithms. This thesis addresses approximate Bayesian time-series inference for two positioning-related problems where the assumption of Gaussian noises cannot capture all useful knowledge of the considered system’s statistical properties: map-assisted indoor positioning and positioning using time-delay measurements.The motion constraints imposed by the indoor map are typically incorporated in the position estimate using the particle filter (PF) algorithm. The PF is a Monte Carlo algorithm especially suited for statistical SSMs where the Bayesian posterior distributions are too complicated to be adequately approximated using a well-known distribution family with a low-dimensional parameter space. In mapassisted indoor positioning, the trajectories that cross walls or floor levels get a low probability in the model. In this thesis, improvements to three different PF algorithms for map-assisted indoor positioning are proposed and compared. In the wall-collision PF, weighted random samples, also known as particles, are moved based on inertial sensor measurements, and the particles that collide with the walls are downweighted. When the inertial sensor measurements are very noisy, map information is used to guide the particles such that fewer particles collide with the walls, which implies that more particles contribute to the estimation. When no inertial sensor information is used, the particles are moved along the links of a graph that is dense enough to approximate the set of expected user paths.Time-delay based ranging measurements of e.g. ultra-wideband (UWB) and Global Navigation Satellite Systems (GNSSs) contain occasional positive measurement errors that are large relative to the majority of the errors due to multipath effects and denied line of sight. In this thesis, computationally efficient approximate Bayesian filters and smoothers are proposed for statistical SSMs where the measurement noise follows a skew t -distribution, and the algorithms are applied to positioning using time-delay based ranging measurements. The skew t -distribution is an extension of the Gaussian distribution, which has two additional parameters that affect the heavytailedness and skewness of the distribution. When the measurement noise model is heavy-tailed, the optimal Bayesian algorithm is robust to occasional large measurement errors, and when the model is positively (or negatively) skewed, the algorithms account for the fact that most large errors are known to be positive (or negative). Therefore, the skew t -distribution is more flexible than the Gaussian distribution and captures more statistical features of the error distributions of UWB and GNSS measurements. Furthermore, the skew t -distribution admits a conditionally Gaussian hierarchical form that enables approximating the filtering and smoothing posteriors with Gaussian distributions using variational Bayes (VB) algorithms. The proposed algorithms can thus be computationally efficient compared to Monte Carlo algorithms especially when the state is high-dimensional. It is shown in this thesis that the skew-t filter improves the accuracy of UWB based indoor positioning and GNSS based outdoor positioning in urban areas compared to the extended KF. The skew-t filter’s computational burden is higher than that of the extended KF but of the same magnitude.Tila-avaruusmalleilla mallinnetaan järjestelmiä, joilla on tuntema-ton ajassa muuttuva tila sekä mitatattava ulostulo. Tilastollisissa tila-avaruusmalleissa järjestelmän tilan muutos tunnetaan lukuunotta-matta prosessikohinaksi kutsuttua satunnaista termiä, ja mittauk-set sisältävät satunnaista mittauskohinaa. Kalmanin suodatin sekäRauchin Tungin ja Striebelin siloitin ovat yleisesti käytettyjä sulje-tun muodon estimointialgoritmeja, jotka tuottavat tarkat bayesiläi-set suodatus- ja siloitusjakaumat diskreettiaikaisille lineaarisille ti-lastollisille tila-avaruusmalleille, joissa prosessi- ja mittauskohinatnoudattavat gaussisia jakaumia. Jos käsiteltyyn tila-avaruusmalliinkuitenkin liittyy epälineaarisia funktioita tai epägaussisia kohinoita,bayesiläisiä suodatus- ja siloitusjakaumia ei yleensä voida ratkais-ta suljetun muodon algoritmeilla. Tässä väitöskirjassa tutkitaan ap-proksimatiivista bayesiläistä aikasarjapäättelyä ja sen soveltamistakahteen paikannusongelmaan, joissa gaussinen jakauma ei mallinnariittävän hyvin kaikkea hyödyllistä tietoa tutkitun järjestelmän tilas-tollisista ominaisuuksista: kartta-avusteinen sisätilapaikannus sekäsignaalin kulkuaikamittauksiin perustuva paikannus.Sisätilakartan tuottamat liikerajoitteet voidaan liittää paikkaestimaat-tiin käyttäen partikkelisuodattimeksi kutsuttua algoritmia. Partik-kelisuodatin on Monte Carlo -algoritmi, joka soveltuu erityisesti ti-lastollisille tila-avaruusmalleille, joissa bayesiläisen posteriorijakau-man tiheysfunktio on niin monimutkainen, että sen approksimointitunnetuilla matalan parametridimension jakaumilla ei ole mielekäs-tä. Kartta-avusteisessa sisätilapaikannuksessa reitit, jotka leikkaavatseiniä tai kerrostasoja, saavat muita pienemmät todennäköisyydet.Tässä väitöskirjassa esitetään parannuksia kolmeen eri partikkelisuo-datusalgoritmiin, joita sovelletaan kartta-avusteiseen sisätilapaikan-vnukseen. Seinätörmayssuodattimessa painolliset satunnaisnäytteeteli partikkelit liikkuvat inertiasensorimittausten mukaisesti, ja sei-nään törmäävät partikkelit saavat pienet painot. Kun inertiasensori-mittauksissa on paljon kohinaa, partikkeleita voidaan ohjata siten,että seinätörmäysten määrä vähenee, jolloin suurempi osa partikke-leista vaikuttaa estimaattiin. Kun inertiasensorimittauksia ei käytetälainkaan, sisätilakartta voidaan esittää graafina, jonka kaarilla partik-kelit liikkuvat ja joka on riittävän tiheä approksimoimaan odotetta-vissa olevien reittien joukkoa.Esimerkiksi laajan taajuuskaistan radioista (UWB, ultra-wideband)tai paikannussatelliiteista saatavat radiosignaalin kulkuaikaan pe-rustuvat etäisyysmittaukset taas voivat sisältää monipolkuheijastus-ten ja suoran reitin estymisen aiheuttamia positiivismerkkisiä vir-heitä, jotka ovat huomattavan suuria useimpiin mittausvirheisiinverrattuna. Tässä väitöskirjassa esitetään laskennallisesti tehokkaitabayesiläisen suodattimen ja siloittimen approksimaatioita tilastol-lisille tila-avaruusmalleille, joissa mittauskohina noudattaa vinoat -jakaumaa. Vino t -jakauma on gaussisen jakauman laajennos, jasillä on kaksi lisäparametria, jotka vaikuttavat jakauman paksuhän-täisyyteen ja vinouteen. Kun mittauskohinaa mallintava jakaumaoletetaan paksuhäntäiseksi, optimaalinen bayesiläinen algoritmi eiole herkkä yksittäisille suurille mittausvirheille, ja kun jakauma olete-taan positiivisesti (tai negatiivisesti) vinoksi, algoritmit hyödyntävättietoa, että suurin osa suurista virheistä on positiivisia (tai negatiivi-sia). Vino t -jakauma on siis gaussista jakaumaa joustavampi, ja sillävoidaan mallintaa kulkuaikaan perustuvien mittausten virhejakau-maa tarkemmin kuin gaussisella jakaumalla. Vinolla t -jakaumalla onmyös ehdollisesti gaussinen esitys, joka soveltuu suodatus- ja siloi-tusposteriorien approksimointiin variaatio-Bayes-algoritmilla. Näinollen esitetyt algoritmit voivat olla laskennallisesti tehokkaampiakuin Monte Carlo -algoritmit erityisesti tilan ollessa korkeaulotteinen.Tässä väitöskirjassa näytetään, että vino-t -virhejakauman käyttö pa-rantaa UWB-radioon perustuvan sisätilapaikannuksen tarkkuuttasekä satelliittipohjaisen ulkopaikannuksen tarkkuutta kaupunkiym-päristössä verrattuna laajennettuun Kalmanin suodattimeen. Vino-t -suodatuksen laskennallinen vaativuus on suurempi mutta samaakertaluokkaa kuin laajennetun Kalmanin suodattimen

Estimation Algorithms for Non-Gaussian State-Space Models with Application to Positioning

State-space models (SSMs) are used to model systems with hidden time-varying state and observable measurement output. In statistical SSMs, the state dynamics is assumed known up to a random term referred to as the process noise, and the measurements contain random measurement noise. Kalman filter (KF) and Rauch– Tung–Striebel smoother (RTSS) are widely-applied closed-form algorithms that provide the parameters of the exact Bayesian filtering and smoothing distributions for discrete-time linear statistical SSMs where the process and measurement noises follow Gaussian distributions. However, when the SSM involves nonlinear functions and/or non-Gaussian noises, the Bayesian filtering and smoothing distributions cannot in general be solved using closed-form algorithms. This thesis addresses approximate Bayesian time-series inference for two positioning-related problems where the assumption of Gaussian noises cannot capture all useful knowledge of the considered system’s statistical properties: map-assisted indoor positioning and positioning using time-delay measurements.The motion constraints imposed by the indoor map are typically incorporated in the position estimate using the particle filter (PF) algorithm. The PF is a Monte Carlo algorithm especially suited for statistical SSMs where the Bayesian posterior distributions are too complicated to be adequately approximated using a well-known distribution family with a low-dimensional parameter space. In mapassisted indoor positioning, the trajectories that cross walls or floor levels get a low probability in the model. In this thesis, improvements to three different PF algorithms for map-assisted indoor positioning are proposed and compared. In the wall-collision PF, weighted random samples, also known as particles, are moved based on inertial sensor measurements, and the particles that collide with the walls are downweighted. When the inertial sensor measurements are very noisy, map information is used to guide the particles such that fewer particles collide with the walls, which implies that more particles contribute to the estimation. When no inertial sensor information is used, the particles are moved along the links of a graph that is dense enough to approximate the set of expected user paths.Time-delay based ranging measurements of e.g. ultra-wideband (UWB) and Global Navigation Satellite Systems (GNSSs) contain occasional positive measurement errors that are large relative to the majority of the errors due to multipath effects and denied line of sight. In this thesis, computationally efficient approximate Bayesian filters and smoothers are proposed for statistical SSMs where the measurement noise follows a skew t -distribution, and the algorithms are applied to positioning using time-delay based ranging measurements. The skew t -distribution is an extension of the Gaussian distribution, which has two additional parameters that affect the heavytailedness and skewness of the distribution. When the measurement noise model is heavy-tailed, the optimal Bayesian algorithm is robust to occasional large measurement errors, and when the model is positively (or negatively) skewed, the algorithms account for the fact that most large errors are known to be positive (or negative). Therefore, the skew t -distribution is more flexible than the Gaussian distribution and captures more statistical features of the error distributions of UWB and GNSS measurements. Furthermore, the skew t -distribution admits a conditionally Gaussian hierarchical form that enables approximating the filtering and smoothing posteriors with Gaussian distributions using variational Bayes (VB) algorithms. The proposed algorithms can thus be computationally efficient compared to Monte Carlo algorithms especially when the state is high-dimensional. It is shown in this thesis that the skew-t filter improves the accuracy of UWB based indoor positioning and GNSS based outdoor positioning in urban areas compared to the extended KF. The skew-t filter’s computational burden is higher than that of the extended KF but of the same magnitude.Tila-avaruusmalleilla mallinnetaan järjestelmiä, joilla on tuntema-ton ajassa muuttuva tila sekä mitatattava ulostulo. Tilastollisissa tila-avaruusmalleissa järjestelmän tilan muutos tunnetaan lukuunotta-matta prosessikohinaksi kutsuttua satunnaista termiä, ja mittauk-set sisältävät satunnaista mittauskohinaa. Kalmanin suodatin sekäRauchin Tungin ja Striebelin siloitin ovat yleisesti käytettyjä sulje-tun muodon estimointialgoritmeja, jotka tuottavat tarkat bayesiläi-set suodatus- ja siloitusjakaumat diskreettiaikaisille lineaarisille ti-lastollisille tila-avaruusmalleille, joissa prosessi- ja mittauskohinatnoudattavat gaussisia jakaumia. Jos käsiteltyyn tila-avaruusmalliinkuitenkin liittyy epälineaarisia funktioita tai epägaussisia kohinoita,bayesiläisiä suodatus- ja siloitusjakaumia ei yleensä voida ratkais-ta suljetun muodon algoritmeilla. Tässä väitöskirjassa tutkitaan ap-proksimatiivista bayesiläistä aikasarjapäättelyä ja sen soveltamistakahteen paikannusongelmaan, joissa gaussinen jakauma ei mallinnariittävän hyvin kaikkea hyödyllistä tietoa tutkitun järjestelmän tilas-tollisista ominaisuuksista: kartta-avusteinen sisätilapaikannus sekäsignaalin kulkuaikamittauksiin perustuva paikannus.Sisätilakartan tuottamat liikerajoitteet voidaan liittää paikkaestimaat-tiin käyttäen partikkelisuodattimeksi kutsuttua algoritmia. Partik-kelisuodatin on Monte Carlo -algoritmi, joka soveltuu erityisesti ti-lastollisille tila-avaruusmalleille, joissa bayesiläisen posteriorijakau-man tiheysfunktio on niin monimutkainen, että sen approksimointitunnetuilla matalan parametridimension jakaumilla ei ole mielekäs-tä. Kartta-avusteisessa sisätilapaikannuksessa reitit, jotka leikkaavatseiniä tai kerrostasoja, saavat muita pienemmät todennäköisyydet.Tässä väitöskirjassa esitetään parannuksia kolmeen eri partikkelisuo-datusalgoritmiin, joita sovelletaan kartta-avusteiseen sisätilapaikan-vnukseen. Seinätörmayssuodattimessa painolliset satunnaisnäytteeteli partikkelit liikkuvat inertiasensorimittausten mukaisesti, ja sei-nään törmäävät partikkelit saavat pienet painot. Kun inertiasensori-mittauksissa on paljon kohinaa, partikkeleita voidaan ohjata siten,että seinätörmäysten määrä vähenee, jolloin suurempi osa partikke-leista vaikuttaa estimaattiin. Kun inertiasensorimittauksia ei käytetälainkaan, sisätilakartta voidaan esittää graafina, jonka kaarilla partik-kelit liikkuvat ja joka on riittävän tiheä approksimoimaan odotetta-vissa olevien reittien joukkoa.Esimerkiksi laajan taajuuskaistan radioista (UWB, ultra-wideband)tai paikannussatelliiteista saatavat radiosignaalin kulkuaikaan pe-rustuvat etäisyysmittaukset taas voivat sisältää monipolkuheijastus-ten ja suoran reitin estymisen aiheuttamia positiivismerkkisiä vir-heitä, jotka ovat huomattavan suuria useimpiin mittausvirheisiinverrattuna. Tässä väitöskirjassa esitetään laskennallisesti tehokkaitabayesiläisen suodattimen ja siloittimen approksimaatioita tilastol-lisille tila-avaruusmalleille, joissa mittauskohina noudattaa vinoat -jakaumaa. Vino t -jakauma on gaussisen jakauman laajennos, jasillä on kaksi lisäparametria, jotka vaikuttavat jakauman paksuhän-täisyyteen ja vinouteen. Kun mittauskohinaa mallintava jakaumaoletetaan paksuhäntäiseksi, optimaalinen bayesiläinen algoritmi eiole herkkä yksittäisille suurille mittausvirheille, ja kun jakauma olete-taan positiivisesti (tai negatiivisesti) vinoksi, algoritmit hyödyntävättietoa, että suurin osa suurista virheistä on positiivisia (tai negatiivi-sia). Vino t -jakauma on siis gaussista jakaumaa joustavampi, ja sillävoidaan mallintaa kulkuaikaan perustuvien mittausten virhejakau-maa tarkemmin kuin gaussisella jakaumalla. Vinolla t -jakaumalla onmyös ehdollisesti gaussinen esitys, joka soveltuu suodatus- ja siloi-tusposteriorien approksimointiin variaatio-Bayes-algoritmilla. Näinollen esitetyt algoritmit voivat olla laskennallisesti tehokkaampiakuin Monte Carlo -algoritmit erityisesti tilan ollessa korkeaulotteinen.Tässä väitöskirjassa näytetään, että vino-t -virhejakauman käyttö pa-rantaa UWB-radioon perustuvan sisätilapaikannuksen tarkkuuttasekä satelliittipohjaisen ulkopaikannuksen tarkkuutta kaupunkiym-päristössä verrattuna laajennettuun Kalmanin suodattimeen. Vino-t -suodatuksen laskennallinen vaativuus on suurempi mutta samaakertaluokkaa kuin laajennetun Kalmanin suodattimen

Advanced Particle Filter Methods

This chapter presents a set of algorithmic methods based on particle filter heuristics. We start with an introduction to particle filters, which covers the main motivation and related works. Then, the generic framework for particle filter algorithm is presented, followed by two important use cases regarding indoor positioning and multitarget tracking; for both problems, modified particle filter algorithms are presented followed by experimental results, implementation remarks, and a discussion. Finally, a short list of conclusion and future work are presented

The smartphone-based offline indoor location competition at IPIN 2016: analysis and future work

This paper presents the analysis and discussion of the off-site localization competition track, which took place during the Seventh International Conference on Indoor Positioning and Indoor Navigation (IPIN 2016). Five international teams proposed different strategies for smartphone-based indoor positioning using the same reference data. The competitors were provided with several smartphone-collected signal datasets, some of which were used for training (known trajectories), and others for evaluating (unknown trajectories). The competition permits a coherent evaluation method of the competitors' estimations, where inside information to fine-tune their systems is not offered, and thus provides, in our opinion, a good starting point to introduce a fair comparison between the smartphone-based systems found in the literature. The methodology, experience, feedback from competitors and future working lines are described.We would like to thank Tecnalia Research & Innovation Foundation for sponsoring the competition track with an award for the winning team. We are also grateful to Francesco Potortì, Sangjoon Park, Jesús Ureña and Kyle O’Keefe for their invaluable help in promoting the IPIN competition and conference. Parts of this work was carried out with the financial support received from projects and grants: LORIS (TIN2012-38080-C04-04), TARSIUS (TIN2015-71564-C4-2-R (MINECO/FEDER)), SmartLoc (CSIC-PIE Ref.201450E011), “Metodologías avanzadas para el diseño, desarrollo, evaluación e integración de algoritmos de localización en interiores” (TIN2015-70202-P), REPNIN network (TEC2015-71426-REDT) and the José Castillejo mobility grant (CAS16/00072). The HFTS team has been supported in the frame of the German Federal Ministry of Education and Research programme “FHprofUnt2013” under contract 03FH035PB3 (Project SPIRIT). The UMinho team has been supported by COMPETE: POCI-01-0145-FEDER-007043 and FCT — Fundação para a Ciência e Tecnologia within the Project Scope: UID/CEC/00319/2013.info:eu-repo/semantics/publishedVersio

Indoor Navigation Using Convolutional Neural Networks and Floor Plans

The goal of this thesis is to evaluate a new indoor navigation technique by incorporating floor plans along with monocular camera images into a CNN as a potential means for identifying camera position. Building floor plans are widely available and provide potential information for localizing within the building. This work sets out to determine if a CNN can learn the architectural features of a floor plan and use that information to determine a location. In this work, a simulated indoor data set is created and used to train two CNNs. A classification CNN, which breaks up the floor plan into 100 discrete bins and achieved 76.1 percent top 5 accuracy on test data. Also, a regression CNN which achieved a distance error of 25.4 meters or less between the truth and predicted position on 80 percent of the test data. The models are further improved by combining them with a filter solution. The best performing classification CNN is evaluated on real world data captured via a TurtleBot 3, demonstrating the potential for this solution to be useful to real world Air Force indoor localization problems

Smart hierarchical WiFi localization system for indoors

Premio Extraordinario de Doctorado de la UAH en el año académico 2013-2014En los últimos años, el número de aplicaciones para smartphones y tablets ha crecido rápidamente. Muchas de estas aplicaciones hacen uso de las capacidades de localización de estos dispositivos. Para poder proporcionar su localización, es necesario identificar la posición del usuario de forma robusta y en tiempo real. Tradicionalmente, esta localización se ha realizado mediante el uso del GPS que proporciona posicionamiento preciso en exteriores. Desafortunadamente, su baja precisión en interiores imposibilita su uso. Para proporcionar localización en interiores se utilizan diferentes tecnologías. Entre ellas, la tecnología WiFi es una de las más usadas debido a sus importantes ventajas tales como la disponibilidad de puntos de acceso WiFi en la mayoría de edificios y que medir la señal WiFi no tiene coste, incluso en redes privadas. Desafortunadamente, también tiene algunas desventajas, ya que en interiores la señal es altamente dependiente de la estructura del edificio por lo que aparecen otros efectos no deseados, como el efecto multicamino o las variaciones de pequeña escala. Además, las redes WiFi están instaladas para maximizar la conectividad sin tener en cuenta su posible uso para localización, por lo que los entornos suelen estar altamente poblados de puntos de acceso, aumentando las interferencias co-canal, que causan variaciones en el nivel de señal recibido. El objetivo de esta tesis es la localización de dispositivos móviles en interiores utilizando como única información el nivel de señal recibido de los puntos de acceso existentes en el entorno. La meta final es desarrollar un sistema de localización WiFi para dispositivos móviles, que pueda ser utilizado en cualquier entorno y por cualquier dispositivo, en tiempo real. Para alcanzar este objetivo, se propone un sistema de localización jerárquico basado en clasificadores borrosos que realizará la localización en entornos descritos topológicamente. Este sistema proporcionará una localización robusta en diferentes escenarios, prestando especial atención a los entornos grandes. Para ello, el sistema diseñado crea una partición jerárquica del entorno usando K-Means. Después, el sistema de localización se entrena utilizando diferentes algoritmos de clasificación supervisada para localizar las nuevas medidas WiFi. Finalmente, se ha diseñado un sistema probabilístico para seguir la posición del dispositivo en movimiento utilizando un filtro Bayesiano. Este sistema se ha probado en un entorno real, con varias plantas, obteniendo un error medio total por debajo de los 3 metros

Off-line evaluation of mobile-centric indoor positioning systems: the experiences from the 2017 IPIN competition

The development of indoor positioning solutions using smartphones is a growing activity with an enormous potential for everyday life and professional applications. The research activities on this topic concentrate on the development of new positioning solutions that are tested in specific environments under their own evaluation metrics. To explore the real positioning quality of smartphone-based solutions and their capabilities for seamlessly adapting to different scenarios, it is needed to find fair evaluation frameworks. The design of competitions using extensive pre-recorded datasets is a valid way to generate open data for comparing the different solutions created by research teams. In this paper, we discuss the details of the 2017 IPIN indoor localization competition, the different datasets created, the teams participating in the event, and the results they obtained. We compare these results with other competition-based approaches (Microsoft and Perf-loc) and on-line evaluation web sites. The lessons learned by organising these competitions and the benefits for the community are addressed along the paper. Our analysis paves the way for future developments on the standardization of evaluations and for creating a widely-adopted benchmark strategy for researchers and companies in the field.We would like to thank Topcon Corporation for sponsoring the competition track with an award for the winning team. We are also grateful to Francesco Potorti, Sangjoon Park, Hideo Makino, Nobuo Kawaguchi, Takeshi Kurata and Jesus Urena for their invaluable help in organizing and promoting the IPIN competition and conference. Many thanks to Raul Montoliu, Emilio Sansano, Marina Granel and Luis Alisandra for collecting the databases in the UJITI building. Parts of this work were carried out with the financial support received from projects and grants: REPNIN network (TEC2015-71426-REDT), LORIS (TIN2012-38080-C04-04), TARSIUS (TIN2015-71564-C4-2-R (MINECO/FEDER)), SmartLoc (CSIC-PIE Ref. 201450E011), "Metodologias avanzadas para el diseno, desarrollo, evaluacion e integracion de algoritmos de localizacion en interiores" (TIN2015-70202-P), GEO-C (Project ID: 642332, H2020-MSCA-ITN-2014-Marie Sklodowska-Curie Action: Innovative Training Networks), and financial support from the Ministry of Science and Technology, Taiwan (106-3114-E-007-005 and 105-2221-E-155-013-MY3). The HFTS team has been supported in the frame of the German Federal Ministry of Education and Research programme "FHprofUnt2013" under contract 03FH035PB3 (Project SPIRIT). The UMinho team has been supported by COMPETE: POCI-01-0145-FEDER-007043 and FCT-Fundacao para a Ciencia e Tecnologia within the Project Scope: UID/CEC/00319/2013. G.M. Mendoza-Silva gratefully acknowledges funding from grant PREDOC/2016/55 by Universitat Jaume I.info:eu-repo/semantics/publishedVersio