Aslan, Arda

Crenshaw, Juan

Deboeck, Toni

Getchius, Joel

Mattern, Daniel

Michaels, Adam

Patterson, Ryan

Schrift, Travis

Slojkowski, Steven

Ward, Douglas

NASA Technical Reports Server

Applications of Machine Learning to Flight Dynamics Operations
Steven Slojkowski, Joel Getchius, Adam Michaels, Daniel Mattern, Arda Aslan, Toni Deboeck, Ryan Patterson, Juan Crenshaw, Travis Schrift, Douglas Ward
Omitron Inc, Flight Dynamics Facility (FDF), Goddard Space Flight Center
Background Classification/Supervised Learning Clustering/Unsupervised Learning
time
m
e
a
s
u
r
e
m
e
n
t
Estimated State
Observed Measurement
Computed Measurement
Observed Measurement
Computed Measurement
Residual
Residual
• Batch least‐squares or sequential 
estimation is used to produce the best 
estimate of the satellite state based 
on the observations
• The measurement residuals contain a 
lot of useful information, including
– The quality of physical models employed
– The performance and noise characteristics of 
the tracking networks
• One component of the FDF’s 
responsibilities is to evaluate the 
performance of a diverse set of 
tracking networks
– Simple things we look for are biases and 
excessive noise, but frequently tracking data 
anomalies are more subtle than just these
0
10
20
30
40
50
60
70
80
0 5 10 15 20 25 30
R
e
s
i
d
u
a
l
 
(
M
e
t
e
r
s
)
Residual Number
Bimodal and Asynchronous
0
10
20
30
40
50
60
70
0 5 10 15 20 25 30
R
e
s
i
d
u
a
l
 
(
M
e
t
e
r
s
)
Residual Number
Bimodal and Asynchronous
‐80
‐70
‐60
‐50
‐40
‐30
‐20
‐10
0
0 2 4 6 8 10 12 14 16
A
x
i
s
 
T
i
t
l
e
Residual Number
Simple Bias
We believe that there are many 
potential applications of Machine 
Learning to flight dynamics operations
– Tracking data anomaly detection and 
classification
– Orbit estimation quality assurance
– Orbit estimation filter tuning
– Simultaneous localization and mapping for 
optical and relative navigation
– Novel methods of orbit estimation and 
prediction
– Space weather monitoring and prediction
– Intelligent and rapid data analysis
In this presentation we demonstrate our work 
so far in applying Machine Learning to tracking 
data evaluation
Confusion Matrix
Nominal Bias Drift
Nominal 6409 9 1
Bias 78 1696 5
Drift 2 1 8
• Decision Trees, Random Forests, and Multilayer Perceptron 
classifiers can easily identify simple anomalies
– Based on simply the pass mean and standard deviation, these 
methods perform well at identifying the passes as NOMINAL, BIAS, 
or DRIFT
– Decision Trees easily discover the criteria the analysts use for 
manual classification
• The data set is biased heavily toward NOMINAL instances
– This can be ameliorated somewhat with better training splits, but 
the small number of DRIFT instances is a problem
• We want to be able to identify classes beyond simply 
“Nominal”, “Bias”, and “Drift”
– Conditions such as bimodal residuals, incorrect observation time 
tags, residual cycle slips, maneuvers, station geodetic errors
– These currently require the attention of a trained and experienced 
analyst for proper identification
– They require consideration of features beyond simply mean and 
standard deviation
• A problem is that our current data sets are not labeled for these 
classes
– This motivated investigation into unsupervised learning and  
clustering methods
– Unsupervised learning also allows the potential of discovering new 
anomaly classes
Next Steps
• Investigation of other current methods of Time Series 
Classification
– Time Series Forest, 1‐Nearest Neighbor with various distance metrics, 
Symbolic Aggregate Approximation, Convolutional Neural Networks
• The goal of this effort is a system that works alongside analysts to offer 
suggestions and assistance for classifying tracking data anomalies
– In the future, as the system becomes more competent and users gain trust in 
it, it can be given more responsibility for classifying tracking data, perhaps 
taking over as the prime analyst with task members reviewing its decisions or 
stepping in only when it is unable to make a confident judgement
‐10
‐8
‐6
‐4
‐2
0
2
4
6
8
10
0 50 100 150 200 250 300
R
e
s
i
d
u
a
l
 
(
M
e
t
e
r
s
)
Residual Number
Nominal
‐0.15
‐0.10
‐0.05
0.00
0.05
0.10
0.15
0 5 10 15 20 25 30 35 40
R
e
s
i
d
u
a
l
 
(
M
e
t
e
r
s
/
S
e
c
)
Residual Number
Drift
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
0 10 20 30 40 50 60 70
R
e
s
i
d
u
a
l
 
(
M
e
t
e
r
s
\
S
e
c
)
Residual Number
Observation Time Tag Bias
‐0.9
‐0.8
‐0.7
‐0.6
‐0.5
‐0.4
‐0.3
‐0.2
‐0.1
0
0 10 20 30 40 50 60 70
R
e
s
i
d
u
a
l
 
(
D
e
g
r
e
e
s
)
Residual Number
Excessive Noise
‐3
‐2
‐1
0
1
2
3
0 10 20 30 40 50
R
e
s
i
d
u
a
l
 
(
M
e
t
e
r
s
/
S
e
c
)
Residual Number
Erroneous Station Positioning
• K‐Neighbors also shows promise for our application
– Particularly useful is the ability to obtain the confidence in the classification 
(predict_proba), as this allows us to only report on those anomalies which 
have high confidence
– We need to do further work on feature selection to facilitate finer‐grained 
anomaly identification
• K‐Means provides one method 
of clustering data
– If clear clusters emerge, the 
data can be “back labeled” for 
training classifiers
• Self Organizing Maps are also 
being studied
– Has the advantage that number 
of classifications could be 
unknown a priori
– Maybe useful to determine 
“what we are missing”
Mean (Meters)
S
t
a
n
d
a
r
d
 
D
e
v
i
a
t
i
o
n
 
(
M
e
t
e
r
s
)
Mean (Meters)
S
t
a
n
d
a
r
d
 
D
e
v
i
a
t
i
o
n
 
(
M
e
t
e
r
s
)
https://ntrs.nasa.gov/search.jsp?R=20190001375 2019-08-30T11:01:36+00:00Z


Applications of Machine Learning to Flight Dynamics Operations

Applications of Machine Learning to Flight Dynamics Operations

Abstract

Similar works

Full text

Available Versions

NASA Technical Reports Server