Sirri, Gabriele

Almae Matris Studiorum Campus

Analisi Statistica dei dati nella Fisica Nucl. e Subnucl. [Laboratorio ]Gabriele SirriIstituto Nazionale di Fisica Nucleare2015.04.30 • Comunicazioni•  Esercizio 4• Introduzione a RooStats•  Esercizio 5Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 2Sommario30/04/2015ComunicazioniLaboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 330/04/2015CalendarioLaboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 4• Lunedì 23 febbraio 2015 14-16 M. SioliMARZO• Lunedì 2 marzo 2015 14-16 M. SioliGiovedì 5 marzo 2015 11-13 T. Chiarusi• Lunedì 9 marzo 2015 14-16 M. SioliGiovedì 12 marzo 2015 11-13 M. Sioli• Lunedì 16 marzo 2015 14-16 M. SioliGiovedì 19 marzo 2014 11-13 T. Chiarusi• Lunedì 23 marzo 2015 14-16 M. SioliGiovedì 26 marzo 2015 11-13 M. Sioli Giovedì 26 marzo 2015 16-18 G. Sirri• Lunedì 30 marzo 2015 14-16 M. SioliAPRILE• Mercol. 8 aprile 2015 10-13 M. Sioli/T.Chiar.• Giovedì 9 aprile 2015 11-13 G. Sirri• Lunedì 13 aprile 2015 14-16 M. Sioli Giovedì 16 aprile 2015 11-13 T. ChiarusiGiovedì 16 aprile 2015 16-18 G. Sirri • Lunedì 20 aprile 2015 14-16 M. Sioli Giovedì 23 aprile 2015 11-12 G. SirriGiovedì 23 aprile 2015 12-13 T. Chiarusi • Giovedì 30 aprile 2015 11-13 G. Sirri Giovedì 30 aprile 2015 16-18 G. SirriMAGGIO• Lunedì 4 maggio 2015 14-16 M. Sioli Giovedì 7 maggio 2015 11-13 T. Chiarusi • Lunedì 11 maggio 2015 14-16 M. Sioli Giovedì 14 maggio 2015 11-13 G. Sirri Giovedì 14 maggio 2015 16-18 G. Sirri • Lunedì 18 maggio 2015 14-16 M. Sioli Giovedì 21 maggio 2015 11-13 T. Chiarusi • Lunedì 25 maggio 2015 14-16 M. Sioli Tutte le lezioni in Aula C, via Irnerio30/04/201530/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 5 Esercitazioni (soluzioni)Le soluzioni di Esercizio 3NON sono ancora pubblicate in AMSCampus.accesso riservato agli iscritti a gabriele.sirri2.ASD-2015con password (richiedetela via mail) Esercizio 4Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 630/04/2015 RECAP - Esercizio 4 - tmva_ex0Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 730/04/2015[0] tmva_ex0.C- Create a working folder “tmva_ex0”- download http://root.cern.ch/files/tmva_class_example.root to the working folder  Run your first job using the macro TMVAClassification.C .Train the classifiers LD, MLP, BDT on the test data.You are not requested to modify the macro. You have just to run it:root –l $ROOTSYS/tmva/test/TMVAClassification.C$\"LD,MLP,BDT\"$ Open TMVAClassification.C and have a look to the code. Locate where are defined :i) input variables for the training; ii) spectator variables; iii) signal and background trees; iv) signal and background weights; v) selection cuts on signal and background; vi) number of training and testing events; vii) booking of MVA methods; viii) calls to start of training, testing and method comparison To use the TMVA collections of macros (and see the output of your training and testing), type :root -l $ROOTSYS/tmva/test/TMVAGui.C(Allegare i .png dei plot che ritenete più significativi) RECAP - Esercizio 4  - tmva_ex1  parte 130/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 8[1] tmva_ex1.C (parte 1)Lo scopo di questo esercizio è fare una semplice analisi multivariata con il pacchetto TMVA di ROOT.Scaricate il tar ﬁle con il codice per l’esercizio da: http://hep.ﬁ.infn.it/ciulli/Site/Analisi Dati ﬁles/tmvaExamples.tarquindi in una directory date il comando tar -xvf tmvaExamples.tar.Per prima cosa usate la macro generateData.C per generare due n-tuple di dati, i cuivalori seguono una distribuzione tridimensionale per il segnale e un’altra per il fondo.La macro plot.C può essere usata per guardare le distribuzioni (eseguite root e poidal prompt date il comando .x plot.C).Usate poi la macro tmvaTrain.C per determinare i coeﬃcienti del discriminante diFisher. Questi coeﬃcienti sono scritti in un ﬁle nella sotto-directory weights come ﬁletesto. Guardate il log del comando e il contenuto del ﬁle per individuare i coeﬃcienti.Inﬁne usate analyzeData.C per analizzare i dati generati. Supponete che le probabilitàa priori di segnale e fondo siano uguali. Quali sono le eﬃcienze per segnale e fondo serichiedete tFisher > 0? E qual’è la purezza del segnale selezionato con questo taglio?(Modiﬁcate il codice analizeData.C inserendo dei contatori per rispondere a queste domande). Scrivete una macro per visualizzare e confrontare gli istogrammi hFishSig e hFishBkg. Potete partire come esempio dalla macro plotUniform.C del problema 1. RECAP - Esercizio 4 - tmva_ex1  parte 230/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 9[1] tmva_ex1.C (parte 2)Adesso modiﬁcate il programma tmvaTrain.cc e analyzeData.C per includere unarete neurale con uno strato nascosto con 3 nodi. Per creare la rete neurale dovete inserire la linea:factory->BookMethod(TMVA::Types::kMLP,"MLP","H:!V:HiddenLayers=3");dove “MLP” sta per “Multi Layer Perceptron” (si veda il manuale di TMVA per maggiori dettagli). Anche i coeﬃcienti della rete neurale sono salvati in un ﬁle nella sottodirectory weights.Analizzate inﬁne i dati usando la rete neurale. Dovrete aggiungere la chiamatareader->BookMVA;usando il nome corrispondente (rimpiazzate Fisher con MLP). Create e riempite altri due istogrammi per guardare la distribuzione della statistica MLP per il segnale e il fondo (analogamente agli istogrammi per il discriminante di Fisher). Quali sono le eﬃcienze su segnale e fondo se si richiede tMLP > 0.5? Qual’`e la purezza del segnale?Introduzione a RooSTATSLaboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 1030/04/2015RooStatsRooStatsTutorial_120323.pdfhttps://indico.desy.de/getFile.py/access?contribId=15&resId=3&materialId=slides&confId=5065slides da 1 a 1430/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 1130/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 12Exercise time (Esercizio 5) 30/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 13RooStatsTutorial_120323.pdfhttps://indico.desy.de/getFile.py/access?contribId=15&resId=3&materialId=slides&confId=5065Esercizio 5 - roostats_ex1[1] roostats_ex1.C Riprendiamo l’esercizio della lezione precedente(gaussian signal + exponential background, extended p.d.f.) .Trovate un template già fatto qui :  http://campus.unibo.it/186979/In makemodel : c’è la costruzione del modello , la generazione di un set di  1000 dati simulato. Il workspace è salvato in «model.root».Alcune modifiche rispetto alla lezione precedente :Range e Valori iniziali dei parametri sono stati modificati.«mean» e «sigma» sono fissati come costanti.I dati sono importati nel workspace e salvati su file.In usemodel : legge il modello dal file, esegue il fit del modello e disegna dati e risultato del fitin un plot.30/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 14Si modifichi il modello:- Specificare i componenti del modello per i tool statistici di roostat:  osservabile e parametro di interesse. - Utilizzare il numero di eventi di segnale come unico parametro di interesse. - Fissare costanti tutti gli altri parametri del modello.- Importare la configurazione nel workspace e salvare su file.Si modifichi l’uso del modello:- leggere il modelConfig dal workspace esempio: ModelConfig* mc = (ModelConfig*) w.obj("ModelConfig");- calcolare un Confidence Interval utilizzando il ProfileLikelihoodCalculator- Disegnare il profilo della likelihood e sovrapporre l’intervallo- calcolare la discovery significance utilizzando il profilelikelihoodcalculatorcome test di ipotesi- scrivere sulla console i limiti dell’intervallo e la significativitàEsercizio 5 - roostats_ex1ROOSTATS : https://twiki.cern.ch/twiki/bin/view/RooStatsshort tutorial: https://twiki.cern.ch/twiki/bin/view/RooStats/RooStatsTutorialsAugust201230/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 1530/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 16Suggerimento:usate questocostruttoreAnziché questohttps://root.cern.ch/root/html/RooStats__ProfileLikelihoodCalculator.htmlGuardate la Class ReferenceOvvero :passategli come argomento il ModelConfigenon singolarmenteil Modello e il POI[2] roostats_ex2.CAggiungere l’intervallo calcolato con Feldman-Cousinsuggerimento : modificare solo usemodel()guardare il codice in :  $ROOTSYS/tuturials/roostats/IntervalExamples.C[3] roostats_ex3.CDefinire tau e Nb come nuisance parametersripetere i test dell’ex. 1 e confrontarlisuggerimento modificare makemodel()  (vedere il tutorial) Esercizio 5 - roostats_ex2 , roostats_ex3ROOSTATS : https://twiki.cern.ch/twiki/bin/view/RooStatsshort tutorial: https://twiki.cern.ch/twiki/bin/view/RooStats/RooStatsTutorialsAugust201230/04/2015 Laboratorio Analisi Statistica dei Dati per HEP - G.Sirri - 2015 17

[5] TMVA 2 

[6] RooStats

http://campus.unibo.it/186979/15/ASD-lab-2015-lesson-5e6.pdf

[5] TMVA 2 [6] RooStats

Abstract

Similar works

Full text

Available Versions

Almae Matris Studiorum Campus