Questo documento fornisce una sintetica descrizione dei servizi
presenti nel Centro di Calcolo di OAS situato nel Plesso CNR.
Moto utile per comprendere l'evoluzione nel tempo del Centro di Calcolo

TACCHINI, ALESSANDRO

OA@INAF - Istituto Nazionale di Astrofisica

219Number2023Publication Year2023-01-09T17:10:22ZAcceptance in OA@INAFCentro di calcolo oas plesso cnr struttura e servizi offertiTitleTACCHINI, ALESSANDROAuthorsOAS BolognaAffiliation of first authorhttp://hdl.handle.net/20.500.12386/32846; https://doi.org/10.20371/INAF/TechRep/219HandleCENTRO DI CALCOLO OASPLESSO CNRSTRUTTURA E SERVIZI OFFERTIAutore: Alessandro TacchiniINDICE1. Introduzione2. Networking3. Cluster Virtual Machine4. Cluster di Calcolo Parallelo5. Storage6. Server di Progetto7. Impianti1.  IntroduzioneQuesto documento fornisce una sintetica descrizione dei servizipresenti nel Centro di Calcolo di OAS situato nel Plesso CNR.Il documento è stato preparato nel 2019 e risulta molto importante percapire l’evoluzione del Centro di Calcolo negli ultimi anni.Il Centro di Calcolo di OAS non è un semplice locale che contiene deiserver ma una entità complessa ed in continua evoluzione.I server che vi sono contenuti definiscono l’infrastruttura informaticaper il Plesso CNR di OAS, sia come servizi generali che come servizidedicati ai progetti ed ai ricercatori, e contribuiscono in modosignificativo a tutto OAS oltre che all’infrastruttura informatica diINAF1.Il funzionamento dei server richiede anche una continua messa apunto degli impianti elettrici e di climatizzazione.1 Ad esempio vengono ospitati i server di MediaINAF e di EduINAF.Aggiungere supporto ad un nuovo progetto significa modificarel’intera infrastruttura in modo che il servizio sia adeguato alla qualitàrichiesta.2. NetworkingNel Centro di Calcolo è situato il cuore dell’infrastruttura di rete, quisono situati tutti gli apparati che forniscono la connettività.Sono presenti: un pannello (patch panel) da cui partono i cavi ethernetche collegano tutte le prese di rete in tutte le stanze dell’edificio; unpannello da cui partono i cavi in fibra ottica che realizzano ilcollegamento ad 1 Gb/s verso il router di Area CNR; un pannello dacui partono i cavi in fibra ottica che realizzano il collegamento a10Gb/s verso il router INAF (sullo stesso pannello è presente ilcollegamento per il CTA Project Office).I collegamenti ai vari piani sono ripartiti tramite tre switch dedicati,uno per piano, che a loro volta sono collegati in modo ridondato aidue switch che fungono da “Centro Stella”.Sempre al “Centro Stella” sono collegati una gran parte dei server delCentro di Calcolo e due switch Cisco (il vecchio centro stella) chefungono da portale verso l’esterno mediante il collegamento in fibraottica.Oltre ai vari switch che distribuiscono la connettività all’interno delcentro di calcolo e che sono dedicati sia ai servizi di OAS Bolognache di INAF in generale, sono presenti anche apparati di rete diproprietà di CTA Project Office che permettono il collegamento versol’esterno2 a tutti i loro locali.2 Attraverso il POP Garr BO03-Gobetti3. Cluster Virtual MachineÈ un cluster formato da sette macchine, più una di controllo, nonomogenee su cui è installato Oracle VM Server.Un gruppo di macchine, per la precisione tre, ha 8 processori AMD e16GB di RAM, due macchine hanno 8 processori Intel e 32 GB diRAM ed infine due macchine gemelle hanno 32 processori AMD e128GB di RAM.Le risorse Hardware quindi sono di dimensioni finite ma adeguate alleattuali esigenze dell’Osservatorio.Il software di Oracle realizza un’infrastruttura robusta che offre altaaffidabilità ed alta disponibilità.Le macchine virtuali ospitate sul sistema sono di due tipi: macchine diun progetto/ricercatore e macchine per servizi di struttura.Le macchine relative ad un progetto/ricercatore sono state richiestedai singoli ricercatori che necessitavano di avere a disposizione unserver in poco tempo e senza caratteristiche particolari; sonomacchine che realizzano servizi che vanno dal semplice web serverdedicato al più impegnativo server per la pipeline di Agile.Le macchine virtuali che danno servizi spaziano dal DNS/DHCP adLDAP, dal Cloud (Owncloud) a RADIUS (per il servizio Eduroam) edanche al server di posta elettronica (Zimbra).4. Cluster di Calcolo ParalleloIl cluster di calcolo parallelo è costituito da 5 nodi di calcolo per untotale di 296 Core e 768GB di RAM, 5 nodi di login, per un totale di40 CPU, 3 server di Storage (da portare al più presto a 4 per avere lagiusta ridondanza) che offrono più di 100TB di spazio disco.I nodi sono tutti collegati fra di loro con rete Infiniband 40Gb/s abassa latenza. Il cluster è gestito utilizzando prodotti enterprise(offerti da IBM gratuitamente agli enti che fanno alta formazione),ovvero da uno scheduler (loadleveler) e da un filesystem distribuito(GPFS).Il vantaggio di un cluster interno risiede nell’assenza di una policy perla prenotazione del cluster, a parte la policy di gestione dei jobs daparte dello scheduler.In altre parole gli utenti abilitati possono sottomettere i propri job aduna coda del cluster e sarà poi lo scheduler che si occuperà di gestirel’allocazione delle risorse e l’esecuzione temporale.Questa possibilità è data da due fattori: l’esiguo numero degli utenti ela non eccessiva richiesta di risorse di calcolo.Nonostante la dimensione sia più piccola di quelle dei cluster delCINECA o di altre strutture INAF il nostro cluster risulta ideale perfare pratica e per ottimizzare il software, inoltre risulta comunque unbuono strumento per il calcolo in generale.5. StorageUno dei servizi più importanti ed anche meno conosciuti è lo Storage.Al giorno d’oggi lo spazio di archiviazione è diventato una risorsaindispensabile, la tendenza del futuro è un forte incremento dellarichiesta di spazio a tutti i livelli (singola persona, singolo progetto,intera infrastruttura).L’organizzazione dello Storage all’interno del Centro di Calcolo haseguito le richieste che si sono via via presentate nel corso del tempoe le macchine che lo realizzano sono dei sistemi SAN o NAS collegatiad una rete locale, in questo modo si garantisce accessibilità ma simantiene un certo grado di protezione dalle intrusioni.Tra i sistemi che formano l’insieme dello Storage si annoverano:- Un Nas dedicato alla posta elettronica. In questo modo i datirisiedono su un supporto separato dal server di postapermettendone la portabilità in caso di incidente.- Un NAS dedicato ai dati degli utenti. Ogni utente ha adisposizione una cartella Home in cui può tenere i propri dati (ladimensione di questo spazio è limitata).- Un NAS dedicato ai dati di alcuni progetti di lungo corso il cuifinanziamento è terminato da tempo (es. Integral).- Un NAS dedicato al Backup. Il sistema di Backup, che impiegal’applicazione Tivoli di IBM, integra delle macchine NAS sudisco con una unità a nastro, sempre di IBM.- Una SAN dedicata al Cluster di Calcolo Parallelo. Con unadimensione di 110TB fornisce lo spazio necessario ai dati perquesto tipo di calcolo.- Una SAN che fornisce spazio disco alle macchine virtuali.6. Server di ProgettoOltre ai servizi comuni viene offerta ospitalità ed assistenza di baseanche a quei progetti che necessitano della presenza di una o piùmacchine dedicate alla propria attività di ricerca.• ASTRI/CTA: Per questo progetto il nostro istituto è responsabiledel servizio GIT per tutto il SW, il sistema di collaborazioneREDMINE, il test bed per lo sviluppo e il test del SW e il sistema disviluppo e test del sistema di monitoring dell’ICT. Questi servizi sonorealizzati utilizzando: 14 Server, con 188 core, 572 GByte di RAM e120TB di spazio disco;• CTA RTA ( Real Time Analisys ) per sviluppare la Pipeline diRTA abbiamo 2 Server molto potenti un OpenPower con 192 core,128 GByte di RAM e 4 TB di spazio disco e un server Intelcompatibile con 56 core, 128GB di RAM e 16TB di spazio disco;• Planck Main Backup Repository for Mission Data: cluster di 6server, con uno dedicato al solo accesso esterno, uno di backup, e glialtri fondamentalmente configurati come NAS, asserviti sia a dettoportale che al cluster di Istituto, con 20 core totali e storagecomplessivo di circa 30 TB (in configurazioni RAID miste 1/10/5/6),in parte organizzato utilizzando un file system distribuito;• AGILE: Per la missione AGILE abbiamo la responsabilità dellapipeline di analisi dei dati del satellite in tempo reale per lagenerazione delle allerte scientifiche e la gestione delle allertedall’esperimento LIGO. La Pipeline e l’analisi dati in tempo realesono gestite utilizzando 12 Server, con 116 core, 280GB di RAM e76TB di spazio disco;• REM/GAIA/GRAPPA: nell’ambito di questi di progettinazionali e internazionali curiamo sia la riduzione dati che il serverweb e archivio dati serviti da DBMS. In particolare ospitiamo tutte leimmagini del telescopio REM (circa 3 milioni di immagini), il mirrordi più di 50 cataloghi astronomici usati nell'ambito del progetto GAIA(24 TB), un archivio di milioni di modelli di spettri di galassie usateper il progetto GRAPPA. Altri progetti che prevedono l'uso diweb-tool con accesso ad archivi locali sono in fase di sviluppo. Tuttequeste risorse sono accessibili remotamente sia attraverso web-formche direttamente da programmi degli utenti. Per tutto questo sonousati 6 server con 40 Core, 196Gbyte di RAM e 82TB di sapzio disco.Oltre al supporto a progetti specifici viene fornito supporto anche adalcuni servizi INAF, MediaINAF e  EduINAF. Entrambe le macchinesono gestite dai rispettivi responsabili.7. ImpiantiIMPIANTO DI CONDIZIONAMETOL'impianto di condizionamento, con una potenza frigoriferacomplessiva di circa 100K BTU,  è costituito da:• Due condizionatori di precisione per “centro calcolo” Emersoncon sistema di freecooling, ovvero con un sistema che rileva latemperatura esterna e nel caso in cui essa sia più bassa di quella dellocale impiega l'aria esterna (opportunamente filtrata) per ilraffreddamento del locale. I due condizionatori sono in grado discambiarsi comunicazioni sul loro stato per minimizzare i consumi.• Un condizionatore ad acqua fredda che utilizza l'impiantodell'istituto per la generazione dell'acqua per il condizionamento.Abbiamo quindi un sistema completamente ridondato per ilcondizionamento.IMPIANTO ELETTRICOL'impianto elettrico del centro di calcolo è interamente collegato algruppo di continuità che offre un sistema trifase con neutro da 60kVA.È quindi possibile ottenere 3 fasi distinte a 220Volt. Ogni server hauna doppia alimentazione che si collega a due fasi distinte, in talmodo è possibile effettuare interventi su di una fase senza che ilcentro di calcolo ne risenta. Allo stato attuale manca il commutatoretra la rete Enel ed il gruppo elettrogeno che dovrebbe entrare infunzione automaticamente entro pochi minuti dall’interruzionedell’erogazione della corrente. Tale assenza impedisce un correttofunzionamento del sistema che esaurita l’energia immagazzinata nelpacco batterie si spegne brutalmente. Tenuto conto dei consumi totalidelle macchine installate la durata del pacco batterie è mediamente di20 minuti. Si richiede quindi di ripristinare quanto prima talecommutatore per avere le giuste misure di sicurezza nell’erogazionedella potenza elettrica.SISTEMA ANTINCENDIOIl sistema antincendio del Centro di Calcolo è affidato a due estintoria CO2 posti nel locale.

Centro di calcolo oas plesso cnr struttura e servizi offerti

https://openaccess.inaf.it/bitstream/20.500.12386/32846/1/CENTRO_DI_CALCOLO_OAS.pdf

Centro di calcolo oas plesso cnr struttura e servizi offerti

Abstract

Similar works

Full text

Available Versions

OA@INAF - Istituto Nazionale di Astrofisica