Neurodata Without Borders: Creating a Common Data Format for Neurophysiology

The Neurodata Without Borders (NWB) initiative promotes data standardization in neuroscience to increase research reproducibility and opportunities. In the first NWB pilot project, neurophysiologists and software developers produced a common data format for recordings and metadata of cellular electrophysiology and optical imaging experiments. The format specification, application programming interfaces, and sample datasets have been released

NWB Query Engines: Nástroje pro vyhledávání dat uložených ve formátu „Neurodata Without Borders“

Formát Neurodata Without Borders (NWB) je současnou technologií pro ukládání neurofyziologických dat spolu s asociovanými metadaty. Data ukládána v tomto formátu jsou organizována do samostatných HDF5 souborů, přičemž každý soubor obvykle obsahuje data pocházející z jednoho měření. Ačkoliv NWB formát poskytuje strukturovanou metodu pro ukládání dat, dosud chybí nástroje, které by umožnil prohledávání kolekce NWB souborů za účelem nalezení dat relevantních pro konkrétní aplikační záměr. V tomto článku popisujeme tři nástroje umožňující takovéto prohledávání. Nástroje mají různé vlastnosti vhodné pro různé účely. První nástroj, nazvaný NWB Query Engine, je napsaný v Javě. Umožňuje prohledávání úplného obsahu NWB souborů. Byl navržen pro první verzi NWB (NWB 1) a podporuje většinu (ale ne všechny) vlastnosti poslední verze (NWB 2). Pro některá hledání se jedná o nejrychlejší nástroj. Druhý nástroj, zvaný „search_nwb“ je napsaný v jazyce Python a také umožňuje prohledávání úplného obsahu NWB souborů. Pracuje jak s NWB 1 tak NWB2. Totéž platí pro třetí nástroj. Třetí nástroj, zvaný „nwbindexer“ umožňuje prohledávání kolekce NWB souborů ve dvou krocích. V prvním kroku je spuštěna utilita, která vytvoří SQLite databázi obsahující metadata z kolekce NWB souborů. Tato databáze je prohledávána v druhém kroku druhou utilitou. Jakmile je vytvořen index, tento dvou krokový proces umožňuje rychlejší prohledávání než v případě ostatních nástrojů, ale oproti tomu neumožní úplné prohledávání. Všechny tři nástroje používají jednoduchý dotazovací jazyk, který byl vyvinut pro tento projekt. Je poskytnut software integrující všechny tři nástroje do webového rozhraní, což umožňuje prohledávání NWB souborů prostřednictvím webových formulářů.The Neurodata Without Borders (abbreviation NWB) format is a current technology for storing neurophysiology data along with the associated metadata. Data stored in the format is organized into separate HDF5 files, each file usually storing the data associated with a single recording session. While the NWB format provides a structured method for storing data, so far there have not been tools which enable searching a collection of NWB files in order to find data of interest for a particular purpose. We describe here three tools to enable searching NWB files. The tools have different features making each of them most useful for a particular task. The first tool, called the NWB Query Engine, is written in Java. It allows searching the complete content of NWB files. It was designed for the first version of NWB (NWB 1) and supports most (but not all) features of the most recent version (NWB 2). For some searches, it is the fastest tool. The second tool, called "search_nwb" is written in Python and also allow searching the complete contents of NWB files. It works with both NWB 1 and NWB 2, as does the third tool. The third tool, called "nwbindexer" enables searching a collection of NWB files using a two-step process. In the first step, a utility is run which creates an SQLite database containing the metadata in a collection of NWB files. This database is then searched in the second step, using another utility. Once the index is built, this two-step processes allows faster searches than are done by the other tools, but does not enable as complete of searches. All three tools use a simple query language which was developed for this project. Software integrating the three tools into a web-interface is provided which enables searching NWB files by submitting a web form