Co-Training of Audio and Video Representations from Self-Supervised Temporal Synchronization

There is a natural correlation between the visual and auditive elements of a video. In this work, we use this correlation in order to learn strong and general features via cross-modal self-supervision with carefully chosen neural network architectures and calibrated curriculum learning. We suggest that this type of training is an effective way of pretraining models for further pursuits in video understanding, as they achieve on average 14.8% improvement over models trained from scratch. Furthermore, we demonstrate that these general features can be used for audio classification and perform on par with state-of-the-art results. Lastly, our work shows that using cross-modal self-supervision for pretraining is a good starting point for the development of multi-sensory models

Look, listen and recognise: character-aware audio-visual subtitling

The goal of this paper is automatic character-aware subtitle generation. Given a video and a minimal amount of metadata, we propose an audio-visual method that generates a full transcript of the dialogue, with precise speech timestamps, and the character speaking identified. The key idea is to first use audio-visual cues to select a set of high-precision audio exemplars for each character, and then use these exemplars to classify all speech segments by speaker identity. Notably, the method does not require face detection or tracking. We evaluate the method over a variety of TV sitcoms, including Seinfeld, Fraiser and Scrubs. We envision this system being useful for the automatic generation of subtitles to improve the accessibility of the vast amount of videos available on modern streaming services. Project page : https://www.robots.ox.ac.uk/~vgg/research/look-listen-recognise

Deep-Learning for Classification of Colorectal Polyps on Whole-Slide Images

Histopathological characterization of colorectal polyps is an important principle for determining the risk of colorectal cancer and future rates of surveillance for patients. This characterization is time-intensive, requires years of specialized training, and suffers from significant inter-observer and intra-observer variability. In this work, we built an automatic image-understanding method that can accurately classify different types of colorectal polyps in whole-slide histology images to help pathologists with histopathological characterization and diagnosis of colorectal polyps. The proposed image-understanding method is based on deep-learning techniques, which rely on numerous levels of abstraction for data representation and have shown state-of-the-art results for various image analysis tasks. Our image-understanding method covers all five polyp types (hyperplastic polyp, sessile serrated polyp, traditional serrated adenoma, tubular adenoma, and tubulovillous/villous adenoma) that are included in the US multi-society task force guidelines for colorectal cancer risk assessment and surveillance, and encompasses the most common occurrences of colorectal polyps. Our evaluation on 239 independent test samples shows our proposed method can identify the types of colorectal polyps in whole-slide images with a high efficacy (accuracy: 93.0%, precision: 89.7%, recall: 88.3%, F1 score: 88.8%). The presented method in this paper can reduce the cognitive burden on pathologists and improve their accuracy and efficiency in histopathological characterization of colorectal polyps, and in subsequent risk assessment and follow-up recommendations

A database of the environmental effects associated to the December 29th, 2020 Mw 6.4 Petrinja earthquake (Croatia)

International audience<p>On December 29th, 2020, a strong Mw 6.4 earthquake hit central Croatia. The epicenter was located approximately 3 km southwest of Petrinja, and the intensity was estimated to VIII-IX EMS. The earthquake led to significant environmental effects related to earthquake magnitude, focal depth, and geological and geotechnical properties of the affected area.<br>The Croatian Geological Survey (HGI-CGS) conducted extensive geological and geodetic surveys starting a few hours following the main shock to measure the earthquake’s effects,<br>including those on infrastructures. Ten geologists from the Department of Geology carried out surveys from Decmber 31st, 2020 to January 7th, 2021 along the potential seismogenic source (inferred from geological maps and InSAR data) and in the wider epicentral area that suffered significant damage (e.g., Glina and Sisak).<br>During a second phase, researchers from the University of Zagreb (PMF UniZG), Slovenia (GeoZS), Italy (INGV, ISPRA, U. Chieti) and France (CEREGE, IRSN) were mobilized to complete the observations. The collaboration with these geologists allowed to deepen the investigations and to bring further detail to quantify the effects. The surveys were then compiled based on data formats used by the European Community, namely those of the INGV EMERGEO team (Villani et al., 2017; for environmental effects including surface ruptures and liquefaction) and those of the SURE group (Baize et al., 2019 for surface ruptures).<br>These observations revealed that the earthquake triggered a discontinuous, few km-long surface rupture with a maximum displacement of about 20 cm, which is consistent with the lower average of observations made on similar events (Wells and Coppersmith, 1994). Liquefaction spread over several tens of square kilometers mostly in river plains, the most distant being about 20 km from the epicenter (to be confirmed!). Other observed effects include lateral spreading, landslides, groundwater regime changes, rockfalls, and various infrastructure damage.<br>The compilation of the acquired dataset into a unified database, consistent with database of other historical and recent events, is essential for establishing reliable empirical relations between geological effects and physical characteristics of earthquakes (magnitude, depth). This forms the basis for seismic hazard assessments, whether for “surface rupture”, “liquefaction”, or “ground-shaking” potential.</p&gt

Virtuoso : Mladi hrvatski skladatelji (studenti Muzičke akademije Sveučilišta u Zagrebu, 18. 5. 2023.)

Peti dio snimke koncerta iz ciklusa Virtuoso održanog na Muzičkoj akademiji u Koncertnoj dvorani "Blagoje Bersa" 18. 5. 2023. Na koncertu su praizvedene skladbe studenata koji pohađaju kolegij Osnove kompozicije. Izvođači: Ana Kovačev (flauta, piccolo), Božo Letunić, v. umj. sur. (klavir), Bruno Laktaš (rog), Darija Gazdek (sopran), Dina Katnić, mag. mus. (klavir), Dorian Stipčić (bariton), Fabijan Košćak (klavir), Franko Štrbac (udaraljke), Ina Kumer (viola), Iskra Silvestri Valdevit (klavir), Ivan Brigljević (timpani), Jan Plevko (klarinet), Janko Franković, mag. mus. (violončelo), Karlo Dijanić (tuba), Karlo Furić-Glavić (klavir), Livia Glavinović (oboa), Lovro Ćutić (truba), Lucija Mušac (violončelo), Lujka Obratov (flauta), Luka Škrlec (klavir), Marija Jurić Kralj (sopran), Marin Benja (udaraljke), Marko Rajtora (kontrabas), Maro Morača (klavir), Marta Burazer (bas klarinet), Marta Švirtlich (flauta), Matea Kasaić Drakšić (violina), Michael Heaton (violina), Nika Zubac (violina), Nina Lucia Perina (violončelo), Nora Mamić (klavir), Olena Antošina (udaraljke), Paulina Tuhtan (violina), Rea Veseli (sopran), Regine Korbar (violončelo), Sara Nikolina Čehić (viola), Stipe Bakić (klavir), Svit Štarkl (udaraljke), Tana Michl (klarinet), Tena Maletić Vedernjak (mezzosopran), Teo Devčić (violina), Tin Reba (viola), Vitomir Janez Zagode (klavir). Dirigent: Lovro Žagar. Mentori: red. prof. art. Srećko Bradić (studenti kompozicije, t. 1., 2., 3., 6., 7., 8., 9., 10., 14. i 15.), red. prof. art. Srđan Dedić (studenti kompozicije, t. 4., 5., 11., 12. i 13.), doc. art. Ivan Josip Skender (t. 14.), doc. art. Julia Gubajdullina (t. 15.). Program: 1. Kristina Matković: Burlesque za klavir (izvođač: Karlo Furić-Glavić); 2. Kristina Hrenek: Lorenzo na terasi za flautu, klarinet i klavir (izvođači: Marta Švirtlich, Tana Michl, Iskra Silvestri Valdevit); 3. Jure Černeha: Suita za klavir (izvođač: Luka Škrlec); 4. Matea Koren: Flötenstück / Stavak za flautu (izvođač: Ana Kovačev); 5. Šime Buha: Četiri stavka za klavir (izvođač: Nora Mamić); 6. Lorna Obućina: Gudački kvartet in G (izvođači: Teo Devčić, Matea Kasaić Drakšić, Tin Reba, Lucija Mušac); 7. Stipe Bakić: Portret 3 za glas i klavir (izvođači: Rea Veseli, Stipe Bakić); 8. Maro Morača: Kyouki za klavir (izvođač: Maro Morača); 9. Svit Štarkl: Koncert za marimbu i klavir (izvođači: Svit Štarkl, Vitomir Janez Zagode; 10. Ivan Hlebić: Minijature za dobro prepariranu ruku (izvođač: Dina Katnić; instrumentarij: mag. educ. art. Adela Mesić, kiparica); 11. Karla Sever: Mjeseca srpnja za glas i klavir (izvođači: Darija Gazdek, Božo Letunić); 12. Karla Sever: Opomena za glas i klavir (izvođači: Dorian Stipčić, Božo Letunić); 13. Matea Koren: Noć za glas i klavir (izvođači: Marija Jurić Kralj, Božo Letunić); 14. Lovro Žagar: ...frühling... za ansambl (izvođači: Ana Kovačev, Lujka Obratov, Livia Glavinović, Jan Plevko, Marta Burazer, Bruno Laktaš, Lovro Ćutić, Karlo Dijanić, Marin Benja, Svit Štarkl, Olena Antošina, Ivan Brigljević, Nika Zubac, Michael Heaton, Paulina Tuhtan, Sara Nikolina Čehić, Ina Kumer, Nina Lucia Perina, Regine Korbar, Marko Rajtora; dirigent: Lovro Žagar); 15. Fabijan Košćak: Pet pjesama na japanske tekstove Matsua Bashōa za mezzosopran, flautu, violoncello, udaraljke i klavir (izvođači: Ana Kovačev, Janko Franković, Tena Maletić Vedernjak, Fabijan Košćak, Franko Štrbac)

Virtuoso : Mladi hrvatski skladatelji (studenti Muzičke akademije Sveučilišta u Zagrebu, 18. 5. 2023.)

Četvrti dio snimke koncerta iz ciklusa Virtuoso održanog na Muzičkoj akademiji u Koncertnoj dvorani "Blagoje Bersa" 18. 5. 2023. Na koncertu su praizvedene skladbe studenata koji pohađaju kolegij Osnove kompozicije. Izvođači: Ana Kovačev (flauta, piccolo), Božo Letunić, v. umj. sur. (klavir), Bruno Laktaš (rog), Darija Gazdek (sopran), Dina Katnić, mag. mus. (klavir), Dorian Stipčić (bariton), Fabijan Košćak (klavir), Franko Štrbac (udaraljke), Ina Kumer (viola), Iskra Silvestri Valdevit (klavir), Ivan Brigljević (timpani), Jan Plevko (klarinet), Janko Franković, mag. mus. (violončelo), Karlo Dijanić (tuba), Karlo Furić-Glavić (klavir), Livia Glavinović (oboa), Lovro Ćutić (truba), Lucija Mušac (violončelo), Lujka Obratov (flauta), Luka Škrlec (klavir), Marija Jurić Kralj (sopran), Marin Benja (udaraljke), Marko Rajtora (kontrabas), Maro Morača (klavir), Marta Burazer (bas klarinet), Marta Švirtlich (flauta), Matea Kasaić Drakšić (violina), Michael Heaton (violina), Nika Zubac (violina), Nina Lucia Perina (violončelo), Nora Mamić (klavir), Olena Antošina (udaraljke), Paulina Tuhtan (violina), Rea Veseli (sopran), Regine Korbar (violončelo), Sara Nikolina Čehić (viola), Stipe Bakić (klavir), Svit Štarkl (udaraljke), Tana Michl (klarinet), Tena Maletić Vedernjak (mezzosopran), Teo Devčić (violina), Tin Reba (viola), Vitomir Janez Zagode (klavir). Dirigent: Lovro Žagar. Mentori: red. prof. art. Srećko Bradić (studenti kompozicije, t. 1., 2., 3., 6., 7., 8., 9., 10., 14. i 15.), red. prof. art. Srđan Dedić (studenti kompozicije, t. 4., 5., 11., 12. i 13.), doc. art. Ivan Josip Skender (t. 14.), doc. art. Julia Gubajdullina (t. 15.). Program: 1. Kristina Matković: Burlesque za klavir (izvođač: Karlo Furić-Glavić); 2. Kristina Hrenek: Lorenzo na terasi za flautu, klarinet i klavir (izvođači: Marta Švirtlich, Tana Michl, Iskra Silvestri Valdevit); 3. Jure Černeha: Suita za klavir (izvođač: Luka Škrlec); 4. Matea Koren: Flötenstück / Stavak za flautu (izvođač: Ana Kovačev); 5. Šime Buha: Četiri stavka za klavir (izvođač: Nora Mamić); 6. Lorna Obućina: Gudački kvartet in G (izvođači: Teo Devčić, Matea Kasaić Drakšić, Tin Reba, Lucija Mušac); 7. Stipe Bakić: Portret 3 za glas i klavir (izvođači: Rea Veseli, Stipe Bakić); 8. Maro Morača: Kyouki za klavir (izvođač: Maro Morača); 9. Svit Štarkl: Koncert za marimbu i klavir (izvođači: Svit Štarkl, Vitomir Janez Zagode; 10. Ivan Hlebić: Minijature za dobro prepariranu ruku (izvođač: Dina Katnić; instrumentarij: mag. educ. art. Adela Mesić, kiparica); 11. Karla Sever: Mjeseca srpnja za glas i klavir (izvođači: Darija Gazdek, Božo Letunić); 12. Karla Sever: Opomena za glas i klavir (izvođači: Dorian Stipčić, Božo Letunić); 13. Matea Koren: Noć za glas i klavir (izvođači: Marija Jurić Kralj, Božo Letunić); 14. Lovro Žagar: ...frühling... za ansambl (izvođači: Ana Kovačev, Lujka Obratov, Livia Glavinović, Jan Plevko, Marta Burazer, Bruno Laktaš, Lovro Ćutić, Karlo Dijanić, Marin Benja, Svit Štarkl, Olena Antošina, Ivan Brigljević, Nika Zubac, Michael Heaton, Paulina Tuhtan, Sara Nikolina Čehić, Ina Kumer, Nina Lucia Perina, Regine Korbar, Marko Rajtora; dirigent: Lovro Žagar); 15. Fabijan Košćak: Pet pjesama na japanske tekstove Matsua Bashōa za mezzosopran, flautu, violoncello, udaraljke i klavir (izvođači: Ana Kovačev, Janko Franković, Tena Maletić Vedernjak, Fabijan Košćak, Franko Štrbac)

Virtuoso : Mladi hrvatski skladatelji (studenti Muzičke akademije Sveučilišta u Zagrebu, 18. 5. 2023.)

Prvi dio snimke koncerta iz ciklusa Virtuoso održanog na Muzičkoj akademiji u Koncertnoj dvorani "Blagoje Bersa" 18. 5. 2023. Na koncertu su praizvedene skladbe studenata koji pohađaju kolegij Osnove kompozicije. Izvođači: Ana Kovačev (flauta, piccolo), Božo Letunić, v. umj. sur. (klavir), Bruno Laktaš (rog), Darija Gazdek (sopran), Dina Katnić, mag. mus. (klavir), Dorian Stipčić (bariton), Fabijan Košćak (klavir), Franko Štrbac (udaraljke), Ina Kumer (viola), Iskra Silvestri Valdevit (klavir), Ivan Brigljević (timpani), Jan Plevko (klarinet), Janko Franković, mag. mus. (violončelo), Karlo Dijanić (tuba), Karlo Furić-Glavić (klavir), Livia Glavinović (oboa), Lovro Ćutić (truba), Lucija Mušac (violončelo), Lujka Obratov (flauta), Luka Škrlec (klavir), Marija Jurić Kralj (sopran), Marin Benja (udaraljke), Marko Rajtora (kontrabas), Maro Morača (klavir), Marta Burazer (bas klarinet), Marta Švirtlich (flauta), Matea Kasaić Drakšić (violina), Michael Heaton (violina), Nika Zubac (violina), Nina Lucia Perina (violončelo), Nora Mamić (klavir), Olena Antošina (udaraljke), Paulina Tuhtan (violina), Rea Veseli (sopran), Regine Korbar (violončelo), Sara Nikolina Čehić (viola), Stipe Bakić (klavir), Svit Štarkl (udaraljke), Tana Michl (klarinet), Tena Maletić Vedernjak (mezzosopran), Teo Devčić (violina), Tin Reba (viola), Vitomir Janez Zagode (klavir). Dirigent: Lovro Žagar. Mentori: red. prof. art. Srećko Bradić (studenti kompozicije, t. 1., 2., 3., 6., 7., 8., 9., 10., 14. i 15.), red. prof. art. Srđan Dedić (studenti kompozicije, t. 4., 5., 11., 12. i 13.), doc. art. Ivan Josip Skender (t. 14.), doc. art. Julia Gubajdullina (t. 15.). Program: 1. Kristina Matković: Burlesque za klavir (izvođač: Karlo Furić-Glavić); 2. Kristina Hrenek: Lorenzo na terasi za flautu, klarinet i klavir (izvođači: Marta Švirtlich, Tana Michl, Iskra Silvestri Valdevit); 3. Jure Černeha: Suita za klavir (izvođač: Luka Škrlec); 4. Matea Koren: Flötenstück / Stavak za flautu (izvođač: Ana Kovačev); 5. Šime Buha: Četiri stavka za klavir (izvođač: Nora Mamić); 6. Lorna Obućina: Gudački kvartet in G (izvođači: Teo Devčić, Matea Kasaić Drakšić, Tin Reba, Lucija Mušac); 7. Stipe Bakić: Portret 3 za glas i klavir (izvođači: Rea Veseli, Stipe Bakić); 8. Maro Morača: Kyouki za klavir (izvođač: Maro Morača); 9. Svit Štarkl: Koncert za marimbu i klavir (izvođači: Svit Štarkl, Vitomir Janez Zagode; 10. Ivan Hlebić: Minijature za dobro prepariranu ruku (izvođač: Dina Katnić; instrumentarij: mag. educ. art. Adela Mesić, kiparica); 11. Karla Sever: Mjeseca srpnja za glas i klavir (izvođači: Darija Gazdek, Božo Letunić); 12. Karla Sever: Opomena za glas i klavir (izvođači: Dorian Stipčić, Božo Letunić); 13. Matea Koren: Noć za glas i klavir (izvođači: Marija Jurić Kralj, Božo Letunić); 14. Lovro Žagar: ...frühling... za ansambl (izvođači: Ana Kovačev, Lujka Obratov, Livia Glavinović, Jan Plevko, Marta Burazer, Bruno Laktaš, Lovro Ćutić, Karlo Dijanić, Marin Benja, Svit Štarkl, Olena Antošina, Ivan Brigljević, Nika Zubac, Michael Heaton, Paulina Tuhtan, Sara Nikolina Čehić, Ina Kumer, Nina Lucia Perina, Regine Korbar, Marko Rajtora; dirigent: Lovro Žagar); 15. Fabijan Košćak: Pet pjesama na japanske tekstove Matsua Bashōa za mezzosopran, flautu, violoncello, udaraljke i klavir (izvođači: Ana Kovačev, Janko Franković, Tena Maletić Vedernjak, Fabijan Košćak, Franko Štrbac)