U ovoj disertaciji istražuju se multimodalne diskurzivne strategije u devet prvih videoblogdnevnika
popularnih hispanoameričkih videoblogera objavljenih na internetskoj platformi
YouTube. Na spojnici između sociosemiotičke teorije komunikacije i multimodalne interakcijske
analize diskursa s jedne strane, i teorijskih spoznaja digitalne humanistike i računalno
posredovanog diskursa s druge strane, u radu se ustanovljuje i analizira djelovanje:
(i) intermodalnosti temeljnih komunikacijskih modusa – verbalnoga, vizualno-kinetičkoga,
montažnoga i digitalnoga – i visokokontekstualiziranih multimodalnih radnji u uvodnim i
završnim tekstnim sekvencama, te (ii) njihov uzajaman i neprekidan odnos sa semiotičkim
potencijalima digitalne platforme YouTube. Pristupom analizi iz mikro- i makroperspektive
sagledavaju se kohezivne spone između najnižih interakcijskih dimenzija – komunikacijskih
modusa i radnji koje videoblogeri koriste – i semiotičkih potencijala platforme koji uvjetuju
mogućnosti djelovanja interaktivnih radnji. Promatranjem videoblogera kao društvenih aktera i
komunikacijskih modusa kao kulturnih/društvenih alata (prema Norris, 2004) kojima se koriste, u
radu se detektiraju i opisuju ključni trenuci za ostvarivanje interpersonalnih odnosa i uključivanje
gledatelja u interakcijski proces.
Rad je rezultat nekoliko etapa istraživačkoga djelovanja te je upravo na takav način i strukturiran
njegov središnji dio:
U drugome poglavlju donosimo pregled ishodišta multimodalnosti, temeljnih pretpostavki te
sistematiziramo pristupe multimodalnim artefaktima kroz opsežan popis literature. Zatim se
usmjeravamo na sociosemiotiku, sistemsku funkcionalnu multimodalnu analizu diskursa (SFMAD)
i interakcijsku multimodalnu analizu (IMA) na čijim zasadama gradimo vlastito shvaćanje
višedimenzionalnosti multimodalnosti i razgranatosti multimodalnih projekata. Stoga se temeljna
postignuća u ovome poglavlju tiču sistematizacije širokoga polja multimodalnih teorija
komunikacije, njihovih zajedničkih i različitih pristupa istraživanjima jezika i ljudske semioze
(prema Adami, 2016; Jewitt, 2009; Jewitt et al., 2016; Lim, 2011; O'Halloran, 2011; O'Halloran i Smith, 2011; i dr.).
Treći dio rada obuhvaća opsežnu raspravu o kontekstu i procesu videoblogiranja, što uključuje
predstavljanje temeljnih osobina novomedijske interakcije i tekstova. Polazeći primarno iz perspektive sociosemiotičkih dimenzija i tehnološko-interakcijskih afordansi, osnovni doprinos
ovoga poglavlja ogledava se u sistematizaciji rasprava o osobitostima digitalnih tekstova i
interakcija, strukturnim i funkcionalnim obilježjima platforme YouTube i videoblogova.
Temeljna pitanja koja se obrađuju tiču se rekonfiguriranja modela tekstova i interakcijskih praksi
(Adami, 2009a; Baldry i Thibault, 2006; Benson, 2017; Jewitt, 2012; Lemke, 2002 i dr.),
stupnjevanja, nelinearnosti i modularnosti pisanih, vizualnih, grafičkih i audiovizualnih
reprezentacija (Adami, 2009a; Benson, 2017; Domingo et al., 2014; Lemke, 2002; Jewitt, 2012;
Martinec i van Leeuwen, 2009; i dr.), razumijevanja i definiranja žanra videoblog-dnevnika.
Četvrti dio rada posvećen je, prije svega, općim pitanjima o istraživanjima digitalnog
(audiovizualnog) teksta, multimodalnim transkriptima i metodološkim koracima i kriterijima.
Dizajn analitičke faze sastoji se od predstavljanja praćenja videoblogerskih praksi i osvrta na
pilot-projekte, zatim predstavljanja alata i koncepata kojima se gradi kvalitativno multimodalno
istraživanje, konačne selekcije korpusa i prikaza korpusa u multimodalnom transkriptu. Ovo
poglavlje doprinos je studijama i raspravama o aktualnom pitanju e-metodologija (digitalnih
metodologija), o oblicima multimodalnih transkripata i kvalitativnih istraživanja multimodalnih
fenomena.
Peto poglavlje disertacije obuhvaća analizu multimodalnih strategija na korpusu devet videoblogdnevnika.
Kvalitativnim istraživanjem interakcije razotkrili su se načini na koje videoblogeri
manipuliraju interakcijskim digitalnim praksama i privlačenjem pozornosti publike. U analizi su
primijenjeni koncepti intermodalnost modusa, visoko stupnjevana i niže stupnjevana radnja,
fokus u interakciji i interakcijska percepcija preuzeti iz IMA-e (Norris, 2004) u kombinaciji s
diskursno-pragmatičkim rutiniranim strukturama u uvodnim i završnim sekvencama videoblogdnevnika.
Među ostalim spoznajama, analiza je ukazala na strukturna i funkcionalna obilježja
verbalnih, paraverbalnih, vizualnih, vizualno-kinetičkih i montažnih sredstava pri strukturiranju
multimodalne radnje i videoblogerovom (pre)usmjeravanju interakcijskog fokusa. Ustanovljeno je da se manipulacija multimodalnim mehanizmima uvelike temelji na: (i) eksplicitnim i
implicitnim strategijama verbovizualnog upućivanja na kontekst, sudionike i interakcijske
procese, što uključuje i raznolike oblike humorističnog pozicioniranja, te na (ii) strategijama
ponavljanja i intenziviranja multimodalnih radnji unutar istoga videobloga – multimodalne
redundancije. Donosilo se zaključke o (pre)usmjeravanju fokusa u audiovizualnom hipertekstu na temelju kompleksnosti i intenziviranja multimodalnih radnji, taktičkog odnosa prema fizičkom i
digitalnom prostoru i vremenu pri ostvarivanju upućivačkih radnji, realiziranja metajezičnosti i
metavizualnosti itd.
Rad ima za cilj doprinijeti teorijskim i analitičkim spoznajama multimodalnih studija, naročito
onim aspektima koji se tiču multimodalnih prikaza i dizajna analize intermodalnih odnosa,
primjene kombinirane multimodalne metodologije i koncepata IMA-e na videoblog-dnevnike.
Osim toga, pitanja kojih se dotičemo važna su za šire područje digitalne humanistike,
kiberpragmatike, ali i obrazovanja. Naime, u radu se polazilo i od stajališta da je razumijevanje
suodnosa komunikacijskih resursa i djelovanja multimodalne retorike zastupljene u
audiovizualnim hipertekstovima od temeljnog značaja u kontekstu osvještavanja važnosti
multimodalne pismenosti i njezine implementacije (prema Cope i Kalantzis, 2000a), kao i
raspoznavanja obrazaca i kritičkog sagledavanja digitalnih tekstova i praksi.This thesis explores multimodal discourse strategies in nine video blog diaries by popular
Hispanic video bloggers published on the YouTube Internet platform as their first video blog
entries. It combines perspectives of Social Semiotic theory of communication and Multimodal
(Inter)actional Analysis, on one side, and theoretical findings of digital humanities and computer
mediated discourse, on the other side. The paper is aimed at detecting and analyzing the
functioning of:
(i) the intermodality of primary communicative modes – verbal, visual, kinetic, graphic and
digital – and highly contextualized multimodal actions in the opening and closing textual
sequences; and (ii) their mutual and continuous relation with semiotic potentials of the YouTube
platform. This basic research paradigm assumes observing the cohesive ties between low-level
interactional dimensions – i.e. communicative modes that video bloggers use – and semiotic
potentials of the platform which determine the possibilities of the multimodal actions. Viewing
the video bloggers as social actors and communicative modes as cultural and social tools used by
vloggers (cf. Norris, 2004), this work analyzes key events for establishing interpersonal relations
and involvement of viewers in the interactional process.
The work is a result of several research stages which, in effect, shaped the structure of its main
body: The second part of the text represents the overview of multimodality foundations, basic
assumptions, systematizations of approaches towards multimodal artefacts through extensive
literature review. Afterwards, the focus shifts to Social Semiotics, Systemic Functional
Multimodal Discourse Analysis (SF-MDA) and Interactional Multimodal Analysis (IMA). On the
basis of these theories, we are developing our understanding of complexity of multimodality and
diversity of multimodal research. Therefore, the primary achievements of this chapter are related
to the classification of a wide array of multimodal theories of communication, as well as their
common and distinctive approaches to exploring human languages and semiosis (see Adami,
2016; Jewitt, 2009; Jewitt et al., 2016; Lim, 2011; O'Halloran, 2011; O'Halloran and Smith, 2011;
etc.).
The third part of the work consists of a broad discussion on context and process of video
blogging, and representation of the basic characteristics of digital interactions and texts. Starting
from the perspective of social semiotic dimensions and techno-interactional affordances, the main contribution in this chapter is the systematization of discussions of characteristics found in digital
texts and interactions, structural and functional features of the platform and video blogs. The key
questions are related to: reconfigurations of texts and interactional practices (Adami, 2009a;
Baldry and Thibault, 2006; Benson, 2017; Jewitt, 2012; Lemke, 2002; Sindoni, 2013 etc.), nonlinear
and modular written, visual, graphic and audiovisual representations (Adami, 2009a;
Benson, 2017; Domingo et al., 2014; Lemke, 2002; Jewitt, 2012; Martinec and van Leeuwen,
2009; etc), and the understanding and definition of videoblog-diary as a genre.
The fourth part of the thesis deals with general questions on researching audiovisual digital texts,
multimodal transcripts and methodological steps and criteria. The design of the analytical phase
consists of presenting tools and concepts that make up the qualitative research, following
videoblogging practices, assessment of different methodological approaches through pilot
projects, final selection of the corpus and representation of the corpus in the multimodal
transcript. This chapter contributes to the current discussion on the question of e-methodologies,
multimodal transcripts and qualitative analyses of multimodal phenomena.
The fifth part of the body of the thesis is the analysis of the multimodal strategies of the selected
nine video blog-diaries. Qualitative research of the interaction demonstrated the tactics which are
used by video bloggers to capture the viewer’s attention and manipulate digital interactive
practices between them and the audience. The analysis utilizes concepts of intermodality of
modes, high-and low-level actions, focus in interaction and interactional perception as defined
within IMA framework (Norris, 2004), combined with ritualized discourse-pragmatic structures
in the opening and closing sequences of video blog-diaries. Among other findings, the analysis
showed the structural and functional features of verbal, paraverbal, visual, kinetic and digital/
graphic elements used to compose multimodal actions and guide the video blogger’s steering of
interactional focus. It is determined that the manipulation of multimodal mechanisms is
commonly based on: (i) explicit and implicit strategies of verbal and visual pointing to the
context, participants and interactive processes, which includes elements of humor; and (ii) repetition strategies and emphasis of certain multimodal actions within the same video blog –
multimodal redundancy. The conclusions on steering the focus in the text have been taken by
following the complexity and intensity of multimodal actions taken by the vloggers, their tactical
relations towards the physical and digital space and time while they are making choices on the
use of deixis and referential structures, metalinguistic and metavisual strategies, etc. The objective of this thesis is to contribute to the theoretical and analytical findings of
multimodal studies, especially to the aspects related to multimodal representations, design of
multimodal relations, and the application of combined multimodal methodologies and IMA
concepts to video blog-diaries. Moreover, the results presented here are relevant for digital
humanities, cyberpragmatics and education. Specifically, in our work, the crucial perspective was
that understanding the relation between communicative resources and the impact of multimodal
rhetoric in audiovisual hypertexts is vital for increasing awareness of multimodal literacy and its
implementation (Cope and Kalantzis, 2000a), as well as recognizing the patterns of digital
interactions and a critical view towards digital texts and practices
