Multimodalnost i usvajanje engleskog jezika

1. Što je multimodalnost?

Modalitet je model za dizajniranje stvarnosti.
(G. Kress i T. van Leeuwen)

Slika je tekst. Točnije, vizualni i verbalni elementi podjednako su važni. U tom su smislu implikacije multimodalnog zaokreta značajne zbog semiotičke redefiniranosti teksta posredstvom multimedije. Tekst je mnogo više od lingvističkog fenomena jer način na koji su modusi organizirani u sadržaju uspostavlja prepoznatljivo značenje unutar kulturološkog okvira.

Mnogi autori uviđaju da je tekst raznovrstan, odnosno multimodalan. Riječ je o sistemu nastalom uslijed realizacije integriranih modusa koji donose određeno značenje, poput pisma, audio- i videozapisa, fotografije i tome slično. Prvenstveno, novija su preispitivanja tradicionalnog poimanja teksta zauzela stav da se slično razumijevanje može postići iz komunikacijskih sistema različitih od samog jezika. Knjige Analysing Media Text (Burn i Parker 2003), te Reading Images (Kress i van Leeuwen, 2014) utemeljile su put ovakvog razmišljanja.

1.1. Gramatika vizualnog dizajna: kratki pregled dosadašnjih istraživanja

Na pitanje Koja su svojstva multimodalnog teksta, odgovor nude Kress i van Leuween (1996) te Burn i Parker (2003). Ovi su autori uočili potrebu za promatranjem svojstava digitalnog teksta. U najširem smislu ovakvo promišljanje predstavlja pomak od strukture, odnosno jezika i tradicionalnog teksta, prema aktivnom odabiru kojim korisnici sami određuju značenja. Stoga se model semiotičke analize ne odnosi samo na tekst, već i na interakciju između teksta, njegovog dizajnera i, jasno, korisnika. Stoga, kada govorimo o multimodalnoj teoriji, govorimo o integriranju značenja te komunikacijskim formama teksta putem raznih semiotičkih kanala. Njih nazivamo modusima. Modusi su društveno i kulturološki oblikovani, a svojom organizacijom u tekstu stvaraju ono što se ne može doslovno proizvesti. Kress moduse naziva metaforičkom optičkom iluzijom, pomoću njih se, kaže Burn, stvara određeni trompe-l'oeil. Tako multimodalnost doprinosi slici s aspekta interakcije, komunikacije, ali i kulturološke interpretacije. Što to točno znači opisuju tri aspekta multimodalnosti. Prvi je, socijalna teorija komunikacije, a središnja mu je ideja da naša komunikacija ne ovisi samo o semiotičkim izvorima i njihovoj dostupnosti, već i o društvenom i kulturološkom kontekstu (Burn i Parker, 2003). Drugi je funkcionalna teorija koja je svoj oslonac u potpunosti pronašla u Lemkeu. Konstatirane su tri osnovne funkcije multimodalne teorije: (a) reprezentacijska, koja predstavlja neki vid stvarnosti, (b) orijentacijska, koja uspostavlja vezu između onih koji komuniciraju (situirani razgovor ili interakcija stvarnih i fikcionalnih likova), te (c) organizacijska, koja se odnosi na koherentnu formu konceptualno i strukturalno ujedinjene komunikacije (Burn i Parker, 2003: 6). Preklapanje ovih funkcija naziva se komunikativnom slojevitošću (engl. communicative strata). Četiri su razine takve slojevitosti: diskurs, dizajn, produkcija i distribucija. Diskurs je koordiniran komunikativnim obrascima, a uočavamo ga kod interpretacije teksta. Dizajn nije ništa drugo nego izbor modusa. Doista, jezikom ćemo priču ispričati, a slikom ćemo je prikazati, što čini značajnu razliku. Dalje, produkcija podrazumijeva odabir materijalnog medija, jer on je nužan za realizaciju modusa. Kada smo jednom odabrali priču, potreban nam je nečiji glas da je ispriča, a ukoliko je pišemo, važno je čime i na čemu ćemo pisati. Produkcija je tim izraženija kod digitalnih medija jer oni ne pružaju samo raznovrsnost u estetskom smislu, već nude načine da se elementi teksta redizajniraju (Schnotz, 2005). I na koncu, distribucija, koja se odvija pomoću tehnologije te vrši diseminaciju i transformira tekst, s obzirom na osobitu prirodu digitalnih medija. Treći se aspekt multimodalnosti odnosi na gramatiku vizualnog dizajna. Kress i van Leeuwen koriste termin gramatika jer slika, poput teksta, podliježe nekim „jezičnim“ pravilima: „U vizualnoj semiotici obično se proučavaju elementi vizualnih artefakata, (...) ono što se u lingvistici smatra leksikom“ (Schnotz, 2005.). Isto tako, autori koriste i sintagmu vizualna pismenost, čime se pretpostavlja razumijevanje semiološke socijalne teorije u smislu međudjelovanja slike i teksta.

Međutim, Burn i Parker upozoravaju da termin pismenost nesumnjivo asocira na jezik. Stoga je potrebno naglasiti dva aspekta ovog termina. Jedan se odnosi na razumijevanje i proizvodnju teksta, a drugi na kulturološke kompetencije u širem smislu. Ipak, vizualnu pismenost ne treba miješati s izrazom digitalna pismenost, koji sugerira komunikativne vještine u domeni određenih digitalnih medija. O tome je bilo riječi u knjizi Karen Mossberg Digital citizenship (2007), u kojoj autorica podastire čak devet različitih sintagmi vezanih uz „digitalno državljanstvo“, unutar koncepta REP (respect, educate, protect). Dodatno komplicira situaciju i treći termin, medijska pismenost. Neki ga autori koriste da bi opisali sposobnost kritičkog čitanja medijskog teksta. Važno je spomenuti da je u obrazovanju taj termin kompleksniji i odnosi se na sposobnost proizvodnje i analize teksta, odnosno na doseg njegove interpretativne razine.

1.2. Multimodalni tekst

O intenzivnoj povijesti razvoja informatičke tehnologije posljednjih je godina bilo mnogo riječi, a multimodalni tekst itekako u njoj nalazi svoje mjesto. Nekoliko navedenih primjera upozorit će na potrebu drugačijeg promišljanja teksta, kako u digitalnoj sferi, tako i izvan nje.

Za početak, razmotrit će se e-poruka. Kontekst u kojem nalazimo takvu poruku digitalan je, a način na koji se do nje dolazi putem zaslona i niza vizualnih elemenata u vidu ikoničnih reprezentacija upućuje na njezinu multimodalnost. Na primjer, raspoloženje pošiljatelja može se dočarati pomoću emotikona, interpunkcije, velikih i malih slova, koja u digitalnom žargonu imaju svoja osobita značenja, te raznim drugim modusima. Zapravo, komunikacija e-poštom vrlo je nalik situiranom razgovoru pa tako i sadrži slične elemente. Gotovo je nemoguće pisati, slati ili primati poruke monomodalno. Najbolje će se to opisati okrene li se tvrdnja slika je tekst u tekst je slika. Neka u kontekstu odnosa slika-tekst posluži primjer intervencije u dizajnu fotografije. Ona može znatno utjecati na njezinu poruku. Na primjer, crno-bijela tehnika može se svrhovito koristiti kako bi se dočarao osjećaj prošlosti, odnosno proizveo određeni stilski dojam (slika 1).

Zatim, s obzirom na ekspanzivni doseg interneta, pri analiziranju mrežnih stranica otvaraju se novi znanstveni vidici za raspravu društvene uvjetovanosti u semiotičkom smislu. Facebook, Instagram ili YouTube samo su neki od primjera kako platforme putem čitavog niza multimodalnih elemenata komuniciraju s korisnicima. Jedan od primjera je blogosfera. Način na koji će bloger odabrati predložak, dakle, font, boje ili audio- i videopoveznice, refleksija je društvenog konteksta unutar kojeg, ali i za koji, je blog dizajniran. Točnije, određeni stil sugerira politiku izbora, odnosno odražava identitet njegova dizajnera. Stoga Domingova i Kressova komparativna analiza dvaju kulinarskih blogova potvrđuje da „dizajn-kao-politika-izbora predstavlja uvid u društveno pozicioniranje osobe unutar tehnološke dostupnosti“ (2014). Nadalje, Burnova teorija kineikonic govori o multimodalnoj analizi u području filma (2014). Na istom su tragu Bateman i Schmidt (2014); Film je ispunjen semiotičkim izvorima poput teksta, zvuka i pokretnih slika Komplementarni utjecaj svih modusa povezuje se, odnosno semiotički su izvori podijeljeni na orkestrirajuće i kontributivne, uz mogućnost njihova daljnjeg proširivanja (slika 2). Doista, Jewitt napominje da se ta teorija može primijeniti i u videoprodukciji, digitalnoj animaciji, videoigricama i sličnim multimodalnim tekstovima (2005).

Na kraju, ne zaboravimo druga područja koja svoje uporište nalaze u multimodalnoj teoriji, a ne odnose se nužno na digitalno proizvedeni tekst. Primjeri koje ćemo navesti su: govor tijela, stilistika i moda. Tako Jewitt raspravlja o gestikulaciji kao o „parajeziku koji prati govor, komunikativan je i teško odvojiv od onog izgovorenog“ (2005). Govor tijela ima određena konotativna svojstva koja na semiotičkoj razini evociraju naše razumijevanje pa tako utjelovljuju multimodalnost na komunikativnoj razini. Dalje, Buljubašić smatra da je tekst komunikacijski i semiotički redefiniran: „Multimodalni tekstovi su dakle oni u kojima se odvija interakcija i integracija dvaju ili više semiotičkih resursa – ili modusa komunikacije – da bi se postigle komunikativne funkcije teksta“ (2016). Autorica multimodalnost proširuje na područje stilistike pa u svjetlu rasprave Kressa i van Leuweena svoja razmatranja potkrjepljuje primjerom Carićeva romana „Otok“, koji smatra prototipskim multimodalnim romanom: „Značenje verbalnih i neverbalnih elemenata skupljenih među koricama knjige pod ravnanjem tog kolekcionara/aranžera/naratora se resemiotizira, a roman se fikcionalizira već samim izborom elemenata iz „stvarnosti“, njihovim raspoređivanjem, uređivanjem, nadogradnjom i značenjskom integracijom s ostalim, fiktivnim elementima, (...) s više desetaka (stranica) neverbalnih semiotičkih resursa, koji aktivno doprinose izgradnji tekstualnog svijeta djela...“ (2016). Dakle, multimodalno ne znači nužno i digitalno. Kada je riječ o modi, tehnologiji i komunikaciji, medijacija ljudskog tijela značajna je za prijenos iz medija u medij. Fischer-Mirkin kaže da jezik mode ima svoju gramatiku i svoj medij – odjeću (1995.). S njim se slaže i Barnard koji vidi odijevanje kao označujuću praksu koja generira komunikaciju (2002). Reprezentacijski elementi, komunikološka veza i koherentnost forme upućuju na ranije spominjanu Lemkeovu funkcionalnu teoriju (1996). Upravo stoga što je kulturološki prepoznatljiv, jezik mode može poslužiti kao autoekspresija i iskaz individualnosti, odnosno manifestacija intimiziranog poimanja svijeta. Tako odjeća subkulture punk „psuje“, dok anime „govori“ infantilnim jezikom (slike 3‒5).

Razmišljajući na taj način postajemo svjesni da je ljudska komunikacija intrinzično multimodalna, te da multimodalni tekst podliježe semiotičkoj i kulturološkoj interpretaciji u raznim područjima. Također, računalno posredovana komunikacija iziskuje raspravu o društvenim implikacijama novih komunikacijskih procesa. Doista, svijet je postao digitalan, a internet se, kao izniman interval, zbio brzo i preobrazio našu kulturu.

2. Implikacije multimodalnog teksta u okviru globalnih komunikacijskih i multimedijalnih sustava

Mediji su postali doista globalno povezani, jer programi i poruke teku svjetskom mrežom i mi ne živimo u globalnom selu, nego u prilagođenim kolibama koje se proizvode globalno, a distribuiraju lokalno.
(M. Castells)

Na samom početku bitno je naglasiti da su Burn i Parker primijetili da se termin multimodalnost koristi s dva aspekta. Osim u smislu teorijske rasprave ovog rada, svoje mjesto pronalazi i u kompjutorskoj i telekomunikacijskoj sferi. Njime se opisuje višestruka specijaliziranost raznih naprava. Primjerice, naši mobilni telefoni ne služe samo za razgovor, već imaju pristup internetu, služe za gledanje filmova, slanje i primanje slika, navigaciju, orijentaciju i tako dalje. Kressovom terminologijom, multimedija je primjer „komunikološke slojevitosti teksta“. Jewitt pak pruža primjer online-novina i mobilnih aplikacija jer njihov dizajn, odnosno raspored multimedije, kao i odnos slike i teksta, utječu na odabir onog što se čita, a što Kress naziva vođenom rutom čitanja (2005; 2013). Isto tako, kao primjer interakcije sa sučeljem, Jewitt navodi mobilnu aplikaciju „Geographic Information System“ (GIS). Njome ilustrira kako organizacija teksta putem digitalne slojevitosti (npr. filmova i hiper-linkova) utječe na našu „navigaciju“ kroz tekst. O tome je bilo riječi i kod Lemkea; takvo digitalno multimodalno „oruđe“ ima snažan potencijal definiranja i rekonstruiranja vremena, prostora i našeg kretanja, stoga taj autor dodiruje pitanje njihova utjecaja na našu interakciju i iskustvo (1996).

Dva su kriterija pomoću kojih će se rasprava o multimodalnom tekstu produbiti na implikacije njegove primjene u okviru globalnih komunikacija. Prvi se odnosi na preispitivanje zajedništva i sebstva unutar Lemkeove funkcionalne teorije, čime se u kontekstu multimedije i interneta bave Burn i Parker te Jewitt. Drugi kriterij tiče se Castellsove rasprave na temu interaktivnosti i identiteta, u okviru socijalne semiotike.

2.1. Interaktivni identitet i zajedništvo

Ranije je pojašnjeno da pokret i gestikulacija pripadaju domeni multimodalne interakcije. Također je navedeno da je kod Lemkea bilo riječi o reprezentacijskoj i orijentacijskoj ulozi multimodalnog teksta. Stoga Burn i Parker na primjeru videoigre „Harry Potter and the Chamber of Secrets“ (Electronic Arts, 2002) konstatiraju da nam se kompjuterske igre obraćaju na način kako to ne čini ni jedan drugi tekst. Naime, multimodalnost videoigre ovisna je o modusima pomoću kojih se konstruira, točnije o naturaliziranom 3D vizualnom okruženju. U okviru kineikoničke teorije, spomenuti autori proučavaju moduse, ali i njihove učinke na zajedništvo, odnosno „zajedničko igranje“ s „avatarima“. Na primjer, modalitet „spaja Harryja i igrača“ te oni, putem orijentacijske strukture igrice, postaju „jedno“ (2003). Autori Burn i Parker tumače da avatar predstavlja lik kojeg unutar igrice kontrolira igrač. Time igrač postaje avatar. Sama riječ dolazi od sanskritske riječi koja označava silazak božanstva na zemlju u ljudskom obličju.

Isto tako, kada je riječ o orijentacijskom segmentu za uspostavu odnosa između onih koji komuniciraju, Jewitt uviđa povezanost fizičkog pokreta s digitalnom tehnologijom pa je usmjerila svoja istraživanja na interakciju između fizičkog i virtualnog tijela. U svjetlu Kressova postulata, da u istraživačkom fokusu mora postojati obrazac, i ova autorica analizira tjelesne manifestacije pri igranju videoigara, kako bi preispitala značenje sintagme igrati zajedno. Također, izuzev što promatra načine na koji digitalna tehnologija posreduje i uvjetuje ulogu tjelesnog pokreta, autorica se bavi i preispitivanjem društvene, online multimodalne interakcije između igrača i, ponovno, avatara. U tom smislu Jewitt navodi da digitalna tehnologija omogućuje proizvodnju i konzumiranje raznih „prikaznih identiteta“. Riječ je o analizi konstruiranja sebstva pomoću virtualnih identiteta, a posredstvom multimedije i interneta. Virtualni ili prikazni identiteti nastaju unutar odnosa između korisnika, koji je u tom smislu moguće ostvariti samo u zadanim okvirima omogućene društvene interakcije, npr. u kontekstu društvenih mreža. Dakle, Kress i van Leeuwen konstatiraju da multimodalni sistem čine znakovi oblikovani na način kojim se obraćaju određenom korisniku, odnosno društvenoj/kulturnoj grupi. Stoga se multimodalnost u sklopu digitalnog žanra može primijeniti kao istraživački princip oblikovanja digitalnih identiteta.

2.2. Globalna povezanost i diferencijacija

Ovdje je bitno ponoviti tvrdnju da je odabir modusa kulturološki determiniran te može ovisiti o njihovoj dostupnosti (engl. mode affordance). Dostupnost se odnosi na mogućnosti koje nam određeni modus pruža, na primjer pismo će nešto riječima opisati, a slika će to prikazati. Taj pak lokalni odabir modusa cilja na određenu publiku. Time kreiranje i konzumiranje multimedije u svjetlu globalne komunikacije dobiva nov značaj. Naime, širokopojasni pristup internetu preobražava identitet unutar tehnološke, tj. informacijske paradigme. Stoga je važno prisjetiti se Burna i Parkera koji naglašavaju da sami odabiremo aktivnosti pomoću kojih, zapravo, biramo ono što nam pruža zadovoljstvo, dajući tome određeno značenje i kreirajući tako i vlastite identitete. Što se pak zajedništva tiče, Castellsov sljedeći primjer upotpunjuje propitivanje tog pojma:

Novi elektronički mediji ne udaljavaju se od tradicionalnih kultura: oni ih apsorbiraju. Zanimljiv je slučaj japanskog izuma karaoka, (...) karaoke na prvi pogled nastavljaju i pojačavaju tradicionalni običaj zajedničkog pjevanja u barovima omiljen u Japanu (...) Karaoke stroj nije glazbeni instrument: stroj ‘guta᾿ pjevača koji nadopunjuje njegove zvukove i slike. U karaoke sobama postajemo dio glazbenog hiperteksta, fizički ulazimo u multimedijski sustav i pjevamo odvojeno od svojih prijatelja... (2000).

Naime, Castells promatra situaciju iz ugla temeljenog na kulturalnim studijama koje su preusmjerene na participaciju publike. Tako napominje kako je iz metodoloških razloga korisno raspraviti „društvene implikacije novih komunikacijskih procesa i unutar ograničenih podataka koji su nam dostupni“ (2000). Točno, možda zbog globalne povezanosti živimo u „globalnom selu“, u kojem je multimedija dostupna svakome. Međutim, autor time pruža uvid u činjenicu da odabir modusa za neku poruku uzrokuje određenu (ne)povezanost u komunikativnom smislu. U tome je bit semiotičke multimodalne teorije jer se, osim (lokalne) kulturološke dostupnosti modusa, sagledavaju i društvene implikacije. Castelles zaključuje kako ti obrasci označuju važno svojstvo. Riječ je o širokoj društvenoj i kulturalnoj diferencijaciji koja vodi segmentaciji korisnika/gledatelja/čitatelja/slušatelja. Poruke su tržišno segmentirane i slijede strategije pošiljatelja te se razlikuju s obzirom na potražnju korisnika medija te interaktivne mogućnosti (2002).

Budući da do sada raspravljane teze nisu jednoznačne ili linearne, one omogućuju oblikovanje prepoznatljivog mehanizma u korelaciji s ovim tvrdnjama. Dinamičnost procesa produkcije i interpretacije multimodalnog teksta poslužila je za raspravu u tom smislu. Svojim promišljanjem navedeni autori navode na zaključak kako je u fokusu rasprave interakcija koja oslikava društvenu i kulturalnu diferencijaciju i vodi segmentaciji korisnika, nastajanju identiteta te propitivanju zajedništva. Utoliko je izraženija potreba za kulturološkom interpretacijom teksta. Na koncu, Castells vrlo dobro opisuje komunikacijsku preklopljenost koja upravlja našim odabirom multimedije i odvija se, kako Kress napominje, „u hodu“ (engl. choice as we go): u kontekstu komunikacije primatelj misli da nešto odabire sam, dok je pošiljatelj poruku zapravo poslao s određenom namjerom, unaprijed kreirajući i predviđajući njegovu rutu.

3. Primjena multimodalnog teksta u nastavi engleskog jezika

Vizualni tekst, kao i drugi vizualni prikazi mogu potaknuti komunikaciju, razmišljanje i učenje jedino ako su u valjanoj interakciji s kognitivnim sustavom nekog pojedinca.
(W. Schnotz i R. Mayer)

Dosad iznesene rasprave generiraju potrebu za uspostavom prihvatljive norme, čiji se razvoj može teoretski sagledati i primijeniti u edukativnoj sferi. Novija istraživanja tako su se i preusmjerila. Radi se o multimodalnom tekstu kao valjanom metodološkom i didaktičkom predlošku pri učenju ili podučavanju jezika, uz neizostavnu asistenciju multimedije.

3.1. Uvid u istraživanja

Postoje razne edukacijske perspektive o mulitmodalnoj pismenosti. Još je Crystal tvrdio da je elektronička revolucija dovela i do lingvističke revolucije (2010). To znači da su znanstvenici odbacili neke „vrste“ jezika koje su imale određenu prednost pri učenju. Tako su Lewis (1993) i Widdowson (1979) potvrdili činjenicu da su udžbenici i dalje principijelno glavni materijali, jer „pismo“ uživa određeni „ugled“; ipak, iako su rečenice u udžbenicima ispravno formulirane, neupotrebljive su, jer su naprosto neprirodne. Mayer je postavio model za učenje pomoću multimedije, baziran na pretpostavci da je usvajanje bolje kada je materijal, uz riječi, prezentiran i slikama (1994). Te tvrdnje pružaju okvir za razmatranje multimodalnog teksta, osobito kad je riječ o korištenju više od jednog osjetila pri usvajanju jezika.

Kao prvo, Long, Firth i Wagner smatraju da je jezik kognitivni i društveni fenomen koji svoju praktičnu svrhu dobiva kada se koristi interaktivno (2003). „Uprizorenje“ stvarnog komunikacijskog konteksta i interaktivnost postići će se uz asistenciju medija. S konceptom podučavanja putem multimedije slažu se i Mayer i Sims (1994), a od osobite je važnosti i Schnotz koji uočava interakciju između vizualne pismenosti i individualnih kognitivnih struktura (2005). Kao drugo, u svjetlu vizualne informacije, Kress i van Leeuwen (1996) upozoravaju da novi tipovi teksta zahtijevaju drugačiju konceptualizaciju. Njihov rad naglašava jednakopravnost udjela važnosti teksta vizualnog naboja u odnosu na „tradicionalni“. Kress (2014) to jednostavno objašnjava: pisanje se bazira na logici govora, dok se slikovni prikazi podataka (engl. graphics) pouzdaju u logiku slike (engl. image). Kao posljedica, tvrdi, čitanje vizualne informacije uključuje posve drugačiji proces od čitanja pisane riječi. Treće, potrebno je osvrnuti se na rasprave koje zagovaraju komunikativnu formu s aspekta znanja te je smatraju smislenom i sigurnom metodom učenja. Unutar ovog okvira Buckingham, Sefton-Green i Sinker istražuju motivaciju učenika pri učenju pomoću multimedije u smislu istraživanja vlastitog svijeta, razvoja identiteta, ostvarivanja društvenih kontakata i tome slično (1996). Jednako je važan onaj dio Krashenove teorije kojim se podvlači razlika između učenja i usvajanja jezika te također zastupa komunikološki pristup (2002). Odličan primjer „okoliša za prikupljanje znanja i vještina na receptivnoj razini“ je film, a pomoću Burnove teorije, takav bi pristup omogućio raznolikost traženih perceptivnih svojstava za usvajanje jezika.

3.2. Metodologija

Što se tiče didaktičke primjene multimedije u nastavi, praktičnom se čini sljedeća analogija: ako imamo pravila za pisanje eseja, potrebno je postaviti i pravila za promatranje slike. Sljedeći primjeri asistiraju pri boljem razumijevanju i nadovezivanju na ovakav okvir. Burn i Parker istražuju Kressov vođeni put čitanja pri e–učenju, a nakana je autorice ovog rada da raspravu o multimodalnosti pretvori u istraživački princip. Autorica je koristila ovaj teorijski okvir i praktični pristup u dva svoja rada, „Visual Literacy: Modes and Media“ (Edward Bernays Communication Management Forum 2015, Zagreb), te „Film i slučajno usvajanje vokabulara engleskog jezika“ (Budućnost obrazovanja i obrazovanje za budućnost, 2016, Poreč).

Riječ je o usputnom usvajanju vokabulara engleskog jezika putem filmskog teksta. Takvo razmišljanje ne bi bilo moguće bez autora navedenih u ovome radu, koji ističu važnost vizualnog aspekta i rangiraju medijski tekst kao neizostavan pri mnogim ovakvim vrstama analize.

Primjer 1: „Chocolate Politics“ i vođeni put čitanja. Burn i Parker promatraju dvije mrežne stranice čija je osnovna funkcija predstaviti određeni proizvod, u ovom slučaju čokoladu, ali i ponuditi oblik e-učenja. Pri analizi autori su definirali dvije vrste teksta. Jedan je statičan, ovisno o odnosu između elemenata bez hipertekstualnih poveznica, a drugi dinamičan, ovisno o odnosu između hiperpovezanih elemenata. Također, vođeni su promišljanjima Kressa, van Leeuwena i Lemkea o analizi dizajna mrežnih stranica u smislu vođene rute čitanja. Stoga su odvojili semiotički tekst ili organizaciju modusa, odnosno znakove koji su prezentirani korisniku, od značenjskog teksta (eng. meaning text) koji predstavlja korisnikov interpretativni pokret kroz određeni slijed. Kress je te dvije vrste teksta nazvao „dvostrukom strukturom“ (engl. double structure). Na koncu, strukturi pogoduje vizualni dizajn unutar multimedijalnog teksta jer „tekst nudi implicitne rute kroz dizajn, a korisnik ih pak koristi kako bi kreirao svoj vlastiti put čitanja“ (Burn i Parker, 2003). U vidu istraživačkog principa, taj primjer može predstavljati valjani model za korištenje, ali i kritičko promatranje implikacija primjene multimedije pri učenju.

Primjer 2: Nastava: film i usputno usvajanje vokabulara engleskoga jezika. Autorica ovog rada provela je istraživanje u sklopu kolegija Engleski jezik. Teorijski okvir bile su tvrdnje preuzete od Sinkera, Sefton-Greena i Buckinghama, ali i mnogih drugih koji raspravljaju asistiranje filma pri zadovoljavanju direktnih i indirektnih faktora, neophodnih za procese učenja jezika. U ovom je slučaju riječ o usvajanju vokabulara na određenim jezičnim razinama pomoću filmskog teksta. S obzirom da na to su uvedene inovativne izmjene na metodološkom planu, dakle izmjena korpusa iz tradicionalnog u multimodalni tekst, promatralo se sljedeće: (a) korelacija između testiranog predznanja i riječi naučenih nakon tretmana filmskim tekstom; (b) korelacija između učestalosti ponavljanja riječi u tekstu i njihova usvajanja.

Rezultati su utvrdili da je razlika između rezultata pred-testa i post-testa statistički značajna. Također su pokazali da film može značajno doprinijeti općem znanju engleskog jezika, kao i usputnom usvajanju vokabulara. Međutim, korelacije između stupnja predznanja učenika i naučenoga vokabulara nije bilo, a nije je bilo ni u odnosu između broja ponavljanja riječi u filmu i njihova usvajanja. Bilo kako bilo, uspoređeni rezultati upozorili su na relevantnu dimenziju ovakvoga modela usvajanja jezika, ali ujedno i otvorili pitanje njegova integriranja i evaluacije u nastavi, kao i daljnjeg kritičkog sagledavanja implikacija medijskoga sadržaja u tom smislu.

Naposljetku, dva su navedena primjera samo dio koji upućuje na optimističku sliku multimedije u nastavi, u smislu čestog korištenja multimodalnog teksta. Stoga je neophodno napomenuti kako je potrebno učiniti iskorak od interaktivnog korištenja teksta prema promatranju načina na koji su modusi unutar njega konstruirani, te što oni donose u smislu značenja.

Zaključak

Upotreba informatičke tehnologije uzrokuje zaokret k slici, a tradicionalno poimanje teksta zamijenjeno je multimodalnim. Multimodalni tekst je sistem koji nastaje uslijed realizacije integriranih modusa. Odabir modusa uvjetuje recepciju kulturoloških koncepata koji se prenose nekim medijskim tekstom. Jednostavnije, modusi su kulturološki prihvatljivi i razumljivi. No, za razumijevanje vizualnog modusa potrebne su nove perspektive, npr. vizualnih, medijskih i filmskih studija jer „u suprotnom zadržavamo nekritičko tumačenje koje je implicitno nedopustivo s aspekta multimodalne analize“ (Burn, 2014).

Zašto bismo trebali usvojiti multimodalnost? Odgovor se nameće sam od sebe: zbog raznolikosti koje omogućuju korištenje velikog broja medija za razumijevanje, evaluaciju i kreiranje bogatijeg teksta. Termin vizualna pismenost predstavlja ključni istraživački princip koji je potrebno slijediti. Primjeri su ilustrirali pojedine vrste multimodalnog teksta u digitalnom i nedigitalnom smislu poput e-pošte, fotografije, bloga, romana, mode, filma, videoprodukcije, videoigara i gestikulacije.

Napokon, ovaj rad ukazuje na to da u obrazovnom smislu valja govoriti o djelovanju, a ne samo o strukturi. Preciznije, komunikološki je pristup ustanovio da jezik ima svoju praktičnu svrhu samo ako/kada se koristi interaktivno i unutar konteksta pa je tako neupitna potreba za uspostavom norme koja bi, u vidu modela korištenja multimedije, pretvorila multimodalnu teoriju u praksu. Taj je pristup razložen na dvama primjerima koji uspostavljaju moguće metode i didaktičke pristupe pri korištenju, ali i promatranju multimodalnog teksta pri učenju i usvajanju stranog jezika.

Nakana je ovog rada trojaka. Prvo, unutar multimodalnog teorijskog okvira razmotriti recentna teorijska promišljanja, izložiti teoriju multimodalnosti te pobliže objasniti moduse i multimodalni tekst. Drugo, proširiti raspravu na komunikativnu slojevitost i implikacije multimodlanog teksta u okviru globalnih komunikacija i multimedijskih sustava. Pritom nije riječ samo o poznavanju, nego i o razlikovanju multimedijalnog sadržaja ispunjenog kulturološkim semiotičkim referentnim izvorima. Stoga su navođeni i autori koji ističu interpretativnu analizu implikacija globalne umreženosti. Treće, omogućen je pragmatički pristup vizualnoj pismenosti uz pretpostavku korištenja multimedije, tj. multimodalnog teksta u nastavi. Naposljetku, naglašena je potreba širenja rasprave koja bi u središte pozornosti stavila promatranje i razumijevanje nastalih odnosa i koja bi uključivala i pragmatičnu i interpretativnu perspektivu. Upravo time zaokružen je značaj sintagme vizualna pismenost, koja tek u okviru obrazovanja dobiva svoj puni smisao.

Literatura

1. Bateman, J. A. - Schmidt, K.-H., (ur.) (2014): Multimodal Film Analysis: How Films Mean, Routledge, New York
2. Barnard, M. (2002): Fashion Statements: Communication and Culture (veljača 2017)
3. Bordwell, D.: Historical Poetics of Cinema, iz: The Cinematic Text, No 3. Georgia State Literary Studies (studeni 2014)
4. Buckingham, D. (1996): Moving Images: Understanding Children's Emotional Response to Television, Manchester University Press, Manchester, cf.: Julian Sefton-Green, Rebecca Sinker, ed.: Evaluating Creativity, 2002, London, Routledge
5. Buljubašić, E.: O multimodalnoj stilistici (travanj 2016)
6. Burn, A. - Parker, D. (2003): Analysing Media Texts, Continuum, London and New York
7. Burn, A. (2014): The Kineikonic Mode: Towards a Multimodal Approach to Moving Image. In: Jewitt, C. (ed): The Routledge Handbook of Multimodal Analisys, London, Routledge Media
8. Cardoso, J. and Amit P. Sheth (ed.) (2006): Semantic Web Services, Processes and Applications, Springer, USA
9. Castells, M. (2000): Uspon umreženog društva, Golden marketing, Zagreb
10. Crystal, D. (2001): Language and the Internet, CUP, Cambridge
11. Domingo. M. and Kress, G. (with C. Jewitt and E. Adami) (2014): Development of Methodologies for Researching Online Communication: The Case of Food Blogs, (u najavi)
12. Fisher-Mirkin, T. (1995): Dress Code: Understanding the Hidden Meanings of Women's Clothes, Clarkson Potter, Penguin Random House Canada
13. Jewitt, C. (2005): Multimodality, „Reading“ and „Writing“ for the 21st Century, Discourse: Studies in the Cultural Politics of Education, vol. 26, No 3, pp. 315-333 (listopad 2014)
14. Jewitt, C. (2013): Multimodal methods for researching digital technologies, Chapter 17, (ur.) Price, S., Jewitt, C., Brown, B., „Pre-print verion of a chapter to be published in the SAGE Handbook of digital Technology research 2013“
15. Krashen, S. (2002): Second Language Acquisition And Second Language Learning, Pergamon Press Inc: prvo internetsko izdanje 2002.
16. Kress, G. (2014): Design: the rhetorical work of shaping the semiotic world. Iz: Multimodal Approaches to Research Pedagogy: Recognition, Resources, and Acces, London, Routledge
17. Kress, G. and van Leeuwen, T. (1996): Reading Images, Routledge, London i New York
18. Lemke, J., Multimodality, Identity and Time (listopad 2014)
19. Lewis, M. (1993): The Lexical Approach, Commercial Colour Press, London
20. Long, M. H. (2003): Construct validity in SLA research: A response to Firth and Wagner (Tekst 22). U: Seidlhofer, B. (ur.), Contorversies in Applied Linguistics (str. 206–214), New York, CUP
21. Mayer, R. E. - Sims, K.V. (1994): For whom is a picture worth a thusand words? Extension of a dual-coding theory of mutimedia learning, Journal of Educationa Psychology, vol. 86, no 3, 389-40
22. Schnotz, W. (2002): Towards an Integrated View of Learning from Text and Visual Displays, Educational Psychology Review, vol. 14, no 1, 101-120.; također: Integrated Model of Text and Picture Comprehension
23. Schnotz, W. (2005): An integrated model of text and picture comprehension, u:Mayer, R. (ur.), The Cambridge Handbook of Multimedia Learning, New York, CUP
24. Sinker, R. (2002): Making Multimedia, u: Sefton-Green , Julian i Sinker, Rebecca (ur.), Evaluating Creativity, London, Routledge
25. Widdowson, H., (1979), Explorations in Applied Lingustics (listopad 2014)