Trial lecture presenting my neurocognitive research

In late February 2015 I was invited to give a presentation of my research to the Department of biological and medical psychology at the University of Bergen. I emphasized my neurocognitive research, clinical studies and the use of psychophysiological measures in my applied research. The presentation was structured around the published papers, highlighting the findings in the abstracts. Among the topics covered were implicit learning, selective attention, working memory, situation awareness, team-work, consciousness and clinical work.

The emperor's new dress (previously published as a newspaper feature in Norwegian)

Image courtesey of www.xkcd.com, published under a CC-licence.

Early last week, I wrote a feature article in the local newspaper about what had been the big science news story the preceding weekend: The dress that some saw as black and blue, while others saw it as white and gold. To some extent I leaned on what others like Cedar Riener, Tom Stafford and Steven Pinker have written on the subject.

Although presenting an account of the phenomenon (colour constancy), I emphasised that the percpetual effect of this image appears to be quite unique, and that the novel features, such as the individual variation, the stability of the percept and the influence of context clues need more research.

My article is available below (in Norwegian).

Keiserens nye kjole

I slutten av forrige uke var vi alle vitne til en kjole som folk ikke ble enige om fargen på. Det er sannsynligvis den vitenskapsrelaterte saken som har fått mest oppmerksomhet på kortest mulig tid. Bildet gikk gjennom syklusen slike virale saker gjerne gjør: Forbauselse, forbløffelse, lese hva ekspertene mener, diskuter det i kommentarfeltet, få nok, og så spørre om det ikke finnes viktigere ting å snakke om. Men nå som vi er på god vei til å bli lei av hele kjolen; var saken bare triviell, eller kan vi lære noe av den? Det handler egentlig ikke om hvilken farge kjolen har, men om hva saken kan lære oss om hvordan vi tolker verden.

Fredag morgen var sosiale medier og etterhvert også nettavisene fulle av bilder av en stripete kjole. Teksten som fulgte bildet, ba oss om å vurdere hvilken farge kjolen har. For meg var spørsmålet først absurd: Kjolen hadde jo en tydelig blåfarge, med svarte horisontale striper. Hadde jeg sett på feil bilde? Var det en noen som drev gjøn? Virket ikke øynene til folk? Men jeg leste videre, og forstod at ganske mange ser den samme kjolen som hvit med gullfargede striper.

Bare for å ta det med en gang: Kjolen er egentlig blå. Det kan du sjekke på nettsiden til produsenten, som utvilsomt ler hele veien til banken. Jeg kan allerede nå se for meg hvordan de kvinnelige deltagerne vil være kledd på velkomstmottagelsene ved årets konferanser i kognitiv psykologi.

Jeg viste bildet til kollegaene rundt lunsjbordet på fredag. To av seks så kjolen som hvit og gull, mens fire så den som blå og svart. De som så kjolen som hvit var like skråsikre som meg på at dette var riktig, og kunne ikke forstå at noen kunne se noe annet. Lunsjen delte seg fort i to ulike leire med liten evne til å se de andres argumenter og ingen mulighet for forsoning.

En måling gjort av Buzzfeed tyder på at tre fjerdedeler ser kjolen som hvit og gull, mens en fjerdedel ser den som blå og svart. Facebook har gjort en analyse av hvem som skrev «blå/svart» heller enn «hvit/gull» i statusoppdateringene sine det døgnet saken ble kjent. I deres måling er det mye jevnere mellom de to leirene. De fant at det var litt vanligere å se blått blant menn, blant unge, blant de som så bildet på en PC-skjerm (heller enn på telefon), og jo senere på dagen de så det. Men her har de ikke tatt hensyn til hva folk faktisk så, kun noen nøkkelord i statusoppdateringene. Så noen som mente den var hvit kan ha blitt talt feil om de skrev «Kan du fatte og begripe at noen ser denne kjolen som blå og svart?».

Så hva er det som skjer, hvorfor ser så mange kjolen som hvit og gull? Noen av forklaringene i avisene snakket om forskjeller i fargesyn. Men det er ikke slik at alle som ser kjolen på den ene måten har dårlig fargesyn. Andre prøvde å analysere fargeinnholdet i pikslene som bildet er bygget opp av, og viser at hovedfargen på kjolen er mer blå enn hvit. En slik tilnærming kan være teknisk sett riktig, men er ikke så relevant. For eksempel kan et fotografi av snø som ligger i skyggen se blått ut dersom hvitbalansen ikke er kontrollert for, selv om vi vet at snø egentlig er hvitt. Og mennesker ser ikke farger ved å analysere sammensetninger av piksler.

Nøkkelen til å forstå fenomenet ligger i at vi ikke bare tar hensyn til hvilken farge lyset som reflekteres fra kjolen til øynene har, men også hvilke omgivelser som vi antar at vi ser kjolen i. Om du ser en kjole med en bestemt farge i noe du tror er lyse omgivelser, vil du se kjolen som mørkere enn om du ser den samme fargen i det du tror er mørke omgivelser. Dette er vist i tegningen under:

Fargen på de to kjolene er objektivt sett like, men den til venstre har mørke omgivelser og ser ut som den er hvit og gull, mens den til høyre har lyse omgivelser ser ut som den er blå og svart. I midten vises fargene fra kjolebildet. Bildet er publisert på nettstedet www.xkcd.com under “creative commons”-lisens.

Dette er et eksempel på det som i psykologien kalles «fargekonsistens». Det viktige for oss er ikke hvilken farge det er på lyset som reflekteres fra objektet, men at vi forsøker å tolke hvilken farge objektet egentlig har, gitt de omgivelsene vi ser objektet i. Vi prøver altså automatisk å kompensere for godt og dårlig lys, eller for ulike farger på lyset. En hvit skjorte vil reflektere ulike farger lys om den er belyst med sollys, lys fra glødetrådpærer eller lys fra lysrør. Vanligvis oppfatter vi hvilken type belysning det er i rommet (eller på bildet) og kompenserer automatisk for det, slik at skjorten uansett ser hvit og ikke oransje ut. Fenomenet med «fargekonsistens» er illustrert under.

Illustrasjon av fargekonsistens-fenomenet. Brikkene som den svarte pilen og den hvite pilen peker på har samme farge. Det er fargen på brikkene rundt som gjør at vi tror at toppen ligger i direkte lys mens fronten ligger i skyggen. Dette fører til at vi gjør en antagelse om at de to brikkene “egentlig” har ulik farge. Bildet er hentet fra en YouTube-video fra AsapScience: https://www.youtube.com/watch?v=AskAQwOBvhc

Mye av svaret på mysteriet med hva som skjer med den blå kjolen ligger nok i denne forklaringen om «fargekonsistens». Men flere forskere har i helgen uttalt at de ikke synes denne forklaringen alene er helt tilstrekkelig. Når en viser illusjoner om fargekonsistens som de over, klarer en vanligvis å «lure» enten alle eller ingen. Men for kjolen blir noen lurt mens andre ikke blir det. Hvordan lysforholdene er rundt oss når vi ser på bildet, hvilken skjerm vi ser på, hvilken vinkel skjermen har, og så videre har nok noe å si, men selv når dette er kontrollert for er folk uenige. Det kan være at forskjellen i hvordan vi ser bildet beror på hvor mye erfaring vi har med å se på bilder hvor et reflekterende stoff er fotografert i sterkt men ujevnt lys.

Noe annet som skiller seg ut, er at det virker som vi blir veldig sikre i vår sak – det er ikke lett å forstå hvordan noen kan se kjolen som en helt annen farge enn det vi selv gjør. Vår personlige erfaring med akkurat dette bildet har altså mye å si: Har vi først sett kjolen som en farge, så skal det veldig mye til før vi endrer mening. Igjen har dette å gjøre med at våre antagelser har en tydelig effekt på hva vi ser.

Det minner om eventyret om keiserens nye klær: Forventningen om hvordan keiseren skulle være kledd fikk så stor betydning for hvordan folket så ham, og de klarte ikke å endre mening da noen sa at han egentlig var naken. Så dramatiske effekter er nok urealistiske, men det at vi bestemmer oss for om kjolen er blå eller hvit er en mildere versjon av dette.

Noen optiske illusjoner er laget slik at de kan sees på to ulike måter. Samtidig er oppfattelsen stabil, slik at når du først har sett bildet på den ene måten, så blir denne oppfattelsen hengende ved. Vi kjenner til noen ulike varianter av dette: en tredimensjonal kube kan vende mot venstre eller mot høyre, en ballerina spinner enten med eller mot klokken. Men så vidt jeg vet er dette første gang vi har funnet et bilde hvor fargene kan tolkes så radikalt forskjellig. I tillegg er det slik i eksempelet med kuben og ballerinaen at selv om en ser bildet på en av måtene, så kan en forstå hvordan det også kan være omvendt, spesielt om en ser vekk fra bildet et øyeblikk. På kjolen blir en derimot sittende mer «fast» i om en ser den ene eller andre fargen.

Dette fenomen kan minne om det som er illustrert i bildet under. Først ser du kanskje bare en rekke flekker. Men om du prøver, klarer du kanskje å se at det er skjult en flekkete hund som lukter på bakken i høyre halvdel av bildet. Har du først sett dalmatineren, er det umulig å kunne få tilbake det opprinnelige oppfattelsen av et kaotisk flekkebilde. Hunden har kommet for å bli.

Ser du dalmatineren?

Innen miljøene for kognitiv psykologi har det over helgen blitt etterlyst mer forskning på den typen illusjoner som kjolebildet har kastet lys over. Det som trengs er å kunne reprodusere fenomenet i et eksperiment. Vi trenger å lage en kontrollert situasjon der den samme kjolen kan endre farge etter hvilke forventninger vi har. For eksempel kan en klippe ut bildet av selve kjolen, og vise den med ulike bakgrunner som får oss til å tro at lyset er ulikt, og se om det påvirker om kjolen ses som blå eller hvit. Så kan vi se om denne oppfattelsen er stabil når den først har satt seg. Jeg skjenker en ekstra tanke til alle kognitive psykologer som har måttet jobbet på overtid i labben denne helgen.

Det vi kaller persepsjon, altså det å oppfatte verden rundt oss, er mer komplisert enn slik vi gjerne tenker på det i hverdagen. Det er ikke en enkel en-til-en-prosess, der vi bare registrerer hvordan verden ser ut rundt oss.  Uten å tenke over det, tar vi hensyn til det vi vet (eller antar) om omgivelsene. Om vi  studerer hvordan prosessen er bygd opp i hjernen, ser vi at er det er snakk om at informasjon fra øynene behandles først i ett senter, før den overføres til neste senter og så videre. Til sammen er det minst 30 slike behandlingssentre i hjernen. Det som overføres mellom dem er ikke selve bildet vi har foran oss, men kun informasjon om noen av trekkene ved bildet. Prosessen minner litt om «hviskeleken», der feil og misforståelser kan oppstå på hvert trinn og blir tatt med videre i systemet. Resultatet er at persepsjon utgjør en «sannsynlig tolkning» av det vi opplever, heller enn et korrekt bilde av virkeligheten. I de aller fleste tilfeller fungerer dette fint, men under spesielle tilfeller, som ved kjolebildet, kan det lede oss galt avsted.

Is there anybody in there? (previously published as a newspaper feature in Norwegian)

Er det noen der inne?

Hvilke metoder finnes for å vurdere en pasients bevissthet etter hjerneskade?

Vi har alle innsikt i våre tanker, følelser, planer og minner. Når vi treffer andre, antar vi at de også har lignende opplevelser. Denne grunnleggende psykologiske innsikten (noen ganger kalt theory of mind) er noe som utvikles i toårsalderen hos de fleste av oss.

Å forsøke å forstå hva andre tenker på, er noe vi alle må gjøre kontinuerlig når vi omgås andre. Vi kan ikke observere hva de tenker direkte, så vi må tolke oss frem til det ut fra hvordan de oppfører seg. Psykologer er kanskje spesielt bevisste på denne prosessen, da de i terapisamtalen må forsøke å forstå klientens tankemønster, hva som motiverer dem, eller hvilke minner som plager dem.

Men hva gjør en dersom en har en pasient som ikke kan snakke, svare tydelig på tester eller bevege seg? Når hjernen blir skadet av ulykker eller sykdommer kan en få en endret bevissthetstilstand, slik at pasienten i mindre grad er klar over sine omgivelser og egne opplevelser. Slike skader kan samtidig føre til at pasienten ikke er i stand til å kommunisere med pårørende eller helsepersonell. Ofte er pasientens atferd vanskelig å tolke og kan variere over tid. Noen ganger kan det forekomme bevegelser, blunking, endring av pust og puls. Hvordan kan en si om dette er vilkårlig variasjon, eller om pasienten er bevisst og forsøker å kommunisere med oss?

I høst publiserte vi en åpent tilgjengelig artikkel på norsk i tidsskriftet Scandinavian Psychologist på dette emnet. Artikkelen gir en oversikt over ulike bevissthetstilstander og ulike tilnærminger til å skille mellom dem. Et gjennomgående spørsmål er om nye teknikker for hjerneavbildning kan brukes til å si noe om en pasients bevissthet.

I artikkelen skiller vi mellom fire ulike typer tilnærminger for å vurdere bevissthet hos pasienter som ikke kan kommunisere. Den første tilnærmingen er å bruke sjekklister for hvilke handlinger pasienten utfører. Da kan en be pasienten om å utføre ulike handlinger som å løfte armen, eller å blunke, og gi pasienten en skåre basert på hvor mange av disse handlingene pasienten gjennomfører. Den andre tilnærmingen er å måle de elektriske utslagene fra hjerneaktiviteten. En mener at bestemte mønstre i hyppigheten og styrken på dette signalet kan vise om pasienten er bevisst på sine omgivelser, selv om de ikke kan si noe eller bevege seg. En tredje tilnærming er å måle hvilke deler av hjernen som aktiveres når en blir bedt om å tenke på noe spesielt. Om de samme områdene aktiveres som hos friske, kan dette tyde på at instruksjonen blir forstått og fulgt. Den siste tilnærmingen er å se på hvilke forbindelser som finnes i hjernen. Dette skyldes at en antar at ulike deler av hjernen må samarbeide for å skape oppmerksomhet.

Da vi oppsummerte og sammenlignet disse ulike tilnærmingene, så vi at flere av de nye metodene som har kommet til de siste tiårene viser lovende funn, og kan bli viktige for fremtidig vurdering av bevissthet. Foreløpig er imidlertid disse nye tilnærmingene for ferske, uetablerte og uavklarte. Enn så lenge er det kun systematisk bruk av sjekklister for handlinger som er etablerte nok til bruk på sykehus.

Who is "the brain"? (previously published as a newspaper feature in Norwegian)

Hvem er egentlig denne “hjernen”?

To saker i nyhetsbildet tyder på at det er fristende for oss å tenke på hjernen som noe vi har, heller enn noe vi er. I hvilke situasjoner er det nyttig å studere hjernen direkte, heller enn å studere atferden som hjernen produserer?

Illustrasjon av Flickr-bruker J E Theriot, gjort tilgjengelig med Creative Commons lisens Navngivelse 2.0 Generisk.

Vi ser ofte overskrifter som “Traumer kan endre hjernen” eller “Slik kan dataspill trene hjernen”. Men hvem er egentlig denne “hjernen”? Vel, det er jo oss selv, selvsagt. Du er hjernen din, og hjernen din er deg.

Riktignok mente Descartes at “sjelen” var noe annet enn “kroppen” (altså en dualisme), men dette synet er forlengst forkastet, og all moderne vitenskap og medisin jobber ut fra forutsetningen at hjernen skaper vår opplevelse (en monisme). Derfor oppfatter vi verden ulikt om hjernen påvirkes av skader, medisiner eller forgiftning, og når vi tenker på noe eller føler noe kan vi måle det som endret aktivitet i hjernen. Så når vi endrer oss, er det hjernen som endrer seg. Når mediene velger overskrifter som de nevnt over, må dette skyldes at vi fortsatt tenker på personen som noe annet enn kroppen, selv om vi egentlig vet bedre.

Den tyske professoren Manfred Spitzer skal på fredag 7. november delta på et seminar som i BT ble presentert med undertittelen “en tysk hjerneforsker er på vei til Bergen for å skape dårlig stemning”. Anledningen er promoteringen av Spitzers nyoversatte bok  “Digital demens”. Budskapet hans synes å være at bruken av digitale verktøy endrer de unges hjerne på en måte som er uheldig for læring. Den tyske utgaven av boken fikk i sin tid hard medfart i tyske aviser. De siste dagene har også norske forskere som Fjell og Moser tatt til motmæle mot Spitzers bombastiske påstander.

Det høres rimelig ut at ukritisk bruk av PC og nettbrett på skolen kan være uheldig. Men hvorfor legges det vekt på Spitzers bakgrunn som psykiater og hjerneforsker, og at han mener at bruk av digitale verktøy endrer hjernen? Vi får anta at dette fokuset er valgt fordi det skal gjøre budskapet tydeligere, eller kanskje mer skremmende, enn om han bare hadde sagt at de unges læring blir påvirket. Siden all erfaring endrer hjernen, har Spitzer rett når han sier at hjernen endres av å stirre på en skjerm i fire timer, men det samme kan sies om en heller leser bøker, kjører bil eller står på ski.

Et annet eksempel på at det faller naturlig for oss å skille mellom hjernen og personen, er medieomtalen av en fersk forskningsartikkel fra Bergen. Bakgrunnen er et prisverdig samarbeid mellom tre forskere fra The Choice Lab, NHH, og tre forskere fra Institutt for biologisk og medisinsk psykologi, UiB (for ordens skyld: sistnevnte er mitt tidligere fagmiljø). Det har de siste tiårene blitt vist at de tidligere økonomiske teoriene ikke alene kan forklare hvordan mennesker gjør valg. Når forsøkspersoner tar beslutninger i eksperimenter gjør de ikke alltid det de ville tjent mest på, men er villige til å dele med andre, og er straffende mot de som tar seg til rette. Vi kan forsøke å spørre forsøkspersonene om hvorfor de velger slik, men det er ikke sikkert at de er helt ærlige eller at de forstår valgene sine helt selv.

I slike problemstillinger kan hjerneforskning være nyttig, og det er en slikt “nevro-økonomisk” studie forskerne i Bergen har samarbeidet om. De har studert hvilken del av hjernen som er involvert når en vurderer ulike fordelinger av utbytte mellom to personer. “Hjernen er streng men rettferdig” kunne BT melde. Men er det ikke vi selv som er strenge og rettferdige, heller enn hjernen? Når vi bedømmer ulike fordelinger av goder, så kommer denne bedømmelsen fra hjernen. Og med en tilstrekkelig nøyaktig metode, bør en forvente å finne at hjernen oppfører seg forskjellig når vi bedømmer forskjellig.

Så hvorfor skal vi bruke mye ressurser på å gjøre hjerneavbildning i slike eksperimenter? Svaret på dette er nevnt i siste setning av artikkelen. Her sies det at funnene tyder på at holdning til fordeling av goder bygger på hjernens belønnings-system. Dette tyder på at avvikene i økonomiske valg ikke skyldes tillærte regler, sosial tilhørighet eller lignende, men en mer grunnleggende preferanse for rettferdighet.

Som vi har sett er det fristende å legge vekt på endringer i hjernen når en beskriver forskning på mennesker. Men det burde ikke overraske oss at barn som skiller seg i læringsevne, eller at fordelinger som vurderes ulikt, kan måles som forskjeller i hjernen. Derimot kan hjerneavbildning være nyttig for å forklare hvordan vi utfører en oppgave, og da kan vi finne ut hvilke mekanismer som ligger bak barns læring eller holdning til fordeling av goder.

Paper on assessment of conscious states

How can we tell whether an immobiised patient is conscious or not? This was the starting point for the master thesis of three clinical psychology students that I supervised. The students reviewed and provided a synthesis of the recent scientific literature on the subject. After the thesis work was over and the students had left the university for clinical positions, I collaborated with them to rewrite the work into a article intended for Norwegian clinicians.

Table 1:

STATE OF  CONSCIOUSNESS	WAKEFULLNESS	AWARENESS	INTENTIONAL BEHAVIOUR
Normal awake state	Yes	Yes	Yes
unresponsive wakefulness syndrome	Yes	No	No
Minimally conscious state	Yes	Occasionally	Some
Locked-in-syndrome	Yes	Yes	Very limited motor capacity
Coma	No	No	No

The paper gives a definition of consciousness and outlines the clinical disorders of consciousness (see table 1 above). We then categorise four different types of assessment of consciousness: behaviour checklists, electrophysiology, imaging of activation and imaging of networks. We discuss each approach's standing, merits and disadvantages (table 2). Finally we discuss to which extent the assessment approaches reflect the theoretical definition.

Table 2:

APPROACH	TYPE	EXAMPLES	PRINCIPLE	ADVANTAGES	DISADVATAGES
Behaviour checklist	Active or passive	GCS-R, SMART, etc., see Seel et al. (2010) for review	Checklist for whether actions occur, spontaneously or on instruction	Has clinical standard	Unable to capture consciousness that does not appear in the behavior
Electro-physiology	Active or passive	EEG, ERP	Electrodes measure simultaneous fireing of groups of neurons	Equipment readily available can be used on all patients, also at bedside	Hard to say where the signal comes from, hard to say which processing the response involves
Imaging of brain activity	Active	fMRI, PET	Imaging of the metabolism from activity in different parts of the brain	Good localization of the signal, can determine whether a task activates the same areas as in healthy people	Expensive and scarce equipment, cannot be applied to all patients. Measures the capacity for consciousness, but this capacity is not necessarily in use
Imaging of networks	Passive	Default mode network, DTI	Measures which parts of the brain that are connected, or that are activated simultaneously	As above, but does not require active participation from the patient	As above, but in addition it is unclear how the networks should be interpreted

As we wanted to inform Norwegian clinicians working in adjacent fields and next-of-kin to patients with consciousness afflictions, we wanted the paper to be easily accessible. We published in a peer-reviewed Norwegian online open-access journal (abstract in English)

Link to the publication in psykologisk.no (Scandinavian Psychologist).

The "updating" component of WM is differently involved in various noise conditions

Several years ago Patrik Sörqvist and I collected fMRI recordings of participants performing a working memory (WM) task, where WM content updating could be compared to WM maintenance. Soon thereafter we published a paper on the data from the pilot sample of eight participants performing the task in silence.

In addition to examining WM mechanisms, we also wanted to study how the WM functions in different auditory noise conditions. Therefore the majority of the participants performed the task while different noise conditions were played in the background. However, this was not part of our initial publication, and both Patrik and I got involved in other projects, preventing us from publishing on this aspect of the study until this year.

We found that the larger data set (from 18 participants) confirmed the main finding of the pilot study: that updating WM content activates areas mainly in dorsolateral prefrontal cortex, the posterior medial frontal cortex and the parietal lobes (shown in red in the animation below, t-values 7-16), while rejecting the input and not updating WM content activates the anterior medial frontal cortex (shown in blue). Comparing this to the similar contrast in our previous publication shows a very similar pattern, indicating a replication of the finding.

In order to address our second research question of how noise affects WM function, all participants performed the study in three different conditions: In silence, in aircraft noise and in speech noise. We wanted to see whether updating WM content in speech noise activated different cortical areas than updating in aircraft noise. As shown in the animation below (t-values 4-9), the prefrontal cortex is involved to a greater extent when updating in speech noise (shown in gold) than when updating in aircraft noise (shown in silver). This could indicate that speech noise is more intrusive on e.g. phonological loop processes, and requires deliberate processing to counteract.

The publication is currently in press at Scandinavian Journal of Psychology. You can find a pdf of the pre-print version of the paper here. The publication is currently in press at Scandinavian Journal of Psychology. You can find a pdf of the pre-print version of the paper here.

ERP paper on sequential effects of selective attention (Primed DL)

During my ambitious young PhD years in cognitive neuroscience I collected more data than I had time to publish on. For example, I equipped participants with 61 scalp electrodes and let them perform the "primed dichotic listening" experiment that I had developed. My previous studies had established a priming effect, and fMRI neuroimaging had indicated that cognitive control and inhibition may be involved in producing the effect. As ERP has a finer temporal resolution, this could be used to examine the time course of such an effect. Unfortunately, I didn't have time to analyse the data during my PhD time, so the data was left unused for several years. I later got in touch with René Huster whom I went to graduate school with, and we analysed the data together during a research visit to his research group in Oldenburg.

As before, in each trial of the experiment a single syllable was played followed by a dichotic syllable pair, and in some cases one of the syllables in the pair repeated the prime syllable. The trials were categorized based on whether the repeated syllable was selected or not, as shown in the figure below.

A strong behavioural effect was seen as in the previous studies. The ERP analysis was optimized to identify differences in the early attention processing (i.e. the N200s) between the different response categories. ERPs were extracted for three midline electrodes from four relevant time-windows and compared between the conditions using repeated measures ANOVA. Significant effects were seen in both the prime-related (left in the figure below) and in the dichotic target-related activity (right in the figure below). 

Trials where the participant reported the non-primed syllable (prime ignored trials) showed more negative ERPs at prime presentation, which may indicate inhibition of the prime representation. Trials where the participant reported the primed syllable (prime reported trials) showed more negative ERPs at target presentation, which may indicate cognitive conflict and effortful response selection. In reference to the theoretical framework presented previously, the data suggest that the interplay of a proactive inhibition bias (during prime presentation) and a reactive potential for conflict (during target presentation) is involved in causing the primed dichotic listening effect.

Sætrevik, Huster & Herrmann (2013) Proactive and reactive sequential effects on selective attention - Brain and Cognition

There is also a second data set, with EEG recorded from a larger data set doing a sequence of dichotic listening trials which we will hopefully go on to publish some day.

Distinguishing the "updating" component of working memory

A memory system must be able to serve at least two functions, to hold information over time, and to change the information that is being held. While several studies have identified a vast cortical network to be involved in working memory, little work has tried to distinguish the two different functions.

In 2008 I came into contact with Patrick Sörqvist, then a PhD student from an applied psychology lab in Gävle, Sweden, who was interested in practical implications of memory systems. He wanted to run an fMRI study of the number updating task, which can distinguish the points in time when working memory content is being updated, as opposed to when the content being held constant while ignoring new information. I helped out with experiment design, programming, fMRI analysis and write-up. We found some cortical regions to be more activated for memory updating than when not updating, and other regions to be activated in the inverse condition.

Sörqvist & Sætrevik (2010) The neural basis of updating: Distinguishing substitution processes from other concurrent processes - Scandinavian Journal of Psychology

We probably used the wrong heatmap shading for the fMRI activations shown in Figure 1 and 2, as they did not come out well in the black and white print. They were supposed to look more like this:

Figure 1: Areas more activated when updating.

Figure 2: Areas more activated when not updating.

Here are the same activations shown in an animated glass brain. Areas more activated when updating are shown in "hot", areas more activated when not activated are shown in "cold" (t-values 6-16 are shown).

The study had quite few participants, but we later supported the main finding in another study with more participants (currently under review).

Transient activation of speech areas following language task

My fMRI study of primed dichotic listening from 2009 showed that stimulus conflict increased medial prefrontal activation, and response conflict increased left dorsolateral activation. That went some way in terms of figuring out which mechanisms are involved in the task, and we accounted for it in terms of the Desimone and Duncan's biased competition model and/or Botvinick's model of interaction between cognitive conflict and control.

After publishing this work, I started thinking whether the data could also be used to understand how the mechanisms interacted. Some recent studies have indicated that high cognitive conflict on one trial leads to  increased cognitive control on the following trial. The increased control is typically seen as faster and more accurate performance, and increased activation in cortical areas assumed to hold the task set instructions. Could I do something similar with my task? Given that I had formally left the neurocognitive research group at this time, I was perhaps also motivated to get the most out of my already collected fMRI data.

The 2009 analysis had analysed according to what the current stimuli and the current response was. The new analysis restructured the data file according to whether the previous and the current trial was high (prime repeated in targets) or low conflict (no prime-target repetition). This yielded four different categories (previous trial - current trial):

1. High - high
2. Low - high
3. High - low
4. Low - low

From this we could run two different analyses: In the first contrast, we compared sequence 1+2 with sequence 3+4, i.e. examined what the effect of the current trial was, regardless of what happened on the previous trial. As expected, this yielded much the same result as the 2009 analysis, showing that task conflict activates medial and dorsolateral prefrontal areas. The second contrast compared sequence 1+3 with sequence 2+4, i.e. examined what the effect of the previous trial was, regardless of the current trial. This showed that following a stimulus conflict, activation increased in temporal areas, more on left than on right side. No behavioural after effect of conflict was seen, perhaps since there is no defined correct answer in the prime dichotic listening task (both syllables are correct, and error rates are low), and response times were not measured. 

In line with current models for how cognitive conflict modulates cognitive control, we interpreted the effect as challenging task leading to more resources being dedicated to the type of processing involved in the task, in this case discriminating verbal stimuli. The fact that sequential effects showed temporal rather than e.g. dorsolateral activation, may indicate that conflict did not lead to increased task or instruction focus, as has been seen in e.g. sequential effects of Stroop tasks, perhaps as the task is rather simple. 

  

My by then former college Karsten Specht helped me with the analyses and the manuscript, and we published this in "Brain and Cognition" in 2012. A lab meeting presentation of this study can be found here. 

Cognitive conflict in a syllable identification task causes transient activation of speech perception area of speech perception area - Brain and Cognition

Lab meeting: Transient activation of speech areas

In December 2012 I was asked to give a 20 minutes presentation of some of my research at our department's research seminar. I was relatively fresh in the field of work and organizational psychology at that time, so I presented a re-analysis of some previous fMRI work. Although I tried to simplify the work and focus on the gist of it, I'm afraid most of my audience had a hard time to following the unfamiliar topic and methodology. Looking back at it now, I think I may also have overused the prezi features somewhat...

The work I presented had just been accepted into Brain and Cognition the same day as my presentation was due, so I make a note of this at the end.

Dichotic listening for vowel-consonant syllables

This project stands out from my main projects, and aims to explore the generalizability of a popular experimental approach, rather than theoretical development. The design is simple and the paper is short with unsurprising results, although I think it provides necessary clarification to otherwise unanswered questions.

In our lab (and I think also a lot of other labs) we use a number of different variations of the dichotic listening (DL) task, but we tend to use a standard set of stimuli, namely the nonsense syllables constructed by the six stop-consonants followed by the vowel "a", constituting the consonant vowel, or CV syllables: BA / DA / GA / PA / TA / KA. When presenting one of these CV syllables in one ear simultaneously as a different CV syllable in the other ear, participants tend to report the CV syllable presented in the right ear, an effect referred to as the right ear advantage (REA). This effect is explained as left cortical hemisphere having an advantage in language processing and sensory fibres going from each ear to the hemisphere on the opposite side. Studies using DL with CV syllables have been used to explore both attentional effects and clinical groups. However, DL is often used in arguments concerning language in general, although the task only uses a small subset of the language phonemes. In this project, I wanted to test whether the REA could also be found when using different kinds of syllables. I also wanted to see how different types of syllables are selected between when presented simultaneously.

I constructed new stimuli, some with the same CV structure as in earlier experiments, while others used the same consonants and vowels, but in reverse order, i.e. vowel-consonant (VC) syllables. Both types of syllables were paired up in all four left-right combinations: CV-CV, CV-VC, VC-CV and VC-VC. Participants were asked to report which consonant they heard. Results showed that the REA was found both for CV and for VC dichotic pairs, thus showing that that the typical assumptions behind DL can be extended to a wider array of phonemes than just the CV syllables. Further, when CV is presented in one ear and VC in the other, CV has a perceptual advantage. In the paper's discussion, I go through some of the research from the sixties and seventies when different types of stimuli were used in DL, and see to which extent they showed a REA.

The right ear advantage revisited: Speech lateralisation in DL using CV and VC syllables - Laterality

Selective attention, positive and negative priming in a sequence of dichotic listening trials

In the early years of my Ph.D., I wanted to do an ERP study of my basic primed dichotic listening paradigm. My supervisor Kenneth Hugdahl and my collaborator (and unofficial supervisor) Tom Eichele wanted me to do an ERP study of a standard dichotic listening task first, so we went ahead with that. Participants sat in a comfy chair with electrodes pasted on their scalp and did sequences of dichotic listening trials for 40 minutes. A short beep at the beginning of every trial directed attention to the left, right or both ears, then two different syllables were played at the same time, one in each ear, and the participants were to indicate what they had heard. However, when the results came in, we weren't able to make sense of the results. The EEG results didn't show the lateralized effects we had expected, and the behavioural effects of attending to the instructed side were not as clear as we had expected, so we eventually abandoned the study.

Some years later, after developing my ideas about priming using other behavioural studies, I wanted to test whether I could design a study to show both positive and negative priming effects to interact with instructed attention. I would need a largish dataset in terms of number of participants and trials order to tease out what could be rather weak effects. It then occurred to me that I already had such a dataset sitting on my hard drive, so I picked up the behavioural data from the ERP dataset, and applied analyses to it according to the new theoretical model.

The results section is somewhat complex as it tests for five different hypotheses. Basically this paper reproduces some of the effects shown in previous papers (overall inhibitory selection effects of repetition, negative priming of decreased likelihood to select a recently ignored stimulus, and priming effects interact with instructed attention), as well as showing some novel effects predicted by the model (positive priming effect of increased likelihood to select a recently attended stimulus, interaction between priming and instructed attention is demonstrated in a sequential dichotic listening task). As opposed to what competing theoretical models of priming would have predicted, the selection criteria on the prime trial did not influence the priming effect.

Sætrevik (2012) Facilitating and inhibiting effects of priming and selection criteria in a sequence of DL trials - SJoP

The effect of simultaneous visual stimuli on dichotic listening selection

This study was more or less a side project that does not quite fit in to the rest of my dichotic listening studies. The aim was simply to see if the dichotic listening selection would be influenced by simultaneous ecological visual stimuli. I made brief videos of a mouth pronouncing each of the six syllables, and played one of them simultaneously as the audio for the same syllable was played in one ear, and the audio of another syllable was played in the opposite ear. Participants were asked to report which sound they had heard. Unsurprisingly, the video presentation had the effect of increasing selection of the audio stream that matched the video.

In a way this study was the opposite of my priming studies: Rather than manipulating the selection between two equally valid simultaneous stimuli, the current study made one of the simultaneous stimuli "more valid" by adding a visual channel of information. The effect is reminiscent of the McGurk effect, but in this case it does not create a new percept, it simply "tips the scales" to select one rather than the other.

Sætrevik (2010) The influence of visual information on auditory lateralization - SJoP

Negative priming in a sequence of dichotic listening trials

The previous studies had shown that presenting a single syllable that the participant was supposed to ignore made it less noticeable in an immediately subsequent pair of dichotic syllables. However, the rather artificial experiment situation allowed one to questions of the effect's generalizability. Further, we don't really know what the participant is doing when instructed to "ignore the first sound". According to my theory, the negative priming effect should appear in any situation where a recently ignored stimulus is repeated. As classical theories considered the dichotic listening situation in itself (an information funnel where two bits of information enter and one come out) to be resolved by attenuating one signal but also inhibiting the other signal, it occurred to me that I could simply loop the process, and make one dichotic selection constitute the priming process for the next dichotic selection, which could again prime the next dichotic selection and so on.

Thus, as the dichotic listening paradigm used in our group presents one syllable to be attended and one to be ignored, I could leave behind the somewhat convoluted prime-target task design I had used in my previous studies, and simply present a sequence of dichotic listening trials (without any attention instruction). I adjusted the on-line randomization of stimulus selection to make sure that 50% of the trials repeated one (but not both) of the stimuli presented on the previous trial. In the analysis of the trials with repetitions, I considered every trial n to be the prime for trial n+1. Whether the repeated prime syllable was expected to have a negative or positive effect on n+1, depended on whether the participant selected to attend it or not (for whatever reason) on the prime trial n. E.g., if trial n presents the syllables "Pa" and "Ta" and the participant selects "Pa", then "Ta" was considered to have been inhibited, and if trial n+1 presented "Ta" and "Da", then "Ta" should have a reduced likelihood of being selected. The results did indeed show such a negative priming effect. A converse positive priming effect was indicated, but failed to reach significance (although it was shown in a later study).

The main contributions of this study was (1) to show that sequence effects are apparent in even rather simple dichotic listening tasks without any convoluted priming procedure, and (2) that negative priming effects could be seen in a sequential task with free choices where the prime selection is made arbitrarily. This second point has some relevance for theoretical development, since at least some reading of previous negative priming theories stated that the prime selection would have to be based on a pre-defined selection criteria in order to cause subsequent negative priming effects. I began to formulate what I consider to be a more parsimonious model to account for priming effects, where different nodes in a network achieve different levels of activation based on the stimulus input, but also retains positive or negative activation from preceding selection.

Sætrevik (2010) A biased competition model accounts for negative priming in a free choice situation as residual effects of inhibitory conflict resolution - Neuroscience Letters

Ph.D. thesis on cognitive control in auditory processing

This is my Ph.D. thesis dissertation for the University of Bergen named "Cognitive Control in Auditory Processing". The dissertation details the research process behind my project with developing the "primed dichotic listening" task. The dissertation contains three papers, one published in Neuropsychologia, one published in Neuropsychology, and one that was later published in Brain and Cognition. The additional dissertation text covers a more extensive theoretical background (on attention, priming and dichotic listening), methodological details and implications.


Sætrevik, B. (2008). Cognitive Control in Auditory Processing (Doctoral thesis No. ISBN 978-82-308-0570-1). Bergen: The University of Bergen.

fMRI study on primed dichotic listening

In the third and final paper in my PhD, we repeated the primed dichotic listening experiment from the two previous papers in an fMRI setting. We found response choice and RT comparable to the previous studies. One analysis compared the activation on trials that repeated the prime to the activation on the trials that did not, and showed increased activation in medial frontal gyrus and in right inferior frontal gyrus (IFG). This was associated with the cognitive processes of cognitive conflict and inhibition, respectively. A second analysis compared the trials where the repeated syllable was ignored to the trials where the repeated syllable was attended. Ignoring the repeated syllable (the response bias) correlated with right IFG activation, while attending the repeated syllable correlated with cingulum / frontal gyrus and IFG activation. This was accounted for by associating one response pattern with inhibition, and the other to increased conflict and decision making.

Satrevik & Specht (2009) Cognitive conflict and inhibition in primed dichotic listening - Brain and Cognition

Paper on interaction between priming and directed attention in dichotic listening

In the second paper in my PhD, we presented a prime syllable that participants were instructed to ignore, followed by a dichotic syllable pair. In the first part of the experiment, the participant was asked to report the syllable heard best overall, while in the second and final part of the experiment, the participant was asked to report the syllable heard in the left or the right ear. The results showed

1. the same negative priming effect as reported in the previous paper,
2. an effect of directed attention and
   
3. an interaction between priming and directed attention.

It was argued that the study showed that the two types of attention modulations could coexist, while the interaction indicated that the two may have some overlapping cognitive features.

Sætrevik & Hugdahl (2007a) - Endogenous and exogenous control of attention in dichotic listening - Neuropsychology

As a methodological aside, this paper presents the responses analyzed in three different ways:

1. in terms of laterality of the responses (number of left and right ear responses),
   
2. the response laterality calculated into a "laterality index", and
   
3. responses rescored according to whether the repeated syllable was selected or not, and then calculated into a "priming index".

In light of the following research, I find the third of these approaches to be the most effective in communicating the priming effect.