Ønsker du å vite effekten av utviklingsmidlene?

Når et prosjekt eller et tiltak har fått utviklingsmidler, fra fylkeskommunen eller andre, er det lurt å finne ut hvilken effekt midlene har gitt. Dette kan du gjøre gjennom å spørre ut målgruppen for prosjektet, de som driver prosjektet og til slutt prosjektets eier.

Når en kommune eller en region bruker utviklingsmidler, er målet som regel positiv befolkningsutvikling eller økt verdiskaping. Disse effektene kaller vi samfunnseffekter. Samfunnseffekter er vanskelige å spore, og bør ikke være måleparameter i enkeltprosjekt. Det er enklere å spore effekter som virker direkte på brukeren – altså det vi kaller brukereffekter. Målsettinger bør derfor være på brukereffektnivå.

Et prosjekt handler gjerne om å sette i gang et tiltak eller en tjeneste. Et tiltak eller en tjeneste kan være alt fra møteplasser, veiledning og kurs, til infrastruktur som turstier eller bredbånd. En bruker er i dette tilfellet en person i målgruppen som tiltaket eller tjenesten er ment å virke på. Brukerne kan være innbyggere generelt, eller helst en mer definert innbyggergruppe som for eksempel ungdom, innvandrere, frivillige, rådmenn, ordførere, næringslivsledere, organisasjoner osv. Brukereffekter er noe som på kort sikt virker på målgruppen i form av endring i kunnskap, ferdigheter eller holdninger. Brukereffekter på lengre sikt er endring i atferd, praksis eller livssituasjon.

I mange tilfeller er det mulig å innhente informasjon om brukereffekter. Det er viktig å vite noe om brukereffekter fordi:

  • Det kan si noe om vi bør justere kursen underveis i prosjektet. Bør vi forandre på innholdet? Gjøre mer av noe eller mindre av noe?
  • Det gir informasjon om hvorvidt innsatsen bidrar til målene vi har.

Slik kan du spore effekter tilbake til utviklingsmidler

Dette er ikke en oppskrift, men en måte å tenke på. Den konkrete framgangsmåten må tilpasses hvert enkelt tilfelle. Oppsummert handler det om å spørre ut brukere, drivere av prosjektet/tjenesten og eiere av prosjektet.

Vi i Distriktssenteret har sett på noen utvalgte bolystprosjekt. Her sporet vi sammenhengen mellom brukereffekter og bolystmidler fra KMD. Disse bolystprosjektene hadde alle skapt et varig resultat. Merk at det også kan ligge læringsverdi i å snakke med personer som har vært involvert i prosjekt som ikke har lykkes i å skape noe varig. Hvorfor gikk det slik? Hvilke feller kan man gå i?

De grunnleggende spørsmålene vi stilte var om tjenestene prosjektene har skapt betyr noe for målgruppen, og om tjenesten hadde eksistert uten midlene fra Bolystprogrammet. Vi brukte følgende metode:

  1. Vi identifiserte brukere av tjenesten, kontaktet noen av dem og spurte om nytten av tjenesten.
  2. Vi snakket med dem som driver tjenesten, og spurte dem om tjenesten hadde eksistert uten prosjektet.
  3. Vi snakket med prosjektledelse og/eller prosjekteier og spurte om prosjektet hadde eksistert uten midler fra KMD.

Rekkefølgen her er ikke så viktig. Det kan hende at du må snakke med driver av tjenesten for å få informasjon om brukere du så kan kontakte. Det er en fordel å ha flere kilder til brukere i tillegg til de som driver prosjektet, da det kan være en viss fare for at driverne kun tipser om brukere som er positive til tjenesten. Benytt en «snøballmetode» der kontakt med én bruker fører til informasjon om andre brukere.

Spørsmålene du kan stille i de tre trinnene vil variere fra prosjekt til prosjekt, men varianter av spørsmålene under bør være med. Disse eksemplene kan brukes som «opningsspørsmål» som antageligvis vil lede til mer konktrete oppfølgingssprøsmål, som i sin tur vil gi nyttig innsikt.

1 Spørsmål til brukerne

Brukerne i målgruppen kan gi nyansert informasjon. Det viktigste å spørre om er:

  • Kjenner du til tjenesten?
  • Spørsmål om betydningen av tjenesten – Ville de bodd her/hatt den jobben/følt tilhørighet/e.l, dersom det ikke hadde vært for tjenesten?

I tillegg er det nyttig å spørre om:

  • På hvilken måte har tjenesten vært til nytte?
  • Alternativt: Hvorfor har tjenesten ikke vært til nytte? Her kan man også fange opp utilsiktetde effekter (se nedenfor).

For videre utvikling av tjenesten er det nyttig å spørre om:

  • Hva er spesielt viktig med tjenesten?
  • Hva bør gjøres annerledes?

2 Spørsmål til driverne

I noen tilfeller vil de som driver tjenesten ha forutsetninger for å vite noe om bakgrunnen for hvorfor/hvordan tjenesten ble opprettet. Dette må du vurdere fra prosjekt til prosjekt. Dersom driverne har slike forutsetninger, kan du spørre om følgende:

  • Hadde tjenesten eksistert uten prosjektet (som tjenesten er et resultat av)?

Det kan virke som er overflødig spørsmål, men det kan tenkes at tjenesten ville/kunne blitt utviklet likevel eller på andre måter.

For videre utvikling av tjenesten og overføringsverdi til andre tjenester det i tillegg nyttig å spørre om:

  • Hva fungerer godt og mindre godt med måten de driver?
  • Hva er overførbart til andre steder?
  • Hva er forutsetningene for arbeidet (hvilke andre ressurser enn penger er nødvendig)? Her kan man også fange opp utilsiktede effekter (se nedenfor).

3 Spørsmål til prosjektleder/prosjekteier

Det viktigste spørsmålene for å spore om midlene har gitt brukereffekt er:

  • Hadde tjenesten eksistert uten prosjektet (som tjenesten er et resultat av)?
  • Hadde prosjektet blitt noe av uten utviklingsmidlene?

Vær oppmerksom på at andre ressurser enn penger kan være avgjørende for suksess. I tillegg til penger, handler utviklingskapasitet om utviklingskompetanse, utviklingsledelse, utviklingskultur, og tidsressurser. Er du interessert i betydningen av noen av disse øvirge elementene, kan du spørre konkret om disse.

For læringsverdi for andre er det nyttig å spørre om:

  • Hvordan jobbet kommunen for å skape noe varig?
  • Hva var gode grep?
  • Hva burde vært gjort annerledes?
  • Hva er overførbart til andre steder?

«Hvordan» er stikkordet her. Det er mindre nyttig å spørre «om» forankring er nyttig, spør heller hvordan de har jobbet for å sikre forankring.

Utilsiktede effekter

Utilsiktede effekter kan være positive eller negative virkninger som er uventede. Det kan for eksempel være at andre enn den definerte målgruppen har blitt påvirket av tjenesten. Et tenkt eksempel på en utilsiktet effekt, kan vere et tilfelle der beboere på et alders- og sykehjem får drive med Nintendo Wii for å holde seg i aktivitet. Det kan tenkes at dette kan gi en utilsiktet (positiv) effekt i tillegg: at beboerne plutselig får langt mer besøk av barnebarna sine.

Å ha øynene åpne for at en tjeneste kan ha hatt utilsiktede virkninger kan gi flere gevinster. For det første så vil det å vise fram positive virkninger, selv om de ikke var planlagte, gi informasjon om hvorvidt ressursbruken kan forsvares og gi ytterligere informasjon om sammenhenger mellom innsats og resultat. For det andre kan man ved å fange opp utilsiktede negative virkninger få mulighet til å justere tiltaket for å forhindre eller begrense den negative virkningen i framtiden.

Slike utilsiktede effekter kan man spørre brukere og drivere direkte om. Dersom respondentene kan identifisere«utilsiktede» brukere, kan du vurdere å ta disse med i spørreundersøkelsen.

Fordeler og forutsetninger for ulike innsamlingsmetoder

Dersom mange brukere lett kan kontaktes elektronisk, for eksempel om en har en epost-liste eller en facebookgruppe, er et nettbasert spørreskjema nyttig. Dersom mange brukere samles fysisk et sted, for eksempel på en ungdomsklubb eller på et folkemøte, er et spørreskjema på papir greit å bruke. Dersom ingen av disse alternativene er mulig, må du enten ringe eller møte folk personlig. Dette er til gjengjeld mer tidkrevende. Se metodematrisen nedenfor.

MetodeFordelForutsetning
SpørreskjemaNår ut til mange. Kostnadseffektivt. Enkelt å samanstille svar.Målgruppen må kunne språket. Spørreskjema må bli delt ut. Utforming og innhold må være godt gjennomarbeidet.
TelefonintervjuGir rom for forklaringer og oppfølgingsspørsmål. Ofte mer kostnads- og tidseffektivt enn intervju ansikt til ansikt. Krever ikke at respondenten må kunne lese og skrive.Respondentene må være tilgjengelige på telefon. Krever god notat-teknikk, evt. at du tar opp lyden. Kan gi mindre sturkturerte svar enn spørreskjema, noe som vil kreve mer tid til analyse og sammenstilling.
Intervju ansikt til ansiktGir rom for forklaringer og oppfølgingsspørsmål. Ved å observere kroppsspråk, er det lettere å fange opp nyanser og misforståelser enn ved telefonintervju. Krever god kjemi med intervjuobjekt. Respondentene må ha mulighet til å delta på fysisk møte. Krever god notat-teknikk, evt. at du tar opp lyden. Kan gi mindre sturkturerte svar enn spørreskjema, noe som vil kreve mer tid til analyse og sammenstilling.
FokusgruppeintervjuNår respondenter med ulike utgangspunkt blir satt sammen til et fokusgruppeintervju, kan dette føre til at du får ut svar du ikke ville fått ved et vanlig intervju.Krever god prosessledelse, for blant annet å hindre at enkeltpersoner dominerer fokusgruppa. Sett av god tid til planlegging og rekruttering. Krever ofte en dedikert person til å notere/dokumentere intervjuet.

Kunnskapen om brukereffekter viser veien videre

Når du har hentet inn informasjon om brukereffekter og du har fått kartlagt hvilken rolle utviklingsmidlene spiller, ender du gjerne i ett av tre scenarioer:

1. Midlene bidrar

I det første scenarioet finner du ut at midlene bidrar til brukereffekter i tråd med målsettingene – tjenesten eller tiltaket fungerer som tiltenkt. Det viktigste du kan bruke denne kunnskapen til handler om mulighetene for å videreføre tjenesten. Å kunne vise til konkrete resultater er ofte nødvendig for å vedlikeholde et tilbud eller en tjeneste.

Uansett hvor pengene kommer fra, er det som regel i konkurranse med andre tiltak og tjenester. Resultater blir brukt for å prioritere hvilke tjenester som skal videreføres eller ikke. Kan du vise til at tjenesten har positive effekter på målgruppen, står du bedre stilt for å få utløst finansiering fra samme, eller andre aktører.

2. Blandede svar

I det andre scenarioet finner man blandede svar. Det kan være at noen brukere har god nytte av tiltaket, mens andre ikke har noe nytte. Kanskje ser driverne av prosjektet en del forbedringspunkt. Spørsmålene ovenfor vil også her bidra med å få et klarere bilde. Er det et mønster i hvem som har nytte og ikke (eks. kvinner har bedre nytte enn menn)? Hvorfor? Kunnskapen du får ut av svarene kan brukes for å forbedre tjenesten.

3. Midlene bidrar ikke

I det tredje scenarioet finner du ikke brukereffekter i tråd med målsettingene. Kjeden med spørsmål ovenfor vil hjelpe med å finne ut hvorfor. Kjenner ikke målgruppen til tjenesten? Har ikke tjenesten den tiltenkte virkningen på målgruppen? Hvorfor? Treffer tjenesten andre målgrupper? Mangler man visse ressurser (forutsetninger)?

Dersom du ikke finner brukereffekter, er denne kunnskapen nødvendig for å endre på tjenesten, og evt. forutsetningene, slik at tjenesten kan gi effekter i tråd med målsettingen. I noen tilfeller finner du ut at tjenesten kan endres slik at den blir mer treffsikker. I andre tilfeller må du konkludere med at tjenesten ikke lett kan justeres og derfor ikke bør videreføres. Midlene bør heller brukes på noe annet. Utviklingsarbeid er ofte innovasjonsarbeid, og da må en regne med at ikke alt vil lykkes. Tør du ikke satse, blir det lite utvikling.

Kan vi være sikre på årsakssammenhenger? En vitenskapsteoretisk drøfting på tampen

Metoden som er vist ovenfor kan ikke med vitenskapelig sikkerhet påvise årsakssammenhenger. For å kunne påvise en årssakssammenheng vitenskaplig, må en rekke krav være oppfylt:

  1. årsaken må inntreffe før virkningen
  2. det må være en logisk sammenheng mellom årsak og virkning
  3. man må kunne utelukke at det ikke er andre forhold – tredjevariabel – som forårsaket virkningen.

De to første punktene oppfyller man med metoden ovenfor, men det siste punktet krever en mer vitenskaplig og systematisk tilnærming.

Dette kan vi illustrere med et eksempel: Fører et tiltak til mer inkludering av innvandrere?

Spørsmålet vi prøver å besvare er altså om en kan se en endring i hvor inkludert innvandrere føler seg (eller objektivt sett er) som en direkte følge av et tiltak.

At tiltaket skjer før en eventuell endring hos målgruppen innfrir krav 1) årsaken må inntreffe før virkningen. Dersom tiltaket er faglig fundert og i teorien skal ha ønsket virkning, er det med på å innfri krav 2) logisk sammenheng mellom årsak og virkning.

Men hvordan kan vi vite at det faktisk er tiltaket og ikke noe annet som er årsak til endringen hos målgruppen, altså at vi innfrir krav 3) utelukking av andre forhold? For å innfri dette kravet, må en måle hvor inkludert innvandrerne er før tiltaket, og så foreta en ny måling en stund etter tiltaket er satt i gang. I tillegg må vi ha en kontrollgruppe som blir målt på samme måte – men som ikke er berørt av tiltaket. Dette fordi tid alene kan være en faktor. Altså, det kan hende at innvandrerne ville følt seg mer inkludert fordi de har vært på stedet en stund, uavhengig av tiltaket.

Et nytt problem er at man må vite at kontrollgruppen og «tiltaksgruppen» er helt like. Det kan være at tiltaksgruppen har egenskaper som gjør at de ville blitt mer inkludert uansett, sammenlignet med kontrollgruppen – uavhengig av tiltaket. Det kan skje hvis innvandrerne selv velger om de vil nås av tiltaket eller ikke, for eksempel ved at de aktivt melder seg på. Det kan da hende at disse er mer motivert for inkludering, sammenlignet med de som ikke melder seg på, altså kontrollgruppen. Da kan det være andre ting denne gruppen gjør som bidrar til inkludering – ikke selve tiltaket, og det greier vi ikke å skille uten en helt sammenlignbar kontrollgruppe.

Dette er åpenbart meget krevende og hører normalt ikke til arbeidsoppgavene til samfunnsutviklere i kommunene, men til universiteter og andre FOU-miljøer.

Dersom man har behov for å isolere årsakssammenheng på denne måten, er det en oppgave som må utlyses som et forsknings- eller utredningsprosjekt. Dette må da planlegges helt fra starten – i god tid før et tiltak/program settes i gang. Er problemstillingen meget kompleks, slik som samfunnsutfordringer ofte er, er det heller ikke sikkert at et forskningsmiljø er i stand til å isolere årsakssammenhenger.

Vi mener likevel at prosjektledere/kommuner/fylkeskommuner kan gjøre noe selv i å spore resultater med måten som er vist ovenfor: Identifiser brukerne og spør dem ut om nytten. Dette er ikke en metode som kan si noe sikkert om årsakssammenhenger, men det gir likevel nyttig informasjon og kan si noe om sannsynligheten for at tiltaket virker.

I tillegg er det viktig at tiltaket/tjenesten er faglig fundert for å innfri krav 2) til fastsettelse av årsakssammenhenger. Det finnes forskning på det meste. Bruk eksisterende kunnskap til å designe tiltaket, og tilpass det til konteksten det skal ut i.