Kapittel 1: Innledning

Begrepet annotering er sentralt innen semantisk web, og en annotering defineres i dette tilfellet som en kommentar eller et notat som beskriver et objekt eller et dokument (Euzenat, 2002). Innen dagens moderne utdanning blir læringsmateriale stort sett gjort tilgjengelig på Internett, og i en læringskontekst er det ikke bare læringsmateriale og ressurser lagt ut av lærere som kan bli annotert, men også materiale lagt ut av studenter som ledd i deres kollaborative læringsprosess. Blant annet diskusjonsforumer har blitt mye brukt i forskjellige læringskontekster, for eksempel til å stille faglige spørsmål, diskutere prosjektarbeid, samarbeide i forskjellige situasjoner, presentere hypoteser, lenke opp til relevante ressurser og så videre.

Disse diskusjonsforumene kan derfor ved riktig bruk inneholde mye viktig informasjon relatert til læring, og de har derfor et stort potensiale til å kunne øke kunnskapsbyggingen hos studenter. Azouaou, Chen og Desmoulins (2005), samt Helic (2003, 2005) har skrevet en del om dette temaet, og de sier at det blant annet ville vært meget nyttig om man kunne brukt informasjonen i innleggene fra tidligere semesters diskusjoner som nye læringssresurser, slik at nye studenter i inneværende semester kunne dratt fordel av det som andre studenter har lært, erfart og diskutert. På denne måten ville man fått en situasjon der kunnskapsbyggingen bygger videre på allerede oppsamlet kunnskap. Slik det er nå, må man starte hele prosessen på nytt hvert eneste semester, noe som er både tidkrevende og ineffektivt.

Selv om det ligger mye læringsinformasjon tilgjengelig på Internett og i diskusjonsforumer, er disse ressursene vanskelige å finne frem til, samt vanskelige å gjenbruke. Dette henger til dels sammen med at de fleste diskusjonsforumer som eksisterer i dag, er rotete og uoversiktlige, og lærings-diskusjonsforumer er intet unntak (Helic, 2003). Selv om det er den enkle, trådbasere strukturen til diskusjonsforumer som har gjort de så populære, så er det også den samme enkle strukturen som kan gjøre det til en tidkrevende og vanskelig prosess å finne informasjon og få oversikt over relevante innlegg. Et av de vanligste problemene er at innlegg dyttes lenger og lenger bak i hierarkiet etter hvert som nye innlegg legges til, noe som medfører at eldre, ofte relevante innlegg, havner bakerst i listen. Siden brukerne stort sett konsentrerer seg om å lese de innleggene som er lettest tilgjengelige, altså de nyeste innleggene, så vil disse eldre innleggene da ofte bli ignorert. Et annet vanlig problem er at det kan være veldig vanskelig å se om et innlegg er relevant eller ikke ut fra en lite beskrivende tittel, noe som har sammenheng med at de fleste brukerne ofte ikke er motiverte nok til å bruke tid på å formulere en beskrivende tittel. Som oftest ender de bare opp med å trykke på «Reply» og bruker dermed den autogenererte tittelen som kommer opp, for eksempel «RE: Hva er en annotering» eller «RE: Hjelp!!!».

Alle de ovennevnte problemene, kombinert med søkefunksjoner som ofte ikke er gode nok, har den konsekvensen at det vil gå fortere for brukerne å legge inn et nytt innlegg, fremfor å måtte bruke mye tid på å lete etter tidligere innlegg som omhandler det ønskede temaet. Dette er en lite effektiv prosess da det fører til mye duplisering av allerede eksisterende informasjon og spørsmål som tar opp samme type tema/spørsmål. Eldre og ofte relevante innlegg blir av denne grunnen ofte oversett, noe som fører til at mye verdifull informasjon som kunne vært brukt i læringsprosessen går tapt. Problemet består derfor både i informasjonsfremfinning (Information Retrieval), kunnskapshåndtering (Knowledge Management) og i å gjenbruke denne informasjonen på en fornuftig måte ved hjelp av semantisk web.

1.1 Problemet med tradisjonelle diskusjonsforumer

Som nevnt så er det den enkle strukturen til diskusjonsforumer som har gjort disse så populære, men det er også den samme strukturen som har gjort det så problematisk å finne frem til ønsket informasjon på en enkel og intuitiv måte. Mye av dette henger sammen med det som plager Internett som helhet, nemlig en grunnleggende mangel på en konseptuell struktur. Informasjon er ikke klassifisert på en måte som gjør at maskiner kan tolke den (Antoniou, 2004: 1-2). Noen av de mest sentrale problemene ved tradisjonelle diskusjonsforum er listet opp nedenfor:

De har for dårlig støtte for informasjonsfremfinning (kun rene tekstsøk), noe som gjør det vanskelig å finne relevante innlegg og ressurser tilknyttet et spesifikt tema.
De blir fort uoversiktlige etter hvert som antall innlegg i forumet vokser.
Eldre, og ofte relevante, innlegg blir dyttet lenger og lenger bak i køen, og har derfor en tendens til å bli oversett og glemt.
Titlene for de enkelte innleggene er ofte lite beskrivende og sier lite om innleggets innhold. Det vanligste er at tittelen er av formen «RE: <tittel på hovedinnlegg>» (se figur 1.1).

Det må likevel nevnes at i noen tilfeller, for eksempel der forumet er forholdsvis lite, eller der diskusjonen handler om et flyktig tema, så er ikke disse problemene grunn til en altfor stor bekymring; for eksempel i en diskusjon som omhandler en nyhetsartikkel. Men i situasjoner der diskusjonsforumene kan inneholde mye nyttig/generell informasjon, og som mange kan ha interesse av å finne frem til (for eksempel innen læring eller forskning), så kan det vært interessert å ta vare på denne informasjonen. De skisserte problemene blir derfor i disse tilfellene litt mer alvorlige fordi de kompliserer prosessen med å lett finne frem til den aktuelle informasjonen.

Slashdot discussion forum

Figur 1.1: Et typisk diskusjonsforum med lite beskrivende titler

Et system som bruker teori og teknologi relatert til Semantisk Web for å kategorisere innleggene, hovedsaklig gjennom semantisk annotering, og som i tillegg hjelper brukeren til å finne frem til relevante og ønskede innlegg på en enkel måte, kan derfor være et steg i riktig retning. Dette kan drastisk forenkle informasjonsfremfinningen, og potensialet med dette er at brukerne slipper å bruke så mye tid på å lete etter ønsket informasjon. I tillegg kan kvaliteten på informasjonen i diskusjonsforumene bli bedre, hovedsaklig som følge av at det blir mindre «støy» i form av duplikate innlegg.

1.1.1 Eksisterende systemer - hva andre tilbyr

Innen informasjonsfremfinning har det blitt gjort mye arbeid når det kommer til å finne (lærings)informasjon på Internett, blant annet også til å lage systemer som finner frem til og gjenbruker informasjon i diskusjonsforumer. Men det er fortsatt flere problemer relatert til dette. Blant annet har Helic (2003, 2005) utviklet et verktøy som lar brukerne manuelt tilordne et innlegg til et konsept i en predefinert domenemodell, der den konseptuelle domenemodellen er uavhengig av diskusjonsforumet. Men denne fremgangsmåten har vist seg å ikke være optimalt av to årsaker: For det første er studentene ofte ikke motiverte nok til å manuelt tilordne et innlegg til et spesifikt konsept, noe som har sammenheng med at det medfører mer arbeid for studenten. For det andre kan det oppstå situasjoner der et innlegg kan tilordnes mer enn ett konsept.

En annen fremgangsmåte som har vært forsøkt av Craven (1998) er å gi diskusjonsforumet en predefinert struktur basert på domenets konseptuelle skjema, men dette er heller ikke optimalt da det begrenser brukerens frihet når innlegg skal postes. For eksempel kan det kan oppstå en situasjon der innlegget ikke passer inn i domenemodellen. I tillegg har en slik fremgangsmåte de samme ulempene som Helic sitt system: Brukerne er ofte ikke motiverte nok til å utføre det ekstra arbeidet med å manuelt tilordne informasjon til konsepter, samt at innlegget kan passe inn under mer enn ett konsept.

Vi ser med andre ord at et system som er for komplisert gjennom å sette for mange begrensninger, eller som gjør at brukeren får en ekstra arbeidsbyrde, vil være mer til hinder enn til nytte og vil føre til at brukerne fort mister motivasjonen og gir opp. Det er derfor nødvendig at et slikt system gir brukeren tilstrekkelig frihet når det kommer til det å poste nye innlegg, og som i tillegg hjelper til med å automatisk tilordne et innlegg til eventuelle relevante konsepter.

Om disse kravene oppfylles, kan dette medføre at:

Det blir lettere å finne frem til relevante innlegg.
Søkefunksjonene blir bedre ved at mengden relevant informasjon som hentes frem blir mer presis: Recall og precision øker (Yates et al., s. 75, 1999).
Det blir mindre «overhead», altså at samme type spørsmål gjentas gang på gang.Man får en oversikt over relevante ressurser tilknyttet de forskjellige innleggene.

Men det aller viktigste er den økte muligheten for gjenbruk av informasjon fra tidligere diskusjoner. Se kapittel 2 for flere detaljer om eksisterende systemer, samt en diskusjon og en kort analyse av systemene til Helic og Craven.

1.1.2 Løsningsforslag

AnnForum (Annotating discussion Forum) er en prototype som først ble utviklet ved Universitetet i Bergen (Chen, 2004), og er et eksempel på et annoteringsverktøy som tilbyr en semi-automatisk, semantisk annotering av innlegg i diskusjonsforumer. Systemet er integrert i gruppevaresystemet FLE3, og har tidligere blitt brukt i kurset INFO281: Kunstig Intelligens. AnnForum ble imidlertid ikke testet med tanke på brukbarhet, noe som har sammenheng med at prototypen var uferdig.

FLE3, eller Future Learning Environment, er utviklet ved Universitetet i Helsinki, og er et gruppevaresystem som benyttes hovedsaklig i forbindelse med datastøttet samarbeid. Systemet er utviklet for å støtte opp om kunnskapsbygging sett i en gruppesammenheng, og har flere moduler som støtter opp om dette. Målet er å sette søkelys på kunnskapsbygging, problemløsning og forskningsmessige metoder i en læringssammenheng. WebTop er et personlig arbeidsområde hvor lærere og studenter kan lagre ressurser relatert til studiene, som for eksempel dokumenter og bilder. Knowledge Building er et diskusjonsforum som gjør det mulig å organisere innleggene i henhold til fem forskjellige kunnskapstyper: Problem, My Explanation, Scientific Explanation, Evaluation of the Process og Summary. Jamming er en modul som brukes som et felles arbeidsområde for digitale ressurser, som for eksempel bilder, video etc. Kunnskapsbyggingsmodulen har blitt mye brukt i INFO281, og inneholder derfor flere hundre innlegg som har blitt brukt som nye læringsressurser. Figur 1.2 viser et skjermbilde av kunnskapsbyggingsmodulen til FLE3.

FLE3

Figur 1.2: FLE3 sin kunnskapsbyggingsmodul

For å gjenbruke innleggene som ligger i diskusjonsforumet til FLE3 har det manuelt blitt konstruert en konseptuell domenemodell, eller en ontologi, i form av et XML Topic Map (XTM) som beskriver konsepter innenfor kunstig intelligens-domenet. Det har også blitt utviklet en klassifiseringsalgoritme som kategoriserer innleggene i diskusjonsforumet i henhold til disse konseptene. Den ovennevnte klassifiseringsalgoritmen og domenemodellen, sammen med et brukergrensesnitt hvor studentene kan se relevante innlegg samt hvilke emner innlegget er relatert til, gjør det dermed mulig for systemet å presentere relevant informasjon fra tidligere semesters diskusjoner. Studentene får dermed en mulighet til å få en oversikt over innlegg som andre studenter har skrevet tidligere, og som kan være relevante for den nåværende diskusjonen.

Den automatiske klassifiseringen av nye innlegg løser blant annet også problemet med at studentene manuelt må foreta tilordningen, i tillegg til at et innlegg nå kan kategoriseres under mer enn et relevant konsept. Etter at studentene har lest et relevant innlegg har de dessuten mulighet for å avgi en stemme for om de synes et foreslått innlegg var relevant eller ikke. Denne stemmen vil påvirke rangeringen av de relevante innleggene for neste bruker da urelevante innlegg havner langt nede på listen, mens relevante innlegg vil havne langt oppe. Man kan altså si at systemet «lærer» ved å ta imot tilbakemelding fra brukerne.

Under utformingen av systemet har det vært vektlagt at selve annoteringsprosessen skal gi studenten tilstrekkelig frihet når han poster innlegg, i tillegg til at prosessen heller ikke skal forstyrre læringsprosessen. Ved siden av grensesnittet som viser relevante innlegg til studentene har det også blitt utviklet et administrativt verktøy for læreren. Dette verktøyet gir læreren mulighet til å opprette nye domenemodeller, få en oversikt over og redigere eksisterende modeller, åpne tidligere diskusjonsforumer samt redigere annoteringene for de klassifiserte innleggene. Se kapittel 3 for mer informasjon om lærerens administreringsverktøy.

1.2 Forskningsspørsmål

Denne delen tar for seg forskningsspørsmålet, problemstillingen og hypotesen min.

1.2.1 Problemstilling og hypotese

Forskningsspørsmålet og problemstillingen min har gått ut på å se om semantisk annotering av innleggene i diskusjonsforumer kan hjelpe studenter i deres kollaborative læringsprosess, ved at læringsressurser fra tidligere semesters diskusjoner gjenbrukes som nye læringsressurser i den nåværende diskusjonen. Fremgangsmåten for å få svar på dette spørsmålet har vært todelt:

Jeg har videreutviklet et system for semi-automatisk, semantisk annotering av innleggene i diskusjonsforum.
Jeg har evaluert dette systemet ved å se på brukbarheten og brukervennligheten når det kommer til annoteringen av ikke-prefabrikkert læringsmateriale.

Med andre ord har oppgaven min vært å implementere systemet AnnForum (Annotating discussion Forum) som blant annet har inkluderer et administrativt verktøy, en klassifiseringsalgoritme, i tillegg til et brukergrensesnitt for relevante innlegg. Deretter har jeg gjennomført en funksjonell brukertest med tanke på brukbarhet og brukervennlighet av systemet. Et viktig moment har vært at annoteringsprosessen ikke skal forstyrre læringsprosessen for studentene; de skal selv kunne velge om de vil bruke funksjonen eller ikke.

1.3 Organisering av teksten

Ved siden av innledningen, konklusjonen, innholdsfortegnelsen og appendikset så er denne oppgaven delt opp i fire andre kapitler.

Kapittel 2 tar for seg aktuelle teorier og relevant litteratur som har vært viktige i forbindelse med utformingen, utviklingen og evalueringen av AnnForum. Det som blir tatt opp her, fungerer som et utgangspunkt for argumentasjonen i resten av oppgaven i tillegg til å begrunne de teoretiske og designmessige valgene som har blitt gjort underveis. Viktige bidrag gjort av andre aktører i relasjon til problemstillingen, som for eksempel eksisterende systemer for annotering av læringsressurser, vil også bli diskutert.

Kapittel 3 beskriver oppbyggingen av AnnForum ut fra et teknisk perspektiv. Dette inkluderer blant annet de formelle kravene til systemet, systemarkitekturen, sentrale komponenter, eksempelkode samt hvordan systemet har blitt integrert med FLE3. I tillegg gis det en gjennomgang av de mest sentrale brukergrensesnittene til AnnForum.

Kapittel 4 evaluerer AnnForum i forhold til problemstillingen og er delt opp i tre deler. Den første delen tar for seg selve evalueringsmetoden, den andre delen beskriver hvordan evalueringen ble gjennomført i praksis med tanke på utvalg av respondentene, intervjuprosessen og lignende, mens den tredje delen analyserer innsamlet data og oppsummerer resultatet av evalueringen.

Kapittel 5 oppsummerer teksten i form av en konklusjon, samt pekker ut fremtidig arbeid i forbindelse med AnnForum. I tillegg diskuteres resultatet fra den eksperimentelle evalueringen i korte trekk, med den hensikten å se på om resultatet var som forventet i forhold til problemstillingen og hypotesen. Var det spesielle momenter som skilte seg ut, eventuelt var som forventet, og hvorfor respondentene svarte som de gjorde.

Videre til kapittel 2: Teoretisk rammeverk >>

Last updated Wed November 26 on 15:56:43