Kapittel 5: Konklusjon

Målet med denne oppgaven har vært å videreutvikle AnnForum som et verktøy for semantisk annotering av innlegg i et diskusjonsforum, for så å teste hvorvidt verktøyet kunne være til nytte for studentene i deres kollaborative læringsprosess. Hypotesen var at et slikt system ville gjøre det enklere for studentene å få tilgang til informasjon som har blitt diskutert i tidligere semester, og dermed gjenbruke denne informasjonen fremfor å starte på nytt hvert semester. AnnForum ble deretter evaluert og testet ved å gjennomføre en eksperimentell evaluering med seks studenter ved Universitet i Bergen.

Hovedsaklig var det teori fra semantisk web og datastøttet læring som ble brukt som utgangspunkt for utviklingen av systemet, og da særlig med vekt på annoteringer, ontologier og domenekart. Det ble gitt en beskrivelse av svakhetene ved tradisjonelle systemer for kunnskapshåndtering (blant annet diskusjonsforumer), hvor en underliggende mangel på konseptuell struktur flere ganger ble dratt frem som det største problemet. I tillegg ble lignende applikasjoner for annotering og klassifisering av informasjon diskutert, samt at det ble argumentert rundt fordelene og ulempene rundt ved disse systemene.

5.1 Tilbakeblikk på evalueringen

Resultatet fra de seks evalueringene var som nevnt meget positivt og viste at respondentene likte å ha tilgang til læringsressurser fra tidligere semesters diskusjoner. Grunnen for dette var at det ble lettere å finne mer utfyllende informasjon om et tema, noe som resulterte i redusert tidsbruk, i tillegg til at de syntes det var interessant å se hva tidligere studenter hadde skrevet. Særlig likte respondentene å få de relevante innleggene opp i en rangert liste da dette med en gang ga et inntrykk av hvilke innlegg som var mest relevante. Et par av respondentene sa også at en rangert liste over relevante innlegg kunne være et godt alternativ til å foreta et tradisjonelt tekstbasert søk. Muligheten for å stemme på om et innlegg var positivt eller negativt ble også stort sett godt mottatt.

5.2 Tilbakeblikk på utviklingen

Kombinasjonen av en automatisk klassifisering og en konseptuell domenemodell viste seg å fungere bra. Respondentene ga uttrykk for at innlegg som kom høyt opp på listen, virket mer relevante enn de lenger nede, noe som kan tyde på at et system som AnnForum er riktig vei å gå i en semantisk web-kontekst. Den dynamiske annoteringen av nye innlegg viste seg også å fungere meget godt: Nye innlegg ble plassert under de riktige konseptene stort sett i alle tilfeller, og relevansverdien virket riktig (da med utgangspunkt i respondentene sine tilbakemeldinger, samt manuell inspeksjon av relevansverdiene i databasen). Annoteringsprosessen forstyrret heller ikke respondentene sin arbeidsflyt da klassifiseringen skjedde automatisk, noe som er en forbedring i forhold til Helic sitt system (Helic et al., 2003).

AnnForum kan nok også være aktuelt i forbindelse med Knowledge Managment systemer sett i en organisasjonssammenheng, som for eksempel en intern-wiki. Dette krever selvsagt at AnnForum tilpasses det aktuelle Knowlede Management systemet; men implikasjonene er at ny informasjon vil bli dynamisk/automatisk annotert i henhold til en domenemodell for organisasjonen, noe som igjen kan forbedre søkemekanismene ved at man får frem relaterte ressurser sortert etter relevansverdi.

5.3 Forbedringer og fremtidig arbeid

Selv om det kom frem veldig mange positive aspekter gjennom evalueringen, ble det identifisert et par mangler og designmessige feil, samt at det også ble gitt flere forslag til forbedringer. En av de viktigste tingene som kom frem, var at funksjonen som ga studentene muligheten til å stemme på relevansen av et innlegg, kunne misbrukes ved å stemme flere ganger på samme innlegg. En annen negativ ting var at et testinnlegg kom veldig høyt på listen under konseptet «Turing Test». Ellers kommenterte to respondenter at utseendet, blant annet valg av farger, for brukergrensesnittet for relevante innlegg burde ha lignet mer på FLE3 sitt grensesnitt. Det ble også nevnt at det hadde vært nyttig å se hele konteksten/tråden som et innlegg hørte inn under, i tillegg til å kunne lenke de enkelte innleggene opp mot andre eksterne ressurser som referanser.

Fremtidig arbeid bør derfor først og fremst dreie seg om de ovennevnte momentene, selv om det bør nevnes at funksjonen for å kunne se hele tråden som et innlegg hører til under, var planlagt, men det ble ikke implementert på grunn av tidsmangel. Det samme gjelder et brukergrensesnitt som lar studenten bla gjennom alle innlegg tilknyttet et spesifikt konsept. Mer arbeid bør også legges i å gjøre det lettere å importere og klassifisere hele diskusjonsforumer. For eksempel kunne man ha hatt et menyvalg for dette i lærerens annoteringsverktøy. I tillegg bør AnnForum bli mer generisk, slik at det blir lettere å integrere det i andre typer diskusjonsforumer. Ellers kan systemet nok refaktoreres en god del for å gjøre koden og databasen mer oversiktlig.

Neste steg vil bli å se på muligheten for å tilpasse systemet til andre domener. Selv om AnnForum først og fremst ble utviklet med tanke på diskusjonsforumer, så bør det ikke være umulig å bruke de samme prinsippene i lignende situasjoner der klassifisering av dokumenter og annen ustrukturert informasjon kan være hensiktsmessig. Dette kan for eksempel være for å kategorisere nyhetsartikler eller organiseringen av ressurser i et web-basert Content Management System. Noen av modulene fra AnnForum kan nok gjenbrukes i denne sammenhengen. For eksempel kan nøkkelordgjenkjenneren benyttes til å klassifisere innholdet, mens brukergrensesnittet for relevante innlegg kan tilpasses til å hente frem relaterte ressurser uavhengig av klassifiseringsalgoritmen. Fremgangsmåten ved bruk i andre systemer vil generelt være den samme som for AnnForum:

Opprett en konseptuell domenemodell for det aktuelle domenet.
Velg hvilke eksisterende ressurser som skal annoteres.
Identifiser og legg til rette for dynamisk annotering av nye ressurser.
Lag en funksjon som henter frem relevante ressurser.

Videre til litteraturoversikten >>

Last updated Wed November 26 on 15:57:23