Appendiks
Appendiks A: Klassediagram
Appendiks B: Domenemodellen
<?xml version="1.0" encoding="utf-8"?>
<topicMap name="Artificial Intelligence">
<topic id="1">
<baseName>Agents</baseName>
<association>
<member name="Physical Agents"/>
<member name="Temporal Agents"/>
</association>
</topic>
<topic id="2">
<baseName>Algorithm types</baseName>
</topic>
<topic id="3">
<baseName>Applications</baseName>
</topic>
<topic id="4">
<baseName>Bayesian Inference</baseName>
</topic>
<topic id="5">
<baseName>Cognitive Science</baseName>
<association>
<member name="Computational modeling"/>
</association>
</topic>
<topic id="6">
<baseName>Computational modeling</baseName>
<association>
<member name="Data Preparation"/>
</association>
</topic>
<topic id="7">
<baseName>Data Preparation</baseName>
</topic>
<topic id="8">
<baseName>Education</baseName>
</topic>
<topic id="9">
<baseName>Ethical & Social implications</baseName>
</topic>
<topic id="10">
<baseName>Expert Systems</baseName>
</topic>
<topic id="11">
<baseName>Games & Puzzles</baseName>
</topic>
<topic id="12">
<baseName>History</baseName>
</topic>
<topic id="13">
<baseName>Human interaction</baseName>
<association>
<member name="Bayesian Inference"/>
</association>
</topic>
<topic id="14">
<baseName>Interfaces</baseName>
</topic>
<topic id="15">
<baseName>Machine Learning</baseName>
<association>
<member name="Algorithm types"/>
<member name="Human interaction"/>
</association>
</topic>
<topic id="16">
<baseName>Natural Language Processing</baseName>
</topic>
<topic id="17">
<baseName>Objections</baseName>
</topic>
<topic id="18">
<baseName>Philosophy</baseName>
</topic>
<topic id="19">
<baseName>Physical Agents</baseName>
</topic>
<topic id="20">
<baseName>Reasoning</baseName>
</topic>
<topic id="21">
<baseName>Reference Shelf </baseName>
</topic>
<topic id="22">
<baseName>Representation</baseName>
<variantName>KR</variantName>
</topic>
<topic id="23">
<baseName>Robots</baseName>
</topic>
<topic id="24">
<baseName>Science Fiction</baseName>
</topic>
<topic id="25">
<baseName>Speech</baseName>
</topic>
<topic id="26">
<baseName>Systems & Languages</baseName>
</topic>
<topic id="27">
<baseName>Temporal Agents</baseName>
</topic>
<topic id="28">
<baseName>Turing Test</baseName>
<association>
<member name="Objections"/>
</association>
</topic>
<topic id="29">
<baseName>Vision</baseName>
</topic>
</topicMap>
Appendiks C: Brukeroppgaver
- Åpne Internet Explorer
- Gå til adressen http://129.177.34.67:8080/FLE.
- Logg deg inn (brukernavn: x, passord: x), du vil nå havne på siden «WebTop».
- Fra toppmenyen, velg «Knowledge Building», trykk deretter på lenken «Artificial Intelligence discussion» for å komme til diskusjonsforumet for kunstig intelligens.
- Her ligger det to hovedinnlegg, «Problem with the Turing test» og «Machine learning and intelligent robots», som hver har ett eller flere svar fra andre brukere.
- Velg ett av hovedinnleggene eller ett av svarene, og se for deg at du ønsker å finne ut mer om dette temaet. Om du er usikker på hvilket innlegg du skal velge, bare les et av hovedinnleggene.
- Bruk «Show related notes»-funksjonen for å se etter relevante ressurser for dette innlegget.
- Svar på innlegget du valgte i 6 ved å gi din egen forklaring/definisjon (knowledge type: «My Explanation») på dette innlegget. Kom gjerne inn på andre AI-emner om du ser dette som nødvendig (machine learning, reasoning etc).
- Bruk «Show related notes»-funksjonen for å se om du finner noen relevante ressurser for innlegget du nettopp la til.
- Gå tilbake til «Artificial Intelligence discussion».
- Velg et nytt innlegg på samme måte som i punkt 6, se for deg at du ønsker å finne ut mer om dette temaet. Igjen, om du er usikker på hvilket innlegg du skal velge, bare les et av hovedinnleggene.
- Bruk «Show related notes»-funksjonen for å se etter relevante ressurser for dette innlegget.
- Svar på innlegget du valgte i punkt 11, men denne gangen med et nytt spørsmål som videre utdyper problemet (knowledge type: «Problem»). Dette kan for eksempel være noe du selv lurer på angående temaet, eventuelt relatert til et annet tema innenfor kunstig intelligens (machine learning, reasoning etc).
- Bruk «Show related notes»-funksjonen for å se om du finner noen relevante ressurser for innlegget du nettopp la til.
- Om du ikke allerede har gjort det, bruk «Show related notes»-funksjonen til å bla gjennom noen innlegg. Avgi stemme om du synes et innlegg er relevant eller ikke.
- Fra toppmenyen, velg «WebTop».
- Logg ut.
Appendiks D: Intervjutranskriberinger
Respondent 1
Kunnskap om AI-domenet (1-5): 3
Brukt FLE3 før (ja/nei)? Nei
- Skjønte du hensikten med «Show related notes»-knappen?
Ja, det var fordelaktig å kunne se hva andre har sagt om temaet. I tillegg var det òg nyttig med en prosentverdi som sa noe om relevansen for de forskjellige innleggene. - Ved bruk av «Show related notes»-knappen, synes du innleggene som kom opp i listen, virket relevante for diskusjonen? Hvorfor?
Ja, innleggene som ble listet opp, virket relevante, dette på grunn av tittelen på de forskjellige innleggene som i stor grad handlet om Turing Test i en eller annen form. Relevansverdien i prosent ga òg et inntrykk av at disse ressursene var relevante desto høyere prosentverdien var.Negativt: Relevansverdien kan òg misbrukes, for eksempel om en annen bruker stemmer sitt eget synspunkt høyt opp på listen. - For de innleggene du faktisk var inne på, synes du de var relevante for diskusjonen? På hvilken måte?
Ja, til dels. Ikke alle innleggene omhandlet Turing Test dirkete, men det var mye relevant informasjon om temaet. Noen av innleggene referer til andre innlegg, noe som er vanlig i et diskusjonsforum. - Hva synes du om muligheten for å se relevante innlegg? Nyttig eller unyttig?
Veldig nyttig, bra å kunne se andres synspunkter om temaet samt bruke innleggene som referanser. - Hva var mest interessant ved de foreslåtte innleggene?
Muligheten for å få mer utdypende kunnskap om temaet. - Hva var minst interessant ved de foreslåtte innleggene?
Allerede svart på (relevansverdien kan misbrukes om man ønsker å få sine egne meninger høyere opp på listen). - Var det noe du helst ville ha sett gjort på en annen måte?
Det kunne kanskje vært nyttig å knytte de enkelte innlegg opp mot referanser for AI-feltet, for eksempel vitenskaplige artikler og lignende. - Hvilke innlegg leste/rangerte du? Hva var det som gjorde at du valgte akkurat disse innleggene?
Leste innlegg ut fra relevansverdi og tittel. Innlegg som var bra skrevet, ble rangert positivt. Unngikk bevist å rangere innlegg som ikke var relevante, dette for ikke å rangere et innlegg negativt basert på subjektive meninger. - Synes du relevansverdien i prosent var riktig for de innleggene du leste? Hvorfor?
Ja, for så vidt. Virket som om at innlegg med høy relevansverdi faktisk var relevante, men subjektive meninger kan òg spille inn på relevansen for innlegg. Et velskrevet innlegg har man gjerne mye fakta, og man knytter det opp mot sine meninger. For mye subjektivitet i et innlegg kan lett oppfattes som mindre relevant enn et faktabasert innlegg. Dermed er det ikke sagt at de subjektive innleggene er irrelevante. - Hva synes du om ideen om å gjenbruke innlegg fra tidligere semesters diskusjoner?
Det virker som en god idé (med utgangspunkt i svarene som ble gitt ovenfor). - Tror du at en slik funksjon ville blitt brukt i en virkelig studiesituasjon?
Ja, men for det meste i situasjoner der brukerne er høyt motiverte, for eksempel i en studiesituasjon. I offentlige og/eller overfladiske diskusjoner vil brukerne kanskje ikke være motiverte nok til å bruke en slik funksjon. - Ville du brukt en slik funksjon i en studiesituasjon?
Ja, tror det. - Andre ting som var uklare eller som du ønsker å få frem?
Grensesnittet var oversiktlig.
Respondent 2
Kunnskap om AI-domenet (1-5): 5
Brukt FLE3 før (ja/nei)? Nei
- Skjønte du hensikten med «Show related notes»-knappen?
Ja. Den forsøker å tolke innholdet i innlegg og vise andre innlegg som er "like". - Ved bruk av «Show related notes»-knappen, synes du innleggene som kom opp i listen, virket relevante for diskusjonen? Hvorfor?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 4
Innleggenes overskrifter viste raskt hvorfor programmet mente de var relevante. - For de innleggene du faktisk var inne på, synes du de var relevante for diskusjonen? På hvilken måte?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 4
Som oftest var innleggene meget relevante og ga et inntrykk av gjennomtenkt diskusjon uten å vektlegge noen "sider" av diskusjonen mer enn andre. Noen av innleggene var irrelevante (Turing test ble lenket til et testinnlegg med kun ordet "test" i f.eks.) - Hva synes du om muligheten for å se relevante innlegg? Nyttig eller unyttig?
På en skala fra 1-5 der 5 er veldig nyttig, hvor nyttig? 5
Meget nyttig. Helt klart en god idé. - Hadde de relevante innleggene du leste, noen påvirkning på hvordan du formulerte svarene dine?
Ja. De ga meg inntrykk av at det var et levende forum som folk virkelig brukte. Dette ga meg igjen inspirasjon til å skrive virkelige innlegg, ikke bare lire av meg en setning eller to. - Hva var mest interessant ved de foreslåtte innleggene?
Det mest interessante var at de virket reelt relaterte, de inneholdt ikke bare det samme ordet et par ganger som slike systemer vanligvis synes å resultere i. - Hva var minst interessant ved de foreslåtte innleggene?
Den gangen en test kom inn i lista mi. - Var det noe du helst ville ha sett gjort på en annen måte?
En enkel ingress under overskriftene i lista ville gjort det enda bedre! - Hvilke innlegg leste/rangerte du? Hva var det som gjorde at du valgte akkurat disse innleggene?
Jeg leste alle med 100 % relevans, og stort sett alle med over 90 %. Rangerte de jeg syntes virkelig traff eller bommet på temaet. - Synes du relevansverdien i prosent var riktig for de innleggene du leste? Hvorfor?
Relevansverdien er veldig viktig. Selv om jeg ikke kjenner metrikken bak, gir det meg et inntrykk av hvor mye jeg kan forvente av innlegget før jeg trykker på det. - Hva synes du om ideen om å gjenbruke innlegg fra tidligere semesters diskusjoner?
Ypperlig. - Tror du at en slik funksjon ville blitt brukt i en virkelig studiesituasjon?
Jeg tror den ville bli brukt mye i en studiesituasjon, og jeg tror også den ville vært veldig nyttig på "sosiale nettsider" generelt. - Ville du brukt en slik funksjon i en studiesituasjon?
Ja. - Andre ting som var uklare eller som du ønsker å få frem?
Alt greit.
Respondent 3
Kunnskap om AI-domenet (1-5): 2
Brukt FLE3 før (ja/nei)? Nei
- Skjønte du hensikten med «Show related notes»-knappen?
Ja, den viser innlegg som handler om samme tema, og hvor relevante de var for det jeg leste. - Ved bruk av «Show related notes»-knappen, synes du innleggene som kom opp i listen, virket relevante for diskusjonen? Hvorfor?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 4
Ja, jeg syntes det var mange relevante innlegg der. Innleggene handlet om det temaet jeg leste om. - For de innleggene du faktisk var inne på, synes du de var relevante for diskusjonen? På hvilken måte?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 3
Samme som på spørsmål 2, innleggene handlet om samme tema, selv om kvaliteten på innleggene ikke nødvendigvis var like relevant. - Hva synes du om muligheten for å se relevante innlegg? Nyttig eller unyttig?
På en skala fra 1-5 der 5 er veldig nyttig, hvor nyttig? 4
Nyttig. - Hadde de relevante innleggene du leste, noen påvirkning på hvordan du formulerte svarene dine?
Det er mulig jeg ble litt påvirket av det, ja. - Hva var mest interessant ved de foreslåtte innleggene?
Det var interessant å se hva andre hadde skrevet, og man kunne lese og lære mer om temaet enn det som var oppe i diskusjonen jeg var i. - Hva var minst interessant ved de foreslåtte innleggene?
De minst relevante innleggene var uinteressante. - Var det noe du helst ville ha sett gjort på en annen måte?
Nei. - Hvilke innlegg leste/rangerte du? Hva var det som gjorde at du valgte akkurat disse innleggene?
De med høyest ranking leste jeg først, men jeg leste også noen med dårligere ranking for å se om jeg syntes de var dårligere. De som hadde høy relevans til temaet, rangerte jeg. - Synes du relevansverdien i prosent var riktig for de innleggene du leste? Hvorfor?
Ja, jeg syntes innleggene med høyest relevansverdi hadde mest tilknytning til temaet, og jeg syntes innholdet i de innleggene hadde en faglig høy kvalitet. - Hva synes du om ideen om å gjenbruke innlegg fra tidligere semesters diskusjoner?
Jeg synes det er bra. Det er dumt at det samme skal skrives om igjen flere ganger, og man kan også finne lærdom i gamle innlegg. - Tror du at en slik funksjon ville blitt brukt i en virkelig studiesituasjon?
Ja, det tror jeg. - Ville du brukt en slik funksjon i en studiesituasjon?
Ja, jeg tror jeg ville benyttet meg av det. - Andre ting som var uklare eller som du ønsker å få frem?
Jeg er litt imot at samme ting skal skrives om igjen flere ganger ulike steder. Da er det litt bortkastet at man finner et poeng i en gammel diskusjon som man bruker i den nye. Samtidig ser jeg viktigheten av at de viktige poengene kommer klart frem i hver diskusjon også.
Respondent 4
Kunnskap om AI-domenet (1-5): 3, Har tatt et par fag, og noenlunde hobbyinteressert.
Brukt FLE3 før (ja/nei)? Nei.
- Skjønte du hensikten med «Show related notes»-knappen?
Ja, den viser innlegg som er relevante for nåværende innlegg. - Ved bruk av «Show related notes»-knappen, synes du innleggene som kom opp i listen, virket relevante for diskusjonen? Hvorfor?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 5
Ja, alle handlet om det aktuelle temaet, i dette tilfellet Turing Test. - For de innleggene du faktisk var inne på, synes du de var relevante for diskusjonen? På hvilken måte?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 5
Ja (se forrige spørsmål). - Hva synes du om muligheten for å se relevante innlegg? Nyttig eller unyttig?
På en skala fra 1-5 der 5 er veldig nyttig, hvor nyttig? 5
Nyttig! Det er lettere med en liste enn å måtte navigere et hierarki, og sorteringen gjorde det lettere å unngå unyttige innlegg. - Hadde de relevante innleggene du leste, noen påvirkning på hvordan du formulerte svarene dine?
Ja, leste en god del av de relevante innleggene, og da særlig før jeg skrev det andre innlegget (som da var basert på disse). - Hva var mest interessant ved de foreslåtte innleggene?
Synes det var interessant med muligheten for å avgi stemme for om et foreslått innlegg var relevant eller ikke. - Hva var minst interessant ved de foreslåtte innleggene?
Likte ikke popup-vinduene, synes heller at innleggene kunne kommet opp i samme vindu som listen med relevante innlegg, for eksempel til høyre for listen. - Var det noe du helst ville ha sett gjort på en annen måte?
Se over, samt at UI-en gjerne kunne hatt litt mer samme look-and-feel som FLE3. - Hvilke innlegg leste/rangerte du? Hva var det som gjorde at du valgte akkurat disse innleggene?
Leste en god del av innleggene som handlet om Turing Test. Leste hovedsaklig først de innleggene med høy relevansverdi, men så òg litt på de på bunnen for å kunne sammenlikne. Var vel en kombinasjon av høy relevansverdi og interessant tittel som avgjorde hvilke relevante innlegg som ble lest. For det andre innlegget jeg skrev, fikk jeg ikke svar på spørsmålet mitt ved hjelp av de relevante innleggene. - Synes du relevansverdien i prosent var riktig for de innleggene du leste? Hvorfor?
Ja, fikk inntrykk av at de innleggene med høy relevansverdi faktisk var mer relevante for diskusjonen, mens de med lav relevansverdi ofte ikke var så godt skrevne / veldig relevante. - Hva synes du om ideen om å gjenbruke innlegg fra tidligere semesters diskusjoner?
Jeg er for. - Tror du at en slik funksjon ville blitt brukt i en virkelig studiesituasjon?
Ja, fordi jeg selv ville ha brukt den, og jeg er lat. Funksjonen er lettere tilgjengelig og mer nyttig enn den tradisjonelle SEARCH-knappen. - Ville du brukt en slik funksjon i en studiesituasjon?
Ja (se 12). - Andre ting som var uklare eller som du ønsker å få frem?
Nei.
Respondent 5
Kunnskap om AI-domenet (1-5): 4
Brukt FLE3 før (ja/nei)? Nei
- Skjønte du hensikten med «Show related notes»-knappen?
Ja. - Ved bruk av «Show related notes»-knappen, synes du innleggene som kom opp i listen, virket relevante for diskusjonen? Hvorfor?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 3
De fleste var relevant, men samtidig så virket det som at det var lite brukerdata for å beregne relevans. Etter at jeg hadde sagt at et innlegg var relevant, gikk det fra bunnen av listen og ganske langt opp. - For de innleggene du faktisk var inne på, synes du de var relevante for diskusjonen? På hvilken måte?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 4
Ja, det var interessant å lese. Med mange innlegg kunne dette ha vært svært interessant. - Hva synes du om muligheten for å se relevante innlegg? Nyttig eller unyttig?
På en skala fra 1-5 der 5 er veldig nyttig, hvor nyttig? 4
Dette er svært nyttig i et diskusjonsforum. Ofte finnes relevante innlegg, men på grunn av en enorm informasjonsmasse blir det nesten umulig å finne frem til det man ønsker. - Hadde de relevante innleggene du leste, noen påvirkning på hvordan du formulerte svarene dine?
Nei. - Hva var mest interessant ved de foreslåtte innleggene?
Å lese andres vinklinger på samme sak. - Hva var minst interessant ved de foreslåtte innleggene?
--- - Var det noe du helst ville ha sett gjort på en annen måte?
Det hadde vært fint om man hadde kunne sett mer av innleggene i listen som de kom opp i. Det er ofte slik at overskriften ikke reflekterer innholdet på en god måte. - Hvilke innlegg leste/rangerte du? Hva var det som gjorde at du valgte akkurat disse innleggene?
Overskriften og rangeringen påvirket hvilke jeg leste. - Synes du relevansverdien i prosent var riktig for de innleggene du leste? Hvorfor?
Ja, men når få har stemt, blir prosentverdien litt upålitelig. - Hva synes du om ideen om å gjenbruke innlegg fra tidligere semesters diskusjoner?
Kjempebra. Mye kunnskap går tapt mellom hvert kull. - Tror du at en slik funksjon ville blitt brukt i en virkelig studiesituasjon?
Så absolutt. - Ville du brukt en slik funksjon i en studiesituasjon?
Ja. - Andre ting som var uklare eller som du ønsker å få frem?
Nei.
Respondent 6
Kunnskap om AI-domenet (1-5): 2
Brukt FLE3 før (ja/nei)? Nei
- Skjønte du hensikten med «Show related notes»-knappen?
Ja, den søker etter tidligere innlegg om et tema basert på nøkkelordene. - Ved bruk av «Show related notes»-knappen, synes du innleggene som kom opp i listen, virket relevante for diskusjonen? Hvorfor?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 3
Ja, de virket relevante, men fant ikke informasjon for sub-tråder, titlene på de relevante innleggene var òg dårlige. - For de innleggene du faktisk var inne på, synes du de var relevante for diskusjonen? På hvilken måte?
På en skala fra 1-5 der 5 er mest relevant, hvor relevante? 4
Ja, innholdet i innleggene var stort sett bedre enn tittelen. - Hva synes du om muligheten for å se relevante innlegg? Nyttig eller unyttig?
På en skala fra 1-5 der 5 er veldig nyttig, hvor nyttig? 5
Veldig nyttig, spesielt for generelle spørsmål da man unngår å få duplikeringer av samme type spørsmål/svar. De relevante innleggene gjør deg òg oppmerksom på lignende tema. - Hadde de relevante innleggene du leste, noen påvirkning på hvordan du formulerte svarene dine?
Nei, av gammel vane så jeg på de relevante innleggene fra tidligere diskusjoner etter jeg formulerte svaret i nåværende diskusjon. - Hva var mest interessant ved de foreslåtte innleggene?
Et godt alternativ til å søke da det på en måte fungerte som «automatisk søk». Viste òg mer info om et tema. Ikke detaljerte nok med søkefunksjoner (kan du klarifisere denne litt?) Skulle likt å sett hvilke diskusjoner innleggene var hentet fra, innlegget de svarte på, og innlegg som er svar på innlegget. Er også det jeg prøver å si under i #8. - Hva var minst interessant ved de foreslåtte innleggene?
Det er fare for misbruk ved at man kan stemme sine synspunkt høyt opp på listen, bør være en sperre for dette. - Var det noe du helst ville ha sett gjort på en annen måte?
Kanskje oppfordre bruker til å skrive mer detaljerte / bedre titler til innleggene. Bør òg være mulig å vise hele tråden for de enkelte relevante innleggene. GUI-en burde hatt samme stil som FLE3. - Hvilke innlegg leste/rangerte du? Hva var det som gjorde at du valgte akkurat disse innleggene?
Leste innlegg basert på tittel og relevansverdi, tittel var det som var viktigst. Innleggene var relevante, og det var derfor jeg rangerte de, stemte ett innlegg opp på listen og ett innlegg ned. - Synes du relevansverdien i prosent var riktig for de innleggene du leste? Hvorfor?
Ja, som oftest var relevansverdien bra nok. - Hva synes du om ideen om å gjenbruke innlegg fra tidligere semesters diskusjoner?
Bra, det er synd at viktig informasjon går tapt fra semester til semester. Eventuelt at en diskusjonstråd med nyttig informasjon blir "begravd" fordi den har vært innaktiv, mens nyere tråder er startet og dermed kommet først på listen av alle tråder. - Tror du at en slik funksjon ville blitt brukt i en virkelig studiesituasjon?
Ja, det tror jeg. Diskusjonsforumer kan bli mangelfulle fordi det nødvendigvis ikke er så mange tråder som startes i løpet av et semester. Flyktig info blir ofte ikke brukt, og da mener jeg tråder som diskuter ting utenom fagfeltet (for eksempel bytte av klasserom / fagfest en spesifikk dato) ikke vil komme opp i "relevante innlegg", altså disse kan bli begravd. - Ville du brukt en slik funksjon i en studiesituasjon?
Ja. - Andre ting som var uklare eller som du ønsker å få frem?
Nei.
Last updated Wed November 26 on 15:57:46