Wikipedia:Skole og universitetsprosjekt/Metoder for automatisk sensurering
Metoder for automatisk sensurering går ut på å fange opp uønskede ytringer på Wikipedia. Nå skyter en med hagle, eller endog kanon, for å stoppe relativt beskjeden trolling. Det ene virkemidlet er blokkering av bidrag til en artikkel, enten for anonyme eller for skribenter overhodet. Det andre virkemidlet er blokkering av en gitt bruker. Ingen av løsningene er ønskelige om problemet oppstår i relasjon til en enkelt artikkel eller et bestemt tema. Typiske eksempler er slik som rykter om personer, rykter om hendelser, påviste feil i publikasjoner, og lignende.
Det finnes noe arbeid på en løsning. Dette tar for seg trunkerte hashnøkler og usikkerhet knyttet til hva som identifiseres, og bruk av nilsimsa.[1]
Regulæruttrykk[rediger kilde]
Sensurering på bakgrunn av regulæruttrykk er en mulighet, spesielt der problemet kan identifiseres som et unikt begrep eller navn eller lignende. Ulempen er at filteret kan omgås ved relativt banal omskriving av tekststrengene, for eksempel ved at «Helvete» skrives «helveetee» ol. Noen løsninger er kjent fra strenggrammatikk, slik den er i bruk i automatisk klassifisering, og noen løsninger er kjent fra alminnelig vandalismerydding på Wikipedia.
Hashing[rediger kilde]
Sensurering på bakgrunn av hashing er en annen mulighet. Spesielt brukes nilsimsa og andre locality sensitive hashing mye i forbindelse med spam-filterering av epost. Et alternativ er å bruke noen form for trunkert hashing, dette introduserer en usikkerhet som gjør det vanskelig å påvise hva som faktisk utløser filteret. Kombinasjoner er også en mulighet. Hashing har noen fordeler ved at slike «fingerprints» kan gjenbrukes på mange artikler.
Tekstanalyse[rediger kilde]
Sensurering på bakgrunn av tekstanalyse er en siste mulighet. Dette er imidlertid nokså komplekst og det er et åpent spørsmål om tilstrekkelige bakgrunnsdata finnes for flere av de aktuelle språkene. Det kan tenkes at en forenklet ordbok kan brukes og at denne gir tilstrekkelig sikkerhet til å utføre midlertidig sensurering av utsagn.
Automatikk[rediger kilde]
En spennende variant er om det genereres et fingerprint for tekstfragmenter fra tilbakestillinger og når tilstrekkelig konfidens er produsert for enkelte av formene så kan disse brukes for automatisk varsling av mistenkelig aktivitet. Slike løsninger kan en tenke seg for alle de tre foranstående variantene. De vil da typisk implementeres som support vector machine eller neural net hvor resultater fra regulæruttrykk, hashing eller prosessering av naturlig språk brukes som fingerprint i en feature vector.
Personvern[rediger kilde]
Løsninger kan kanskje integreres med Abuse-utvidelsen, men da bør personvernproblemene med denne utvidelsen rettes opp. Utvidelsen loggfører idag handlinger skribenter avbryter. Disse vil da ikke komme inn under unntakene i Personopplysningsloven og det er dermed uklart om det er grunnlag for å lagre dem. Hvis det skal lages utvidelser eller varianter av denne så kan denne typen problemer eskalere, spesielt om regulæruttrykk henter ut tekstfragmenter som så loggføres som sjikanøse. Vi identifiserer i disse tilfellene de ulovlige fragmentene, hvoretter vi gjentar dem og i verste fall publiserer dem på nytt. Generelt er veien å gå å advare om tvilsomme redigeringer, men ikke gjenta dem og ikke si for mye om hvorfor de er tvilsomme.
Det er verd å merke seg at det er blitt lagt til metoder i det siste for å fjerne sjikane fra abuse-loggene. Et system som ble lagd for å begrense trolling har dermed vist seg å skape et problem i seg selv slik at rapportene som lages av systemet må sensureres.