Kollaborative Qualitätssicherung
(externe Qualitätskontrolle, externe Sichtung ….)
-> Fragmente -> Überprüfung der Plagiatskategorie
Im Folgenden möchte ich einige Anmerkungen (in Form von Hintergrundangaben, Problembenennung, Fragen und Vorschlägen) machen.
I. Hintergrund
Unter In Ablauf eingearbeitet (http://de.guttenplag.wikia.com/wiki/Einweisung_Zweitsichter?cb=9619)
findet man unter Punkt 1 zu dieser Drittsichtung:
Unabhängig von der hier besprochenen Zweitssichtung wird eine randomisierte Crowd-Sichtung der einzelnen Fragmente von Goalgetter programmiert. Es wird folgendes kontrolliert: 1.) steht in der Quelle das, was im Fragment steht. 2.) die Einordnung in die Plagiat-Kategorie
FRAGE:Wie wandern eventuelle Änderungen von dort wieder in den Sichtungsprozess rein? -- NablaOperator 23:28, 9. Mär. 2011 (UTC)
Das harrt noch sehr einer Lösung Zwischenergebnisse_externe_Sichtung_der_Fragmente händisch, da werden wir alt, und im survey sind mehr info, als "voll und ganz ok".--Nerd wp 16:52, 10. Mär. 2011 (UTC)
Die Fragmente werden von einem Erst- und einem Zweitsichter bearbeitet und überprüft. Zur Bearbeitung berechtigt sind Benutzer, die einer der Gruppen „*, Benutzer, staff, Helfer“ angehören. (http://de.guttenplag.wikia.com/index.php?title=Spezial:LayoutBuilderForm&plbId=23080&pageId=80834)
Die Teilnehmer an der externen Kontrolle (Crowd-Sichtung) sind als Helfer sozusagen 2. Grades eingeladen worden und dürfen / möchten die von Sichtern zugewiesene Plagiatskategorie bewerten, ggf. auch kommentieren.
Zum Wesen dieser so gestalteten Qualitätskontrolle gehört also, dass die ‚Jeder kann mitmachen / Nur Mut!’-Gruppe ihrerseits keiner Qualitätskontrolle unterworfen wird. Man vertraut da wohl auf das ‚Crowd-Phänomen’.
Diesen externen Helfern werden keine weiteren Voraussetzungen abverlangt außer der Bereitschaft zur konstruktiven Mitarbeit. Diese beinhaltet natürlich konsequent die Beachtung der Erläuterungsseite zu Plagiatedefinitionen (http://de.guttenplag.wikia.com/wiki/Plagiate_Kurz-Brevier) .
Nicht vorausgesetzt bei dieser intrinsischen Fragment-Beurteilung wird vor allem ein über den Informationsgehalt der jeweiligen Fragmentseite hinausgehendes Wissen von den Quellen, ggf. auch von Quellen der Quellen!
II. Probleme
Wenn das aber so ist, dann muss eine Fragment-Seite, welche als Item in der Crowd-Sichtung benutzt wird, alle zu einer sachgerechten Drittbeurteilung erforderlichen Daten enthalten – bis auf das erwähnte Kurz-Brevier, und zwar auf einer mit der Erst- und Zweitsichtung vergleichbaren Datenbasis. Ansonsten stellt sich die methodenkritische Frage nach der erwünschten und der de-facto-Validität der externen im Vergleich zu den internen Sichtungen.
Dass hier ein Problem vorliegt, zeigen z.B. Äußerungen des Unbehagens in Sichtungskommentaren.
z.B. http://de.guttenplag.wikia.com/wiki/Fragment_150_117-118 ; http://de.guttenplag.wikia.com/wiki/Fragment_151_101-102 ; http://de.guttenplag.wikia.com/wiki/Fragment_144_01-04 und viele mehr.
Der übliche Verweis auf die zusammengefasste Darstellung der Fragmente (z.B. http://de.guttenplag.wikia.com/wiki/Fragment_129_123-123) ändert im Grundsatz daran nichts: Die in in einem Durchgang der jeweiligen Itemstichprobe zur externen Beurteilung vorgelegten Fragmente sind unter dem dort angegebenen Link (http://de.guttenplag.wikia.com/wiki/Guttenberg-2006/129) nur additiv und unverändert dargestellt. Das vom kommentierenden Wikia-Nutzer monierte Fehlen des Textes bleibt deshalb unter neuer Adresse natürlich auch erhalten.
Auch der Verweis auf den 'Baustein'-Charakter der Fragmente entlässt nicht aus der Notwendigkeit, den 'Baustein' dann so zu gestalten, dass eine valide Zuordnung möglich wird.
Auch das mancherorts bereits angesprochene Problem einer Hyperfragmentierung gehört hierhin.
Dass nicht nur das den internen Sichtern verfügbare Wissen über die Datenbasis, sondern auch über Verabredungen von differenzierten Bewertungskriterien den externen Sichtern definitionsgemäß fehlt, könnte man für dann für verzichtbar halten, wenn alle jene Informationen auf der jeweiligen Fragmente-Seite eingearbeitet sind, welche bei interner Sichtung zu der eingestellten Bewertung geführt hatten.
Sporadisch, aber eben nicht systematisch und auch nicht immer in ausreichendem Umfang geschieht das durch Einarbeitung definitionsrelevanter Informationen in die Anmerkung.
Beispielhaft dafür sei angegeben:
http://de.guttenplag.wikia.com/wiki/Fragment_159_01-15 .
Es wird folgendes kontrolliert: 1.) steht in der Quelle das, was im Fragment steht. 2.) die Einordnung in die Plagiat-Kategorie (s.o.)
Wie problematisch die Erfüllung dieser Zieldefinition ist, mag man allein schon ausschnitthaft am Beispiel des Vorschlages von Der-kairos erkennen:
Die Plagiatskategorien müssen vor der Zweitsichtung nochmal diskutiert werden, da sie sich nicht alle gegenseitig ausschließen (es kann mehrere richtige geben). Zu überdenken wäre v. a. der Umgang mit den Bauernopfer-Kategorien (ist unterschiedlich gehandhabt worden). -- Benutzer:Der-kairos
VORSCHLAG: Die Kategorien Bauernopfer und Verschärftes Bauernopfer sollten nur für genau die entsprechenden Zitatsätze (Bauernopfer) bzw. die zugehörigen Fußnoten (Verschärftes Bauernopfer) verwendet werden. Die zugehörigen Haupttextabschnitte bei Verschärften Bauernopfern würden dann frei und könnten je nach Sachlage als KomplettPlagiat, Verschleierung oder was auch immer klassifiziert werden. -- Der-kairos 20:59, 9. Mär. 2011 (UTC)
(Punkt 9 unter In Ablauf eingearbeitet, a.a.O.)
Die Problematik der Erfüllung ergibt sich auch aus einschlägigen Literatur zur Hilfestellung beim Verständnis vom korrekten Zitieren und von Plagiaten.
Beispielhaft: http://www.uni-bielefeld.de/philosophie/personen/beckermann/Veranstaltungen/Orientierung/Zitieren.pdf
III. Fragen und Vorschläge
Frage 1: Welches Ziel / welche Ziele verfolgt diese randomisierte Crowd-Sichtung? Läuft da eine wissenschaftliche Begleituntersuchung?
Ergänzungsfrage: Laufen andere Begleituntersuchungen? Wenn ja, könntet Ihr dazu eine Info-Seite anlegen?
Frage 2: Welche konkreten Auswirkungen haben eigentlich die Entscheidungen dieser externen Helfergruppe auf das Projekt?
Vorschlag 1: Die Fragment-Seite sollte systematisch zumindest unter der Rubrik Anmerkungen die Herleitung der eingestellten Plagiatdefinition für externe Sichter evident machen (und nicht nur als evident behaupten!).
Vorschlag 2: Die Fragment-Seiten sollten korrekt ausgefüllt sein (z.B. zu im Literaturverzeichnis referenziert darf die Angabe nicht fehlen; bei GuttenPlag-Stichprobe fast immer mit Angabe, bei Vroni-Plag leider nicht; s. z.B. http://de.vroniplag.wikia.com/wiki/Fragment_004_17_19).
Leider steht zu befürchten, dass diese Anmerkungen und Vorschläge in dieser Phase des Wiki-Projekts zu spät kommen – oder doch nicht?
Vorstehendes sei in jedem dieser Fälle als konstruktive Kritik aufzufassen.
Kreuzritter 02:10, 17. Apr. 2011 (UTC)
Nachbemerkung: Die Fragment-Darstellung enthält häufig auch die Rubrik Fragmentsichter / Sichtungsergebnis (gut/neutral/schlecht). Für den externen Sichter wäre es schon von Interesse, die Begründung zumindest für die Bewertung 'schlecht' auf derselben Seite mitgeteilt zu bekommen. Scheitert dies aus Platzmangel? Wird ein Halo-Effekt befürchtet?
Kreuzritter 23:43, 19. Apr. 2011 (UTC)