Test und Validierung

Medienprüfung

Das Identifizieren von Problemen bei der Verlinkung von Bildern und anderen Mediendateien erfordert gerade bei Fragebögen mit vielen Bildern oder komplexem Layout einigen Zeitaufwand. Die Kontrollfunktionen im Menü Test und Validierung → Medienprüfung erleichtern Ihnen die Arbeit.

Open

Sie können sich wahlweise alle Medien, nur gültige Medien oder nur nicht verfügbare Medien anzeigen lassen. Neben Multimedia-Elementen aus dem Fragebogen werden dabei auch Buttons, Layout-Bestandteile und in den Templates eingesetzte Bilder geprüft. Angezeigt werden darin zu jeder Mediendatei:

• URL

• Vorschau

• Quellelement

• Kontext der Nutzung

• Medientyp

• Sprache: Bei mehrsprachigen Projekten die Sprache des Fragebogens, in dem die Datei zum Einsatz kommt.

• Status: Das Ampel-Icon zeigt an, ob eine Mediendatei verfügbar oder ungültig ist.

Über den Link in der Spalte „Aktionen“ können die Menüs angesteuert werden, in denen die jeweilige Mediendatei bearbeitet wird.

Konsistenzcheck

Im Menü Test und Validierung finden Sie den Menüpunkt Konsistenzcheck. Bei Anklicken dieses Menüpunktes wird in einem zusätzlichen Fenster ein Codebuch geöffnet, das die Bedingungen von Filtern, Ausblendbedingungen, Triggern und Plausichecks anzeigt und Informationen über die Konsistenz der Einstellung enthält. Ampel-Icons informieren darüber, ob die Einstellung konsistent ist:

• Grün: Die Einstellung ist konsistent (d.h. alle verwendeten Variablen sind wirklich im Projekt vorhanden).

• Gelb: Die Farbe „gelb“ taucht nur bei Filtern auf. Sie signalisiert, dass die Filterbedingungen zwar konsistent sind, der Filter aber noch nicht mit dem Filtertest geprüft wurde.

• Rot: Die Einstellung ist nicht konsistent (d.h. sie greift beispielsweise auf nicht mehr vorhandene Variablen zu).

Open

Der Konsistenzcheck berücksichtigt Projektvariablen (v_000n), benutzerdefinierte Variablen (c_000n) und URL-Parameter (p_000n).

Projekttest

Die Funktion Projekttest, die Sie im Menü Test und Validierung finden, erleichtert Ihnen das Testen der Filtersetzung, indem sie automatisch eine große Anzahl von Testdurchläufen simuliert. In der resultierenden Statistik sind Einstellungsprobleme bei Filtersetzung und interner Quotierung leicht erkennbar. Im Folgenden werden die Nutzungsmöglichkeiten erläutert, die diese Funktion bietet:

• Testdaten erzeugen

• Routing-Statistik

• Testdaten löschen

Testdaten erzeugen

Sie öffnen nach Fertigstellung Ihres Fragebogens das Menü Test und Validierung →  Projekttest. Sie gelangen zur Eingangsseite des Projekttest-Menüs, die einen Überblick über die im Projekt verwendeten Filter und Variablen gibt. Dann klicken den Reiter Testdaten erzeugen an und geben Sie die Bedingungen für die automatisch erzeugten Testläufe ein:

• Sie geben im Feld „Anzahl der Teilnahmen“ an, wie viele Durchläufe des Fragebogens automatisch generiert werden sollen. Wie viele Durchläufe sinnvoll sind, hängt von der Komplexität des Projekts und der Belastbarkeit des Servers ab. Einerseits werden mit hohen Durchlaufzahlen (im Hunderterbereich) die Ergebnisse aussagekräftiger. Andererseits kann bei Projekten mit komplexer Filterstruktur schon bei hundert Durchläufen der Server erheblich belastet werden. Bevor Sie eine größere Anzahl Teilnahmen eingeben, sollten Sie daher sicherstellen, dass nicht gleichzeitig auf derselben Installation eine Umfrage mit hoher Teilnehmerzahl läuft.

• Im zweiten Feld können Sie die „maximale Anzahl gesendeter Seiten pro Durchlauf“ vorgeben. Die eingegebene Zahl sollte größer als 0 sein.

• Ist die Option „Testdaten vor dem Ausführen löschen?“ aktiviert, werden in vorhergehenden Durchläufen erzeugte Daten oder automatisch generierte Testteilnehmer gelöscht.

• Nur Projekttyp "Personalisierte Umfrage": Ist die Option "Kopien vorhandener Teilnehmer verwenden?" aktiviert, verwendet EFS vorhandene Teilnehmer mit Dispositionscodes kleiner als 20 als Vorlage für die Erstellung neuer Testteilnehmer und durchläuft diese in einer Schleife, bis die angegebene Anzahl an Interviews erstellt wurde. Diese Funktion ermöglicht es Ihnen, Umfragen zu testen, bei denen z.B. Filter und andere Bedingungen auf bestimmte Teilnehmervariablen für das Routing zugreifen.

• Wenn das Projekt numerische URL-Parameter enthält, so können Sie für diese einzelne Werte oder Zahlenbereiche vorgeben. Bitte beachten Sie, dass der Projekttest keine nicht-numerischen URL-Parameter unterstützt. Bei Projekten mit derartigen Parametern muss der Projekttest durchgeführt werden, bevor die URL-Parameter konfiguriert werden.

• Wenn das Projekt Trigger enthält, so können Sie gesondert wählen, ob diese während des Projekttests aktiviert werden dürfen. Bitte stellen Sie vor dem Aktivieren der Trigger-Testfunktion sicher, dass nicht aus Versehen Endlosschleifen oder Massenversand von Mails ausgelöst werden können. Üblicherweise ist allerdings zur Überprüfung der Funktionsfähigkeit von Triggern ein manueller Test sinnvoller als der Einsatz des automatischen Projekttest.

Routing-Statistik

Sie finden die Routing-Statistik auf der gleichnamigen Registerkarte. Die folgenden Leitfragen helfen Ihnen bei der Interpretation. Überprüfen Sie nach dem Testlauf zuerst, ob die Anzahl der beendeten Durchläufe (Dispositionscode 31, 32) der ursprünglich eingegebenen Anzahl der Teilnahmen entspricht. Öffnen Sie dazu die Registerkarte Routing-Statistik und wählen dann den Link Alle Datensätze auswerten.

Wenn alle Durchläufe erfolgreich beendet wurden, können Sie sich bei Ihrer Analyse auf die Statistik Nur beendete Datensätze auswerten beschränken. Wurden Testdurchläufe unterbrochen wie im abgebildeten Beispiel, sollten Sie zunächst die Ursache der Abbrüche ermitteln. Klicken Sie dazu den Link Alle Datensätze auswerten an. Beachten Sie dabei, dass Abbrüche nicht notwendig problematisch sein müssen: Im gezeigten Beispiel sind die Abbrecher beispielsweise Teilnehmer, die nach Erfüllung einer Quote ausgescreent wurden.

Testdaten löschen

Die automatisch erzeugten Daten müssen gelöscht werden, wenn Sie die Auswertung von Routing-Statistik und Feldbericht abgeschlossen haben. Andernfalls bleiben die Daten erhalten, gehen in den nächsten Testdurchlauf oder gar in die Auswertung der Feldphase ein und beeinflussen die Resultate. Klicken Sie dazu die Registerkarte Testdaten löschen an und bestätigen anschließend mit Testdaten löschen.

• Bei Projekten mit internen Quoten werden durch den Testlauf die aktuelle Besetzung und der Status der Quote unter Fragebogen-Editor → Quoten geändert. Um die Besetzung auf Null zurückzusetzen, muss nach erfolgtem Test das Projekt neu generiert werden. Dabei muss die Option „Umfrage komplett zurücksetzen“ gewählt werden.

• Wurde bei einem Testdurchlauf in einer personalisierten Umfrage „Kopien der vorhandenen Teilnehmer verwenden“ deaktiviert, so wird automatisch für jede Teilnahme ein automatisch erzeugter Teilnehmer in die Teilnehmerverwaltung des Projekts eingetragen. Dabei erhalten die Testpersonen die E-Mail-Adresse des Benutzers, der den Test gestartet hat. Diese automatisch erzeugten Teilnehmer und ihre Testdaten sollten Sie löschen, bevor das Projekt in die Feldphase startet. Klicken Sie dazu die Registerkarte Testdaten löschen an und bestätigen anschließend mit Testdaten löschen.

• Wurde bei einem Testdurchlauf in einer personalisierten Umfrage „Kopien vorhandener Teilnehmer verwenden“ aktiviert, oder handelt es sich um eine Mitarbeiterbefragung, so werden die Datensätze vorhandener Teilnehmer für den Projekttest verwendet. Diese künstlich erzeugten Testdaten müssen gelöscht werden, bevor das Projekt in die Feldphase startet. Dazu können Sie entweder die Aktion „Zurücksetzen mit Datenlöschen“ auf alle Teilnehmer der Teilnehmerverwaltung anwenden oder das Projekt komplett neu generieren (Projekte → {Ausgewähltes Projekt} → Generieren, Option „Umfrage komplett zurücksetzen“).

Projektprüfung

Die Projektprüfung informiert über Fortschritte und Mängel bei der Projekterstellung. Sie finden den Menüpunkt Projektprüfung unter Test und Validierung des Umfragemenüs.

• Im oberen Bereich des Dialogs finden Sie eine Übersicht zu zentralen Themen.

• Des Weiteren werden Fragebogenstruktur, Filterbedingungen, Timing usw. auf logische Korrektheit geprüft, potentielle Probleme werden mit Schweregrad aufgeführt.

• Beachten Sie bitte: Eine Überprüfung des „Responsive Layouts“ mit Projektprüfung bzw. mit Layout prüfen ist nicht sinnvoll. Die Checks sind für das klassische Systemlayout optimiert.

Fehler während des Umfragedurchlaufs

• EFS prüft während des Umfrageverlaufs auf Fehler in LUA-Filtern, Quoten und Triggern.

Aktuell ausgewählte Sprache

• Gibt die Standardsprache an.

Bei mehrsprachigen Projekten: Stand Übersetzungen

• Gibt an, ob alle Textelemente der verschiedenen Umfragesprachen gefüllt wurden, und bietet einen Link zur Übersicht der Todos.

Nur bei Projekten mit klassischem Systemlayout: Layout-Status

• Gibt Auskunft über die Aktualität des verwendeten Layouts. Ist das Layout nicht mehr aktuell, besteht die Möglichkeit, über den Link Layout prüfen in den Profi-Editor zu wechseln und dort das Problem zu beheben.

Anzahl der Variablen in der Umfragetabelle

• Variablenanzahl. Die Anzahl kann sich beim Generieren ändern.

Umfrage zurücksetzen

Vor dem Feldstart sollten alle Daten, die bis dahin beispielsweise durch Tests im Produktivmodus aufgelaufen sind, gelöscht werden. Die entsprechende Funktion finden Sie unter Umfragemenü → Test und Validierung → Umfrage zurücksetzen. Wählen Sie „...Umfrage komplett zurücksetzen...“ und bestätigen dann mit dem Button Umfrage zurücksetzen. Nun wird die Datenbank bereinigt und alle Testdaten werden gelöscht. Beim Zurücksetzen einer Umfrage wird die Datenbanktabelle, die die Ergebnisdaten aufnimmt, neu aufgebaut bzw. angepasst und bereinigt.

Komplettes Zurücksetzen der Umfrage vor dem Feldstart

Vor dem Feldstart, d.h. dem eigentlichen Start der Erhebungsphase, wird die Umfrage üblicherweise komplett zurückgesetzt, um die Datenbank vollständig von verschiedenen Arten unerwünschter Daten zu bereinigen. Dabei kommt die Option „Umfrage komplett zurücksetzen und bereits erhobene Ergebnisdaten löschen“ zum Einsatz.

• Üblicherweise werden Projekte vor dem wirklichen Feldstart vollständig zurückgesetzt, um sämtliche in der Testphase angefallenen Ergebnisse zu entfernen. Dies ist insbesondere erforderlich, wenn man beim Testen eines anonymen Projekt reale Datensätze erzeugt oder bei einem personalisierten Projekt nicht nur mit dedizierten Testaccounts sondern wirklichen Teilnehmeraccounts gearbeitet hat.

• Wurden Fragen oder Seiten irrtümlich angelegt und wieder gelöscht, bleiben die zu diesen Fragen bzw. Seiten gehörenden Variablen in der Datenbank erhalten. Beim Zurücksetzen vor dem Feldstart werden diese überflüssigen Variablen angezeigt und Sie können sie optional löschen lassen. Sie können auch dazu verwendet werden, um ggf. Daten wiederzuherstellen. Prinzipiell ist es kein Problem, überflüssige Variablenfelder in der Datenbank zu belassen. Bei großen, komplexen Projekten trägt dieses „Aufräumen“ jedoch zur Performance-Verbesserung bei.

• Haben Sie die Pretest-Funktion genutzt, können die Kommentare ebenfalls optional gelöscht werden.

Zurücksetzen im weiteren Projektverlauf

Sobald das Projekt im Feld ist, d.h. die eigentliche Datenerhebung begonnen hat, darf grundsätzlich nicht mehr zurückgesetzt werden. Sollte doch eine Ausnahmesituation entstehen, wo es erforderlich ist, muss unbedingt
die Option „Bereits erhobene Ergebnisdaten behalten“ verwendet werden.

• Es dürfen auch auf keinen Fall Variablen gelöscht werden, in denen bereits Informationen gespeichert wurden.

• Datensätze einzelner Teilnehmer können Sie in der Teilnehmerverwaltung bzw. Stichprobenverwaltung gezielt zurücksetzen, wahlweise mit und ohne Datenlöschen.

Bei Projekten mit Teilnehmerverwaltung oder Stichprobe Testaccounts zurücksetzen

Mit „Testteilnehmer und deren Ergebnisdaten löschen“ werden bei personalisierten Projekten gezielt alle als Tester markierten Teilnehmer und die dazugehörenden Ergebnisdaten entfernt. Bei Panel-Umfragen und Stammdatenbefragungen werden Umfragestatus und Ergebnisdaten von Panelisten-Testaccounts zurückgesetzt, die Tester bleiben jedoch weiter in der Stichprobe.