Gewusst-wie: den Fortschritt meiner Umfrage verfolgen

Mail-Report

Bei personalisierten Umfragen ist der Mail-Report Ihre zentrale Anlaufstelle, wenn Sie sich einen Überblick über alle E-Mails verschaffen möchten, die Sie im Laufe Ihrer Befragung versendet haben. Sobald Sie eine E-Mail aus der Teilnehmerverwaltung versenden, wird ein Eintrag im Report erstellt und Sie haben die Möglichkeit, Informationen zum Versandprozess einzusehen und gegebenenfalls in diesen einzugreifen. Handelt es sich bei Ihrem Projekt um eine anonyme Umfrage, können Sie die Teilnahmen direkt in der Online-Statistik verfolgen.

Versandprozess kontrollieren und verwalten

Wenn Sie nach der Einladung von Teilnehmern zu Ihrer Umfrage beispielsweise überprüfen möchten, wen Sie alles eingeladen haben, wie der Einladungstext lautete oder welche E-Mails nicht zugestellt wurden, befolgen Sie einfach folgende Schritte:

• Öffnen Sie Ihr Projekt.

• Wählen Sie aus dem Menü auf der linken Seite Mail-Report aus.

Im oberen Teil des Bildschirms wird eine Grafik angezeigt, in der alle im Projekt getätigten Mailvorgänge angezeigt werden. Im Bereich unten links, sehen Sie, wie viele Mails insgesamt für das betreffende Projekt versendet wurden – im unten stehenden Beispiel sind es drei. Rechts daneben finden Sie die verschiedenen Status, in denen sich die Mails befinden. In unserem Beispiel unten wurden zwei Mails versendet und eine befindet sich noch in Warteschlange, das heißt sie wurde erstellt, aber noch nicht gesendet. Diese Informationen werden im oberen Bereich zusätzlich prozentual anhand farbiger Balken dargestellt.

Open

Im unteren Teil der Seite finden Sie eine tabellarische Auflistung aller Mailvorgänge für Ihr Projekt.

• Klicken Sie auf die interne ID oder den Betreff eines Mailvorgangs, um Details über alle entsprechenden Einzelvorgänge abzurufen.

Open

• Im unteren Bereich der Detailseite des ausgewählten Mailvorgangs finden Sie eine Liste aller Empfänger, an die Sie eine Mail gesendet haben. Über das Drop-down-Menü in der Zeile Anzeige, können Sie ganz einfach nach Status (Warteschlange, im Versand, Versendet, Abgelehnt, Nicht zustellbar, Nicht erreichbar, Abgebrochen) filtern.

• Wenn Sie den Mailtext des Mailvorgangs anzeigen möchten, klicken Sie oben rechts auf den Button Mail-Ansicht.

• Zurück zur Zusammenfassungsseite gelangen Sie per Klick auf den Pfeil-Button.

Für Mailvorgänge, die sich in Warteschlange befinden, können Sie auf der Zusammenfassungsseite außerdem in den Versandprozess eingreifen. Gehen Sie dazu folgendermaßen vor:

• Wenn Sie den Versand einer Mail anhalten möchten, klicken Sie auf das Play-Symbol in der Spalte Warteschlange. Möchten Sie die Mail wieder für den Versand in die Warteschlange aufnehmen, klicken Sie auf das Pause-Symbol.

• Zum Löschen eines Mailvorgangs aus der Warteschlange klicken Sie auf das Kreuz-Symbol.

• Wenn Sie das Datum oder die Uhrzeit des Versands anpassen möchten, klicken Sie auf das Kalender-Symbol in der Spalte Datum. Wählen Sie aus den beiden Drop-down-Menüs das gewünschte Datum und die gewünschte Uhrzeit aus und klicken Sie auf Datum setzen.

Statistik

Im Menü Statistik finden Sie verschiedene Features für das Reporting sowie die Auswertung und Bearbeitung der Umfrageergebnisse noch während der Feldphase.

• Öffnen Sie Ihr Projekt und wählen Sie im Menü auf der linken Seite Statistik aus.

Feldbericht

Nachdem Sie das Menü Statistik aufgerufen haben, gelangen Sie zunächst zum Menüpunkt Feldbericht. Im oberen Teil des Feldberichts bietet eine Grafik eine Übersicht über den Verlauf der Feldphase. Anhand von farbigen Markierungen können Sie sich einen Überblick über die verschiedenen Dispositionscodes – bzw. Status – der Umfrageteilnehmer verschaffen. Im unten stehenden Beispiel sehen Sie, wie viele Teilnehmer eingeladen wurden, wie viele noch nicht eingeladen wurden, wie viele die Umfrage unterbrochen und wie viele sie beendet haben.

Unter der Grafik finden Sie allgemeine Infos zu den Umfrageergebnissen, wie beispielsweise das Gesamtsample und die Beendigungsquote sowie statistische Kennzahlen, beispielsweise die mittlere Bearbeitungszeit, die durchschnittliche Teilnehmeranzahl pro Tag und die Seite mit den meisten Abbrüchen. Noch weiter unten befindet sich der detaillierte Feldbericht mit zahlreichen Untermenüs bzw. Bereichen, die Sie per Klick auf den jeweiligen Pfeil öffnen können. Hier können Sie beispielsweise die Zugriffe nach Tageszeit, pro Tag und Woche oder die Abbrüche nach Seite (welche Seite hat der Teilnehmer zuletzt angezeigt, bevor er die Umfrage abgebrochen hat) anzeigen. Um alle Bereiche gleichzeitig zu öffnen, klicken Sie auf den Button Alle Bereiche öffnen.

Feldberichtergebnisse splitten

Bei Bedarf haben Sie die Möglichkeit, den Feldbericht nach bestimmten Variablen zu splitten. So können Sie sich beispielsweise die Verteilung der Antworten aufgesplittet nach der Variable „u_gender“ (Geschlecht des Teilnehmers) ansehen. Befolgen Sie dazu einfach die unten stehenden Schritte:

• Klicken Sie oben rechts im Feldbericht neben Split: auf den Link Definieren.

• Wählen Sie aus dem angezeigten Drop-down-Menü die gewünschte Splitvariable aus – in diesem Beispiel: u_gender.

• Klicken Sie auf Speichern.

• Der Feldbericht wird nach Geschlecht (Not available = keine Angabe zum Geschlecht, Male = männlich, Female = weiblich) aufgesplittet.

• Wenn Sie die Splittung wieder aufheben möchten, klicken Sie oben rechts im Feldbericht neben Split: und der Variable, nach der Sie gesplittet haben, auf das x-Symbol.

Feldberichtergebnisse filtern

Sie können den Feldbericht auch nach Dispositionscodes, allgemeinen Variablen und Umfragevariablen filtern. Auf diese Weise können Sie beispielsweise nur die Teilnehmer anzeigen, die die Umfrage unterbrochen haben, die die Umfrage zu einem bestimmten Zeitpunkt begonnen haben oder die eine Frage auf eine bestimmte Weise beantwortet haben. Gehen Sie zum Filtern folgendermaßen vor:

• Klicken Sie oben rechts im Feldbericht auf Ergebnisse filtern.

So filtern Sie nach einem oder mehreren Dispositionscodes:

• Wählen Sie einen oder mehrere Dispositionscodes aus dem Bereich Einschränken auf Dispositionscodes aus und klicken Sie auf Status-Auswahl speichern.

• Sie gelangen umgehend zum gefilterten Feldbericht.

So filtern Sie nach einer allgemeinen Variable:

• Wählen Sie im Bereich Einschränken auf Variable unter Allgemeine Variablen eine Variable aus, nach der Sie filtern möchten – zum Beispiel Beginn der Umfrage. Bei Auswahl dieser Variable werden nur Teilnehmer angezeigt, die die Umfrage in einem bestimmten Zeitraum begonnen haben.

• Klicken Sie ein Stück weiter oben auf Weiter.

• Legen Sie nun den Zeitraum für den Beginn der Umfrage fest, indem Sie aus beiden Drop-down-Menüs ein Datum auswählen.

• Klicken Sie auf Speichern.

So filtern Sie nach einer Umfragevariable:

• Wählen Sie im Bereich Einschränken auf Variable unter Umfragevariablen eine Variable aus, nach der Sie die Ergebnisse filtern möchten – zum Beispiel nach der Antwort auf eine bestimmte Frage. Im unten stehenden Beispiel wählen wir die Frage „Wie sind Sie auf unser Produkt aufmerksam geworden“ des Typs „Einfachauswahl untereinander“ aus.

• Klicken Sie anschließend weiter unten auf der Seite auf Weiter.

• Wählen Sie auf der nächsten Seite die Antwort auf die Frage aus dem Drop-down-Menü aus, nach der Sie filtern möchten.

• Klicken Sie auf Speichern.

So heben Sie die Filterung wieder auf:

• Klicken Sie erneut auf Ergebnisse filtern.

• Wenn Sie nach Dispositionscode gefiltert haben: Heben Sie die Auswahl des Dispositionscodes durch Klicken auf das ausgewählte Kästchen auf. Klicken Sie anschließend auf Status-Auswahl speichern.

• Wenn Sie nach einer Variable gefiltert haben: Klicken Sie auf den Button Aktuelle Einschränkung löschen gleich unter Einschränken auf Variable. Klicken Sie anschließend auf den Breadcrumb Statistik, um zurück zum ungefilterten Feldbericht zu kehren.

Feldbericht exportieren

Der Feldbericht wird immer in seinem aktuellen Status exportiert. Wenn Sie also beispielsweise nach einem Dispositionscode gefiltert haben, wird nur die gefilterte Ansicht exportiert.

• Um den Feldbericht zu exportieren, klicken Sie oben rechts auf den Button Excel-Export. Der Bericht wird umgehend im Excel-Format heruntergeladen.

Online-Statistik

Die Online-Statistik bietet Ihnen einen Überblick über die bisher erfassten Umfrageergebnisse – und das noch während der Feldphase. Sie können also anzeigen, wie bisherige Teilnehmer auf bestimmte Fragen geantwortet haben. Gehen Sie dazu folgendermaßen vor:

• Sie befinden sich bereits im Menü Statistik. Wählen Sie nun aus dem linken Seitenmenü Online-Statistik aus.

• Falls Ihr Projekt mehrsprachig ist, wählen Sie im Drop-down-Menü in der Zeile Sprache auswählen die gewünschte Sprache aus.

• Bei Bedarf können Sie auswählen, dass Variablennamen und -typen in der Statistik ausgegeben werden.

• Wenn Sie alle Fragen in die Statistik einbeziehen möchten, aktivieren Sie das Kontrollkästchen in der Zeile Alle Fragen einbeziehen, oder wählen Sie alternativ weiter unten per Klick die einzelnen Fragen aus, die in die Statistik aufgenommen werden sollen.

• Klicken Sie auf Weiter.

In der Online-Statistik werden dann die folgenden Informationen zu den ausgewählten Fragen angezeigt:

• Die Anzahl der Teilnehmer, die eine bestimmte Antwort gewählt haben, dargestellt als Zahl, als Prozentsatz und Balkendiagramm

• Gesamt: die Gesamtzahl der Personen, die eine Frage beantwortet haben

• Ungültig/Missing: gibt an, wie viele Fragen gesehen, aber nicht beantwortet wurden

• Mittelwert

Online-Statistik filtern/splitten

Auch die Online-Statistik können Sie nach bestimmten Variablen filtern oder splitten. Die Schritte sind dieselben wie beim Filtern oder Splitten des Feldberichts. Gehen Sie daher genauso vor, wie unter Feldberichtergebnisse splitten und Feldberichtergebnisse filtern beschrieben.

Offene Angaben

Über den Menüpunkt Offene Angaben können Sie die Antworten einsehen, die Teilnehmer auf offene Fragen gegeben haben.

• Wählen Sie im Menü Statistik den Menüpunkt Offene Angaben aus.

• Auch bei diesem Menüpunkt können Sie die Ergebnisse nach bestimmten Dispositionscodes, allgemeinen Variablen oder Umfragevariablen filtern. Gehen Sie dazu genauso vor, wie unter Feldberichtergebnisse filtern beschrieben.

• Falls Ihr Projekt mehrsprachig ist: Wählen Sie aus dem Drop-down-Menü Sprache auswählen die gewünschte Sprache aus, für die Antworten angezeigt werden sollen.

• Möchten Sie die Antworten auf alle offenen Fragen anzeigen, aktivieren Sie das Kontrollkästchen in der Zeile Alle Fragen einbeziehen.

• Wenn Sie nur die Antworten auf bestimmte Fragen einsehen möchten, wählen Sie diese per Klick auf das entsprechende Kontrollkästchen auf der rechten Seite aus.

• Klicken Sie auf Weiter.

Die ausgewählten Fragen mit offenen Angaben – in diesem Fall der Fragentyp 111 Einfachauswahl untereinander mit Antwortoption + Text sowie eine Frage des Typs 142 Textbereich – werden angezeigt. Möchten Sie andere Fragen zur Anzeige auswählen oder die vorgenommene Filterung aufheben, klicken Sie auf den Breadcrumb Anzeigeoptionen und wählen Sie erneut die gewünschten Fragen und Filteroptionen aus.

Qualitätskorrektur

Wir haben uns die Zahlen angesehen, jetzt kümmern wir uns um die Qualität. Der Menüpunkt Qualitätskorrektur bietet Ihnen die Möglichkeit, noch während der Feldphase Einfluss auf die Qualität Ihrer Umfrageergebnisse zu nehmen. Mit dem Feature lassen sich Teilnehmer identifizieren, die sich einfach nur durch die Umfrage durchklicken und sich nicht wirklich mit der Beantwortung der Fragen beschäftigen. Diese sind für die spätere Auswertung der Umfrage nicht relevant und können gelöscht werden. Detaillierte Informationen zur Qualitätskorrektur finden Sie hier.

So aktivieren Sie die Qualitätskorrektur:

• Wählen Sie im Menü Statistik den Menüpunkt Qualitätskorrektur aus.

• Klicken Sie zum Auslösen der Qualitätskorrektur auf den Button Speichern.

→ Die Qualitätskorrektur wird ausgelöst und der Originaldatensatz wird um die Variable quality erweitert, anhand derer Sie die Qualität einer Umfrageteilnahme überprüfen können. Der Vorgang kann eine Weile dauern.

So überprüfen Sie die Qualität einer Umfrageteilnahme:

• Nachdem Sie die Qualitätskorrektur ausgelöst haben, rufen Sie das Umfragemenü auf und wählen den Menüpunkt Export aus.

• Behalten Sie die Standardeinstellung – Ergebnisdaten (alle Angaben, Formate z. B. SPSS, CSV, Fixed Format, Microsoft Excel...) – bei und klicken Sie auf Weiter.

• Behalten Sie auch auf der nächsten Seite alle Standardeinstellungen bei und klicken Sie auf Exportieren.

• Klicken Sie auf der nächsten Seite abschließend auf Datei auf den lokalen PC kopieren. Die Exportdatei wird auf Ihr lokales System heruntergeladen.

• Öffnen Sie die Exportdatei. Die Spalte quality gibt Aufschluss über die Qualität einer Umfrageteilnahme. Der Wert für die Variable quality wird berechnet, indem die individuelle Bearbeitungsdauer eines Teilnehmers mit der durchschnittlichen Bearbeitungsdauer der gesamten Stichprobe in Beziehung gesetzt wird. Er liegt zwischen 0 und 1. Ein Wert von 0,5, der exakt im Mittel liegt, steht für eine hohe Qualität der Teilnahme. Teilnehmer, die sich ausgiebiger mit der Umfrage beschäftigt haben, liegen über diesem Wert. Die Teilnehmer, die deutlich unter einem Wert von 0,5 liegen, sind kritisch zu betrachten und ihre Umfrageantworten sind für die weitere Auswertung der Umfrage nicht relevant. Im unten stehenden Beispiel sehen Sie, dass der Teilnehmer in der 5. Zeile in der Spalte quality einen Wert von 0,23 aufweist. Dies wäre also ein Teilnehmer, dessen Datensätze Sie zu Qualitätszwecken löschen könnten.

So löschen Sie Datensätze, die nicht die gewünschte Qualität haben:

• Kehren Sie zum Menü Statistik zurück und öffnen Sie den Menüpunkt Detailansicht auf. Eine Liste aller Teilnahmen wird angezeigt.

• Suchen Sie in der Liste nach dem Teilnehmer mit dem auffälligen Wert in der Spalte quality: In der zuvor exportierten Exceltabelle sehen Sie, dass diesem Teilnehmer die laufende Nummer („lfdn“) 5 zugewiesen ist. Diese laufende Nummer findet sich auch in der Detailansicht der Teilnahmen auf der linken Seite wieder. Auf diese Weise können Sie ganz einfach bestimmen, welcher Teilnehmer der mit dem auffälligen Wert ist. Im unten stehenden Beispiel ist es der Teilnehmer Peter Pan.

• Aktivieren Sie in der Spalte Aktionen das Kontrollkästchen für den Teilnehmer Peter Pan und wählen Sie aus dem Drop-down-Menü unter der Liste die Aktion Datensatz vollständig löschen aus.

• Klicken Sie auf Ausführen.

• Bestätigen Sie Ihr Löschvorhaben auf der nächsten Seite erneut, indem Sie auf Löschen klicken.

Weiterführende Themen

Wieder sind Sie einen Schritt weiter bei der Durchführung Ihres ersten Umfrageprojekts: Sie wissen nun, wie Sie den Versandprozess Ihrer E-Mails kontrollieren und erste Ergebnisdaten im Feldbericht und in der Online-Statistik einsehen. Außerdem haben Sie gelernt, wie Sie noch während der Feldphase die Qualität Ihrer Ergebnisdaten überprüfen und sicherstellen können. Aber Sie ahnen es schon – EFS bietet Ihnen natürlich noch viele weitere Features, mit denen Sie Ihre Daten während der Feldphase verwalten und nach dieser ganz einfach auswerten können:

• Wenn Sie mehr über unser Feature zur Datenbereinigung im Menü Statistik erfahren möchten, klicken Sie hier.

• Details zu Reporting+, unserer Komplettlösung für die Ergebnisauswertung von EFS Survey- und People-Projekten, finden Sie hier.