Recruitment of participants for Online Research Communities, the role of Online Access Panels

If you are familiar with the business of online access panels  – maybe because you sometimes need that kind of service – you may know that providers of online access panels position themselves on the ground of huge panelsizes or because of delivered quality.
The respective underlying business model is correspondingly either quantities or it is defined by the quality of respondents’ information.
Both models of course have several advantages and disadvantages.

Quantity model
Advantages:
- Even small audiences with low incidence rates can be reached adequately
- High demands on field time and costs can be met
- Large numbers of cases are possible

Disadvantages:
- Higher fluctuation and “panel-mortality”
- Only few qualifying information about the participants available
- Recruitment methods are not always transparent
- Only little knowledge about the influence of the panel model on panelists self-perception as survey participants

Quality-driven model
Advantages:
- High quality responses on more strict rules of access to new panel members (eg. member-get-member)
- Extensive screening
- Qualitative analysis of the panelists (eg minimization of screen-outs as the basis of the relationship management)

Disadvantages:
- Limitation in case of low incidences are needed
- Limitation on the number of cases to be achieved
- Slightly higher costs

Photo by http://blog.allworkandnoplay.de/ In the context of online research community projects it is necessary to recruit participants not only to because of their target-group characteristics. You rather put demands on communication skills beyond “tip-the-box” as well as sufficient intrinsic motivation to participate.
Wherever it is generally a good idea to recruit participants via online access panels, we prefer those providers with a quality-driven approach. Results always are extremely high response rates, low drop-out rates over time (even in communities with longer durations) and last but not least positive effects in terms of ­panelists’ appreciation being a participant in market research.
Without participants and their willingness to share their experiences, attitudes and preferences, we would have a hard time.
So it is always a pleasure to read feedback like this after completion of online research communities:

“Thanks a lot to the moderators and creators of this community. I had a lot of fun and I have learned a lot. I’m happy that I was able to exchange with others and there were a lot of good hints. You, the scribblers, have been a great group! Thanks a lot. I wish all the best to all participants and perhaps we will meet one day on the internet or even in real life.”

Ein paar Zahlen aus Australien zu Qualität von Online-MaFo

Eine bunte Themensammlung von Gründen und Argumenten, warum Technologie (aber nicht nur Technologie) Online-Befragungen verändern wird, findet sich hier . Immerhin werden in Australien bereits 33% aller Studien im Bereich Markt- und Medienforschung online durchgeführt.

Klar, relativ spät wird deutlich, dass es sich bei dem Artikel um ein bisschen Werbung für die eigene Software handelt, aber trotzdem sind die Punkte interessant. Auch, weil sie mit Daten belegt werden.

Hier sind die wichtigsten Erkenntnisse aus Australien, welche die Autoren empfehlen im Auge zu behalten, um Qualität und Robustheit von Daten (und den Entscheidungen, die darauf fußen) zu garantieren:

  • Alles, was online erhebungstechnisch technisch möglich ist und durch neue Technologien möglich wird, muss den Anforderungen an (traditionelle) Marktforschung gerecht werden (vor allem die Güte der Stichprobe im methodischen Sinne, aber auch das Ausschließen unerwünschter Effekte in den Befragungen selber).
  • Dazu gibt es die Zahlen, dass in Australien 0,25% der Internetnutzer für die Ergebnisse von 30% aller Online-Umfragen verantwortlich sind.
  • Mehrfachteilnahmen in unterschiedlichen Online-Panels ist die Hauptursache für dieses Ergebnis. ESOMAR wird zitiert, dass 6% aller Panelisten bei mehr als einem Panel registriert sind (und ich selbst bin auch bei mindestens fünf verschiedenen Panels registriert)

In der Folge geht es dann noch um die modernen Möglichkeiten, wie man das verhindern kann. Da geht es dann um Fingerprint und Co., aber das ist wie gesagt eher Eigen-PR…

Aber wenn wieder die Rede von Qualität im Rahmen von Online-Mafo die Rede ist, dann sollte man sich die Zahlen aus Australien noch einmal zu Gemüte führen.