Recruitment of participants for Online Research Communities, the role of Online Access Panels

If you are familiar with the business of online access panels  – maybe because you sometimes need that kind of service – you may know that providers of online access panels position themselves on the ground of huge panelsizes or because of delivered quality.
The respective underlying business model is correspondingly either quantities or it is defined by the quality of respondents’ information.
Both models of course have several advantages and disadvantages.

Quantity model
Advantages:
- Even small audiences with low incidence rates can be reached adequately
- High demands on field time and costs can be met
- Large numbers of cases are possible

Disadvantages:
- Higher fluctuation and “panel-mortality”
- Only few qualifying information about the participants available
- Recruitment methods are not always transparent
- Only little knowledge about the influence of the panel model on panelists self-perception as survey participants

Quality-driven model
Advantages:
- High quality responses on more strict rules of access to new panel members (eg. member-get-member)
- Extensive screening
- Qualitative analysis of the panelists (eg minimization of screen-outs as the basis of the relationship management)

Disadvantages:
- Limitation in case of low incidences are needed
- Limitation on the number of cases to be achieved
- Slightly higher costs

Photo by http://blog.allworkandnoplay.de/ In the context of online research community projects it is necessary to recruit participants not only to because of their target-group characteristics. You rather put demands on communication skills beyond “tip-the-box” as well as sufficient intrinsic motivation to participate.
Wherever it is generally a good idea to recruit participants via online access panels, we prefer those providers with a quality-driven approach. Results always are extremely high response rates, low drop-out rates over time (even in communities with longer durations) and last but not least positive effects in terms of ­panelists’ appreciation being a participant in market research.
Without participants and their willingness to share their experiences, attitudes and preferences, we would have a hard time.
So it is always a pleasure to read feedback like this after completion of online research communities:

“Thanks a lot to the moderators and creators of this community. I had a lot of fun and I have learned a lot. I’m happy that I was able to exchange with others and there were a lot of good hints. You, the scribblers, have been a great group! Thanks a lot. I wish all the best to all participants and perhaps we will meet one day on the internet or even in real life.”

Colors of cars, what do they tell you?

If you are in the automotive research then you know what I’m talking about. In nearly every study we have done for the automotive industry, at a certain stage the question about colors play an important role. Sometimes it’s the question about the dominant color of a car in the local market, sometimes it is about to decide which color a car scribble should have as stimulus material for group discussion (or should not have). And sometimes you want to know if a given car color represents mass taste.

In a world of deep depth of information about a huge range of topic you will need to mix the sources of knowledge. It is indeed important to know your category before starting a research. Sometimes you are lucky and you will find the information you need.

Let’s have a look at this piece of information.

Source: Kraftfahrzeugbundesamt, Germany

Accordingly, the 1980s in Germany, red was 22% of new registrations, more than any other. A similar proportion (21.6%) was gray it was followed by white with 20.6% ¬and blue with 15.7%.

Since then, Germany has become colorless. Just 6.8 % of new registrations in 2010 were still red. Thus, the red cars have quickly become less important. Even with green, it went down (from 5.5 to 1.4%), also with blue (15.7 to 10.5%) and the other colors (10.6 to 6.9%) as brown or orange.

Big winners are the black colored cars. In 1986, only every 25th car was black (4.0%). Today, however, black is regarded as noble and almost one third (30.4%) of all cars is painted black. Only in gray, there are more cars (32.6%).

Is that all the numbers could tell you?

Source: Kraftfahrzeugbundesamt, Germany

If you – like me – like accurateness and precision the answer is No! Our philosophy is to go that extra mile to deliver better results.

You can see some kind of color fashion over the years. And it would be interesting to map the socio-demographic change against these numbers.But most important is the fact that every brand (and even every model) has its own hypecycle. In 2010 it is very hard to find a non-black Jaguar, Porsche or Jeep, because all brands have a proportion of black cars registered in this year of more than 50%.

And be careful to think that every silver / gray car is premium. Smart has a proportion of 58.4% for this color.  This is a good example of how putting together different sources of knowledge from existing information about the market helps you produce better research results. Let’s see what we will learn about the topic of “mixing information” at the The Market Research Event 2011 in November in Orlando, Florida, hosted by IIR USA.

Mystery Shopper Umfrage

Dr. Gunnar Grieger vom Marktforschungsinstitut Dr. Grieger & Cie hat eine Studie unter Mystery Shoppern durchgeführt. Die Ergebnisse sind in mehrerer Hinsicht sehr interessant.

Los geht’s:

Mystery Shopper Umfrage

Mit dem „Mystery Shopper Monitor 2010“ erfolgte erstmalig eine Befragung von über 700 Mystery Shoppern in Deutschland. Untersucht wurden Einstellungen und Bedürfnisse rund um die Tätigkeit als Testkäufer. Dabei wurden Erkenntnisse aus den Bereichen Schulung, Tätigkeit, Vergütung und Zusammenarbeit zwischen Testkunden und Anbietern gewonnen.

Neben der finanziellen Motivation ist es für nahezu drei Viertel der Mystery Shopper wichtig, einen Beitrag zur Verbesserung der Servicewüste zu leisten. Die Lieblingseinsätze der Testkunden sind insbesondere in der Gastronomie und Hotellerie. Weniger beliebt sind Testberatungen bei Banken und Versicherungen und im Kfz-Bereich.

Mystery Shopper erhalten pro Stunde Einsatzzeit durchschnittlich 19 Euro. Allerdings erhält jeder Fünfte weniger als 10 Euro. Insofern bestehen große Unterschiede in der Vergütung. Fraglich ist zwar, ob ein Zusammenhang zwischen Qualität der Arbeit und Vergütung besteht, allerdings kann angenommen werden, dass bei einer Vergütung von weniger als 10 Euro pro Stunde eine erhebliche intrinsische Motivation vorauszusetzen ist. Eine andere Erklärung der Akzeptanz auf Testkäuferseite besteht darin, dass mehrere Aufträge angenommen werden, so dass es sich auf individueller Ebene lohnt.

Vorbereitungsart und -intensität der Mystery Shopper durch die Feldinstitute variieren zum Teil erheblich: Über 40 Prozent der befragten Testkäufer werden lediglich schriftlich vorbereitet, ohne dass die beauftragenden Institute und Agenturen überprüfen, ob die Mystery Shopper verstanden haben, was sie bewerten sollen. Insofern ist nicht gewährleistet, dass in allen Mystery Shopping-Untersuchungen die erforderlichen Gütekriterien Reliabilität und Validität sorgfältig beachtet werden. Dies ist bedenklich, da die Ergebnisse Maßnahmen in den untersuchten Unternehmen nach sich ziehen und die Auftraggeber sich folglich auf die Richtigkeit verlassen müssen. Beauftragende Unternehmen sollten sich daher die Vorbereitung der eingesetzten Testkäufer offenlegen lassen.

MysterypanelZum Studienhintergrund des Mystery Shopper Monitors

Mystery Shopping fasst Methoden der Marktforschung zusammen, bei denen verdeckt arbeitende Testkunden die Servicequalität eines Unternehmens erheben. In Deutschland bieten weit über 100 Marktforschungsinstitute Mystery Shopping-Dienstleistungen an, die schätzungsweise jährlich 75 Mio. Euro umsetzen.
In dem stetig wachsenden Markt sind immer mehr Personen im Rahmen einer Nebentätigkeit als Mystery Shopper aktiv. Daher wurden über 700 Personen zu Ihrer Tätigkeit als Mystery Shopper befragt. Der „Mystery Shopper Monitor 2010“ deckt erstmalig Bedürfnisse und Einstellungen der Testkäufer auf und beleuchtet Aspekte wie Vergütung, Schulung und Zusammenarbeit mit Auftraggebern.

Weiterführende Informationen über Mystery Shopping und die vollständige kostenlose Studie „Mystery Shopper Monitor 2010“ gibt es unter www.mysterypanel.de.

Marktforscher mit Meinung?

So, jetzt ist es schon Februar, das bedeutet, einer von zwölf Monaten aus 2010 ist dahin und Geschichte.

Das Jahr ist ja mit einer ganzen Reihe von Übersichten zu Trends und Zukunftsszenarien für die Marktforschung gestartet. Ohne jetzt hier die einzelnen Links zu posten, es war viel Interessantes dabei, aber einiges ist auch eben in diesem ersten Jahreszwölftel auch schon überholt. Egal, was ich eigentlich hier posten wollte ist einer meiner Lieblingsbeiträge aus 2009. Ein bisschen anachronistisch vielleicht, gerade für so ein schnelllebiges Medium. Aber das mag man mir nachsehen.

Alison Macleod hat auf ihrem tollen Blog im Oktober 2009 eine interessante Diskussion angestoßen, in der es im Großen und Ganzen um den schlechten Stellenwert geht, den Marktforschung in Unternehmen hat. Ebenso interessant sind die Kommentare. Vor allem der sehr lustige Kommentar von einem Guy am 16.10.09 ist eine Leseempfehlung, irgendwie tragisch-komisch.

Jeder Punkt für sich ist ein Argument für Verbesserungen im Hinblick auf Qualität. Jeder Punkt gibt solchen Anstrengungen wie dem FOYER, dem BAQMaR oder der Research Liberation Front eine Berechtigung.

Ich mag übrigens den Punkt i) von diesem Guy am liebsten. Und Ihr?

Hier kann die Marktforschung etwas lernen…

In einem kurzen und lesenswerten Beitrag von Katie Delahaye Paine auf ihrem PR Measurement Blog stellt die Autorin einmal die Verhältnisse zwischen dem Anteil menschlicher und technologischer Leistung klar.

  • „Companies are recognizing that analysts drive insights, not the analytics tool itself.”
  • “Invest 10% of your analytics budget on the actual technology and 90% of your budget in the people who deliver actionable insight, whether in-house analysts, agencies, or vendor partners. It’s the people that matter.“
  • “There’s a new tool released every week […]NONE of them measure reputation, relationships, brand health, brand strength or anything else. […]”
  • “you need a sapient human, familiar with your goals and objectives that can look at those numbers and charts and draw some conclusions and make recommendations.”

Und das gilt für die Marktforschung – übrigens nicht nur im Kontext von social media marketing – ebenfalls. Es schadet sicher nicht, sich das immer einmal wieder ins Bewusstsein zu bringen…

Ein paar Zahlen aus Australien zu Qualität von Online-MaFo

Eine bunte Themensammlung von Gründen und Argumenten, warum Technologie (aber nicht nur Technologie) Online-Befragungen verändern wird, findet sich hier . Immerhin werden in Australien bereits 33% aller Studien im Bereich Markt- und Medienforschung online durchgeführt.

Klar, relativ spät wird deutlich, dass es sich bei dem Artikel um ein bisschen Werbung für die eigene Software handelt, aber trotzdem sind die Punkte interessant. Auch, weil sie mit Daten belegt werden.

Hier sind die wichtigsten Erkenntnisse aus Australien, welche die Autoren empfehlen im Auge zu behalten, um Qualität und Robustheit von Daten (und den Entscheidungen, die darauf fußen) zu garantieren:

  • Alles, was online erhebungstechnisch technisch möglich ist und durch neue Technologien möglich wird, muss den Anforderungen an (traditionelle) Marktforschung gerecht werden (vor allem die Güte der Stichprobe im methodischen Sinne, aber auch das Ausschließen unerwünschter Effekte in den Befragungen selber).
  • Dazu gibt es die Zahlen, dass in Australien 0,25% der Internetnutzer für die Ergebnisse von 30% aller Online-Umfragen verantwortlich sind.
  • Mehrfachteilnahmen in unterschiedlichen Online-Panels ist die Hauptursache für dieses Ergebnis. ESOMAR wird zitiert, dass 6% aller Panelisten bei mehr als einem Panel registriert sind (und ich selbst bin auch bei mindestens fünf verschiedenen Panels registriert)

In der Folge geht es dann noch um die modernen Möglichkeiten, wie man das verhindern kann. Da geht es dann um Fingerprint und Co., aber das ist wie gesagt eher Eigen-PR…

Aber wenn wieder die Rede von Qualität im Rahmen von Online-Mafo die Rede ist, dann sollte man sich die Zahlen aus Australien noch einmal zu Gemüte führen.