In einem zweiteiligen Post möchten wir A/B Testing (Teil 1) und Multivariates Testing (MVT) (Teil 2) erklären sowie die Vielzahl von Anwendungsmöglichkeiten anreißen. In diesem Teil geht es um MVT. Teil 1 finden Sie hier.

Was ist der Unterschied zwischen A/B Testing und MVT?

Beim MVT (Multivariate Testing) wird nicht nur ein Element in mehreren Ausprägungen getestet, sondern mehrere Elemente mit verschiedenen Ausprägungen getestet.

Beispiel:

  • Headline (Fragend, Auffordernd) = 2 Variationen
  • Produktbild (Platzierung Links, mittig oder rechts) = 3 Variationen
  • Produktbeschreibung (vorhanden, ausgeblendet) = 2 Variationen
  • Button (rot, grün) = 2 Variationen

Alle Variationen werden miteinander kombiniert, da alle möglichen Kombinationen daraus entstehen, die nach dem Zufallsprinzip in Echtzeit ausgeliefert werden. Im obigen Beispiel erreichen wir durch die Kombination insgesamt 24 Varianten. Das ist vergleichbar mit mehreren A/B Tests, die gleichzeitig laufen.Vorteil hier, man ermittelt nicht nur die beste Kombination, sondern kann ableiten, welches Element die größte Auswirkung hatte. Genauso kann es passieren, dass ein Element, was in einem A/B-Test einzeln vielleicht schlecht abgeschnitten hätte, dann in einer Kombination mit den anderen Elementen sehr gut funktioniert.

Wenn eine Seite mehrere Conversion-Ziele hat, was ja sehr oft der Fall ist, besteht die Möglichkeit systematisch die beste Kombination für die jeweilige Conversion zu ermitteln.

Beispiel: Startseiten-Teasertest eines Fluganbieters:

  • 3 große Teaser,
    • Statisch und animiert
  • 6 kleine Teaser,
    • Statisch und animiert
  • Conversion Ziele:
    • ClickThrough Rate (CTR)
    • Buchungen

Generelle Erkenntnisse dieses Tests könnten sein: Animation funktioniert weder für Buchungen und noch für CTR, allerdings führen die drei großen Teaser zu einer hohen CTR, während die kleinen sechs Teaser zu mehr Buchungen führen, aber niedrigere CTR erreichen. Diese Learnings kann man auf die Website generell übertragen, indem je nach Seitenart (Conversion Ziel) mit unterschiedlich großen Teasern arbeitet. Darüber hinaus spart man sich in diesem Fall die Kosten für die Animierung weiterer Teaser.

Wann benutzt man A/B Testing und wann Multivariates Testing?

Das hängt von der Fragestellung und dem Traffic ab. Hat man eine grundlegende Frage, die man beantworten möchte, dann passt A/B gut. Ist die Fragestellung komplexer und hat man genug Traffic, dann funktioniert ein MVT gut.

Bei Seiten mit wenige Conversions ist es schwierig mit MVT zu einem schlüssigen Ergebnis zu kommen. Wichtig hier ist die statistische Belastbarkeit der Ergebnisse (Conversion Rate Error und Signifikanz).

In einigen Fällen bietet sich die Kombination beider Verfahren an: Start mit einem A/B/N Test und dann Gewinner in einem MVT Test überführen. MVT ist auch besonders interessant, wenn man unterschiedliche Zielgruppensegmente hat, hier kann man die beste Kombination je Zielgruppe ermitteln. Wenn der MVT mindestens 2 Wochen läuft, dann kann vielleicht Learnings generieren, wie: „am Wochenende funktioniert eine emotionale, textreduzierte Kombination besser als am Anfang der Woche, wo eine sachliche, textlastigere Kombination“ – da es sich um ein Versicherungsangebot handelt. Oder zum Beispiel 3 Gewinner für bestimmte Tageszeiten und Wochentage, was dann dazu führen kann, dass das Thema Dynamisierung (Personalisierung oder Behavioral Targeting) Teil der Onlinestrategie wird.

Testing bietet nicht nur die Möglichkeit die Visualisierung und Conversion Rate zu verbessern, sondern kann auch helfen, Business Entscheidungen zu treffen.

Beispielfragen:

  • Wie hoch müssen oder dürfen die Versandkosten sein?
  • Lohnt es sich bei bestimmten Produkten die Besucher dazu zu animieren per Klick Call-Center zu kontaktieren, um so über das Call-Center einen Upsell zu generieren?
  • Oder genau umgekehrt: wie kann man die Anrufe im Call-Center reduzieren?

Welche Voraussetzungen müssen für das MVT bestehen?

Während der A/B Test ohne großen technischen Aufwand und mit relativ wenig Traffic durchgeführt werden kann, kann man MVT nur durch den Einsatz eines professionelles Tool durchführen, welches nicht nur die Echtzeitauslieferung steuert, sondern auch ein umfangreiches Reporting unter Berücksichtigung von statistischer Belastbarkeit der Ergebnisse liefert.

Für einen MVT ist die Planung besonders wichtig:

  • Was sind die jeweiligen Hypothesen?
  • Wie ist der User-Flow zu und von dem jeweiligen Testbereich?
  • Gibt es vielleicht Kombinationen, die sich ausschließen, also nicht ausgespielt werden dürfen.
  • Wie sehen die Kombinationen in den jeweils definierten Browsern aus?
  • Funktioniert alles technisch einwandfrei (sämtliche Links, Buttons, Lesbarkeit)?

In der Regel sollten ca. 300-500 Conversions pro Variante/Kombination möglich sein, damit ein MVT Sinn macht.

MVT ohne den nötigen Background einzusetzen, bedeutet eine lange Lernkurve, jedoch kann man sich das Wissen aneignen. A/B und MVT sollten nicht sporadisch, sondern als Bestandteil einer Optimierungsstrategie kontinuierlich eingesetzt werden.

Haben Sie Fragen oder Anmerkungen zu A/B Testing oder MVT? Welche Erfahrungen haben Sie gemacht?

HINTERLASSEN SIE EINE ANTWORT