Regelmässig werden von einer Abteilung des Finanzinstitutes E-Mails an die Kundschaft verschickt. Bis anhin war es nicht oder nur begrenzt möglich, nachzuverfolgen, ob die Empfängerinnen und Empfänger die E-Mails öffnen und auf Links klicken, also eine Interaktion stattfindet. Gegenwärtig wird ein neues E-Mail-Versandprogramm eingeführt, welches ermöglicht, genaue Statistiken von relevanten Kennzahlen (KPI), wie der Öffnungsraten der E-Mails oder den implementierten Links, zu erhalten.

Das neue Programm war noch nicht einsatzfähig für eigene A/B Tests, deshalb musste auf Daten eines bereits vorliegenden, aber noch nicht ausgewerteten A/B Tests zurückgegriffen werden: Das Marketing des Finanzinstitutes versendete Anfang des Sommers einen A/B Test eines Newsletters mit dem Ziel, herausfinden, auf welche Inhalte und Reize die Kundschaft besser anspricht. Es wurden randomisiert je 0.5% der gesamten Abonnierenden ausgewählt, welche danach entweder den ursprünglichen Newsletter A oder die veränderte Variante B erhalten haben. Die Newsletter unterschieden sich in mehreren Parametern.

Die Kennzahlen aus dem A/B Test unterscheiden sich deutlich von den historischen Werten des ursprünglichen Newsletters sowie jenen des Versandes an die gesamte Zielgruppe. Der Grund dafür war möglicherweise eine zu kleine oder nicht repräsentative Testgruppe, was zu einer Stichprobenverzerrung geführt haben könnte. Zur statistischen Auswertung der Daten, kann ein t-Test angewendet werden. Zwar stehen mehrere historische Daten und entsprechende Kennzahlen aus dem Newsletter zur Verfügung; für einen aussagekräftigen t-Test wird jedoch mehr als nur eine Stichprobe (bisher wurde der B Newsletter nur einmal versendet) benötigt. Die Leistungskennzahlen wurden dennoch inhaltlich interpretiert, um Hypothesen für zukünftigte Tests zu bilden. So korrelieren etwa die Öffnungsraten der Inhalte nicht mit der Positionierung im Newsletter. Das Thema, dessen Titel und ein prägnanter Kurzbeschrieb sind hingegen umso wichtiger für die Click Raten. Durch die Analyse des A/B Testings sowie der Theorie entstanden diverse Handlungsempfehlungen für weitere A/B Testings der Abteilung.