Dein erfolgreichster Post lügt dich an

„Welche unserer Posts funktionieren am besten, und wovon sollten wir mehr machen?“

Das ist die naheliegendste Frage, die du einer KI zu deinen Social-Media-Kanälen stellen kannst. Es ist aber auch eine Frage, bei der die KI komplett und selbstbewusst danebenliegen kann und dir Empfehlungen gibt, die genau in die falsche Richtung zeigen.

Uns ist genau das passiert. Hier ist, wie es dazu kam, und welche Regeln wir seitdem befolgen.

Das Quartal, das keines war

Als ich zum ersten Mal einen Agenten unsere Performance auf YouTube und Instagram analysieren ließ, sahen die Ergebnisse großartig aus. Ein Quartal stach mit Abstand als unser stärkstes heraus, mit durchschnittlich um ein Vielfaches mehr Aufrufen pro Video als in jedem anderen Quartal. Die Empfehlung der KI: mehr von dem machen, was wir damals gemacht haben.

Das Problem: In diesem Quartal liefen zwei große Kampagnenfilme mit ordentlich Mediabudget dahinter. Die haben nicht „performt“. Für ihre Sichtbarkeit wurde bezahlt. Als wir sie herausgenommen haben, fiel der Durchschnitt für dieses Quartal ungefähr auf ein Zehntel, und es stellte sich heraus, dass es unser schwächstes Quartal war, nicht unser bestes.

Jede Empfehlung auf Basis der ersten Version wäre falsch gewesen. Und sie hätte vollkommen plausibel ausgesehen, mit Diagrammen und allem Drum und Dran.

Regel 1: Trenn bezahlt von organisch, bevor du irgendetwas rankst. Nicht als Fußnote, nicht als Filter, den man optional setzen kann. Als ersten Schritt, jedes Mal. Wir nennen das inzwischen unsere eiserne Regel, und sie steht in den Analyse-Anweisungen, damit kein Agent sie überspringen kann.

Ein Ausreißer lässt alles andere schlecht aussehen

Selbst nachdem wir die Kampagnen entfernt hatten, stießen wir auf ein zweites Problem. Ein beworbenes Video hatte so viele Aufrufe, dass daneben jedes normale Video winzig wirkte. In einem Ranking nach Durchschnittswerten sah ein ganz normales gutes Video mehr als hundertmal schlechter aus als der Spitzenreiter. Das ist keine Erkenntnis, das ist Rauschen.

Wir sind auf Mediane umgestiegen. Der Median zeigt dir, was ein typischer Post leistet. Den einen Post, der viral gegangen ist oder beworben wurde, ignoriert er. Plötzlich wurden die Unterschiede zwischen Formaten und Themen wieder sichtbar: welche Arten von Posts verlässlich etwas besser laufen und welche verlässlich etwas schlechter.

Regel 2: Nimm den Median für „typisch“, und schau dir Ausreißer getrennt an. Ausreißer sind interessant. Sie sollten nur nicht deine Basislinie bestimmen.

„Engagement“ ist nicht gleich Engagement

Unterschiedliche Plattformen zählen unterschiedliche Dinge. Auf einem Netzwerk enthielt das „Engagement“ im Analytics-Tool auch Link-Klicks, auf einem anderen nicht. Legst du sie nebeneinander, wirkt eine Plattform aus rein technischen Gründen viel ansprechender als die anderen.

Regel 3: Vergleich innerhalb einer Plattform, nicht plattformübergreifend, außer du hast geprüft, dass die Zahlen dasselbe bedeuten.

Eine Kennzahl, drei Definitionen

Dasselbe Problem gibt es auch in Unternehmen. Für eine unserer zentralen Geschäftskennzahlen haben wir drei verschiedene Definitionen gefunden, die im Umlauf waren, in drei verschiedenen Präsentationen. Jede war vertretbar. Zusammen führten sie dazu, dass jedes Meeting mit einer Debatte darüber begann, wessen Zahl stimmt.

Gelöst haben wir es, indem wir die Definition einmal aufgeschrieben haben, an einem einzigen Ort, und ein kleines Tool gebaut haben, das sie live aus dem CRM berechnet. Niemand muss der Definition für immer zustimmen. Aber alle verwenden dieselbe, bis sie geändert wird, an genau diesem einen Ort.

Regel 4: Jede Kennzahl hat genau eine schriftliche Definition. Vor allem, wenn eine KI rechnet. Sie nimmt die Definition, die sie zuerst findet.

Achte aufs Kleingedruckte

Ein paar weitere Fallen, in die wir getappt sind:

• Währungen. Als wir den Partnerumsatz über Länder hinweg mit einem einzigen Schwellenwert verglichen haben, wirkten Partner in Ländern mit einer anderen Währung um ein Vielfaches größer, als sie waren. Rechne immer um, bevor du vergleichst.
• Auto-Replies. „95 % der Nachrichten beantwortet“ kann heißen: „95 % der Leute haben eine automatische Nachricht bekommen.“ Schau dir an, wie schnell die Antworten kamen.
• Datenschutz in den Daten. Manche Analytics-Exporte enthalten Links zu Profilbildern mit Zugriffstokens darin. Entferne die, bevor irgendetwas gespeichert oder angezeigt wird.

Lass die KI zählen, nicht denken

Das alles heißt nicht, dass KI schlecht in Analytics ist. Bei den mühsamen Teilen ist sie hervorragend: Daten aus APIs holen, sie bereinigen, das Sentiment Tausender Kommentare bewerten, Content-Ideen entwerfen, die auf die echten Posts und Kommentare verlinken, aus denen sie stammen.

Aber sie hat keine Ahnung, dass für einen Post bezahlt wurde, dass eine Plattform anders zählt oder dass dein Unternehmen eine Kennzahl auf eine bestimmte Weise verwendet. Sie liefert so oder so einen schönen, selbstbewussten Report.

Die Checkliste ist also kurz:

1. Bezahltes zuerst raus. Immer.
2. Mediane für die Basislinie, Ausreißer extra.
3. Vergleich Gleiches mit Gleichem.
4. Eine Definition pro Kennzahl, einmal aufgeschrieben.
5. Lies ein paar der Top-Posts selbst, bevor du dem Ranking glaubst.

Dein erfolgreichster Post ist vielleicht wirklich dein bester. Stell nur sicher, dass er es sich verdient hat.