So bewerten wir

Was wir tun – und was wir noch nicht tun

Die meisten Listen der „besten KI-Agenten“ entstehen aus Marketingseiten der Anbieter und aus anderen Listen – und werden dann als Test ausgegeben. Wir halten das für das Kernproblem dieser Produktkategorie und beginnen deshalb damit, unsere eigene Arbeit genau zu beschreiben.

Was wir heute tun: Desk-Research. Wir lesen Preisseiten, Dokumentation, Sicherheitsseiten und Vertragsbedingungen der Anbieter, veröffentlichte Fallstudien namentlich genannter Kunden sowie unabhängige Berichterstattung und Einkaufsdaten. Wir halten fest, was jede Quelle sagt, verlinken sie und bewerten Produkte danach, wie viel ein Käufer vor der Unterschrift überprüfen kann.

Was wir noch nicht tun: Praxistests. Wir haben diese Agenten nicht mit einem einheitlichen Ticketsatz geprüft. Deshalb veröffentlichen wir keine selbst gemessenen Lösungsquoten und vergeben dafür auch keine Punkte. Sobald sich das ändert, steht es auf dieser Seite und in den Änderungen, und die Ergebnisse werden vollständig veröffentlicht.

Woher unsere Fakten stammen

1. Preisseiten, Dokumentation und Vertragsbedingungen des Anbieters selbst – für dessen Preise, Abrechnungsdefinitionen, Kanäle, Sprachen, Hosting und Zertifizierungen.
2. Fallstudien, die den Kunden beim Namen nennen – für Ergebnisse aus dem Produktivbetrieb, gelesen in dem Wissen, dass die Anbieter auswählen, welche Kunden sie veröffentlichen.
3. Unabhängige Berichterstattung und Daten – etablierte Presse, Analystenstudien und Einkaufsdaten, die zeigen, was Käufer tatsächlich bezahlt haben.

Finden wir für etwas keine Quelle, steht auf der Seite „nicht dokumentiert“, statt dass wir raten. Schätzungen sind als Schätzungen gekennzeichnet, mit dem Namen dessen, der sie abgegeben hat.

Eine Produktdatenbank, damit sich Seiten nicht widersprechen können

Bewertungsportale nennen in einer Rangliste oft einen Preis und im Vergleich einen anderen, weil jeder Artikel für sich geschrieben wurde. Hier liegt jeder Fakt in einem einzigen Produktdatensatz, mit Quelle und Abrufdatum. Bewertungen, Preisseiten, Vergleiche, der Kostenrechner und alle vier Sprachausgaben werden aus diesem Datensatz erzeugt. Ändert ein Anbieter einen Preis, ändern wir ihn einmal, und jede Seite aktualisiert sich.

Preise zeigen wir in der Währung, in der der Anbieter sie veröffentlicht – in dieser Kategorie fast immer US-Dollar. Wir rechnen sie nicht um, denn zu einem erfundenen Wechselkurs kann niemand kaufen.

So entsteht die Punktzahl

Das Bewertungsraster v1.0 hat fünf Kriterien. Jedes Produkt erhält für jedes Kriterium eine Stufe von 1 bis 5, nach den unten stehenden schriftlichen Regeln. Die Stufe wird mit der Gewichtung des Kriteriums multipliziert, die Ergebnisse werden zu einer Punktzahl von maximal 10 addiert. Weil die Regeln öffentlich sind, können Sie jede Punktzahl selbst nachprüfen und uns sagen, wenn wir uns geirrt haben.

Preistransparenz — 25%

Kann ein Käufer die Rechnung ausrechnen, bevor er mit dem Vertrieb spricht?

Leistungsnachweise — 25%

Worauf stützen sich die Angaben zur Lösungsquote?

Zugang und Zeit bis zum Pilotprojekt — 20%

Wie schnell kann ein Team das Produkt an echten Tickets ausprobieren?

Kanal- und Sprachabdeckung — 15%

Funktioniert es dort, wo Ihre Kunden sind?

Kontrolle und Compliance — 15%

Können Sie steuern, was der Agent sagt – und es im Nachhinein belegen?

Die Rangliste

Behauptet oder berichtet

Jeder Anbieter in dieser Kategorie wirbt mit einer Lösungsquote, und die Zahlen sind nicht vergleichbar. Manche zählen jede Konversation als gelöst, die der Kunde abbricht; andere verlangen, dass der Kunde die Lösung bestätigt. Wo immer wir eine Leistungszahl zeigen, kennzeichnen wir deshalb, von wem sie stammt:

• Anbieterangabe – eine Zahl aus dem Marketing des Anbieters, meist ein Durchschnitt über alle Kunden.
• Anbieter, mit veröffentlichter Definition – der Anbieter erklärt zusätzlich, wie die Zahl gemessen wird.
• Namentlich genannter Kunde – ein Wert, den ein namentlich genanntes Unternehmen in einer veröffentlichten Fallstudie berichtet hat.
• Unabhängige dritte Quelle – Presse, Analysten oder Einkaufsdaten, die der Anbieter nicht kontrolliert.

Das Messproblem erklären wir in Was zählt als gelöste Anfrage? und Lösungsquote vs. Deflection-Rate.

Was die Punktzahl nicht aussagt

Die Punktzahl zeigt, wie transparent, belegt, zugänglich, breit aufgestellt und steuerbar ein Produkt ist – beurteilt anhand öffentlicher Informationen. Sie sagt nicht, welchen Anteil Ihrer Tickets der Agent lösen wird. Das hängt von Ihrer Wissensdatenbank, Ihrem Ticketmix und Ihren Integrationen ab, und herausfinden lässt es sich nur mit einem Pilotprojekt auf Ihren eigenen Daten. Wie das geht, erklärt unser Ratgeber zum Pilotprojekt mit einem KI-Agenten.

Das Raster bevorzugt außerdem Produkte, die ein Team schnell ausprobieren und ohne Vertriebsgespräch kalkulieren kann. Das ist Absicht, weil es dem Bedarf der meisten Käufer entspricht. Es bedeutet aber auch, dass reine Enterprise-Plattformen beim Zugang schlechter abschneiden, als ihre Leistungsfähigkeit allein vermuten ließe. Unsere Enterprise-Liste liest dieselben Daten mit diesem Wissen.

Geplant: ein Praxistest

Die nächste Version des Bewertungsrasters erhält ein gemessenes Kriterium. Das Protokoll, das wir vor der Durchführung veröffentlichen wollen:

• Ein öffentlicher Satz von 50 Support-Tickets zu Abrechnung, Bestellstatus, Kontozugang, Produktanleitungen und Beschwerden – darunter Fragen, die die Wissensdatenbank nicht beantworten kann.
• Dieselbe Wissensdatenbank in jedem Agenten, der einen Self-Service-Zugang erlaubt.
• Bewertet werden korrekte Lösung, mit Überzeugung gegebene falsche Antworten, angemessene Übergabe an einen Menschen und Einrichtungszeit.
• Vollständige Transkripte und Bewertungsbögen werden veröffentlicht, damit jeder nachbewerten kann.

Wie wir Seiten aktuell halten

Jede Seite zeigt drei Daten: wann sie veröffentlicht wurde, wann sie zuletzt aktualisiert wurde und wann ihre Preise und Zahlen zuletzt mit den Quellen abgeglichen wurden. Wir prüfen die Produktdatenbank monatlich und immer dann, wenn ein Anbieter eine Preisänderung ankündigt. Wesentliche Änderungen halten wir in den Änderungen fest.

Unabhängigkeit und Finanzierung

Verkauft der Herausgeber ein Produkt in dieser Kategorie, ist dieses Produkt überall, wo es erscheint, als „Produkt des Herausgebers“ gekennzeichnet und wird nach denselben Regeln bewertet wie alles andere. Wir verwenden keine Affiliate-Links, und Links zu Anbietern enthalten keine Tracking-Parameter.

KI-Unterstützung

Die Seiten werden mit KI-Unterstützung recherchiert und entworfen, auf Grundlage der Quellen, die am Ende jeder Seite aufgeführt sind. Hat eine namentlich genannte Redakteurin oder ein namentlich genannter Redakteur eine Seite geprüft, steht das in der Autorenzeile. Das sagen wir Ihnen lieber offen, als einen erfundenen Namen auf die Seite zu setzen.

Korrekturen

Ist ein Preis veraltet, ein Fakt falsch oder folgt eine Punktzahl nicht aus den oben genannten Regeln, nutzen Sie den Link „Fehler melden“ auf jeder Seite. Bestätigte Fehler beheben wir in der Produktdatenbank – das korrigiert alle Seiten auf einmal –, und wesentliche Korrekturen vermerken wir in den Änderungen.

Diese Seite wurde mit KI-Unterstützung anhand der hier aufgeführten Quellen recherchiert und entworfen. Praxistests dieser Produkte haben wir nicht durchgeführt. Methode: So bewerten wir