Methodik

So bewerten wir Bücher

Jedes Buch auf EvidenceShelf erhält einen Evidence Score von 0 bis 10. Die Note beantwortet eine Frage: Halten die Ideen, nach denen Sie laut diesem Buch handeln sollen, der veröffentlichten Forschung stand?

So bewerten wir ein Buch

  1. Die zentralen Aussagen auflisten. Wir wählen die vier bis sechs Ideen, auf die sich das Buch am stärksten stützt: diejenigen, nach denen Leser tatsächlich handeln würden. Wir formulieren jede Aussage in einfachen Worten, so wie das Buch sie darstellt.
  2. Die Forschung prüfen. Zu jeder Aussage suchen wir zuerst die stärkste Evidenz: Metaanalysen, systematische Übersichtsarbeiten und große, präregistrierte Replikationen. Einzelstudien kommen danach. Jede Quelle wird von Hand geprüft: Sie muss existieren, und sie muss aussagen, was wir ihr zuschreiben.
  3. Jede Aussage markieren. Eine Aussage hält stand, wenn starke, replizierte Evidenz sie stützt. Sie ist umstritten, wenn die Evidenz echt, aber kleiner, enger oder strittiger ist, als das Buch nahelegt. Sie ist nicht belegt, wenn keine Studie sie testet oder die entscheidenden Studien sich nicht replizieren ließen.
  4. Das Buch benoten. Die Note gewichtet, wie zentral jede Aussage für das Buch ist, nicht nur, wie viele Aussagen bestehen. Ein Buch, dessen Kernidee standhält, kann gut abschneiden, auch wenn ein Nebenkapitel das nicht tut.
  5. Die Quellen offenlegen. Jede Rezension verlinkt die Studien hinter jeder Markierung, damit Sie unsere Arbeit überprüfen können.

Was die Note bedeutet

Note Evidenz Bedeutung
9–10 Stark Konsensbefunde, vielfach repliziert.
7–8,5 Stark Solide Forschung, mit einigen veralteten oder umstrittenen Passagen.
5–6,5 Gemischt Die Kernidee ist vernünftig, aber übertrieben, selektiv belegt oder als Methode ungeprüft.
3–4,5 Schwach Wenig Evidenz, oder stützt sich auf Befunde, die sich nicht replizieren ließen.
1–2,5 Schwach Überwiegend Meinung und Anekdoten.
0 Keine Pseudowissenschaft oder Ratschläge, die schaden könnten.

Eine niedrige Note heißt nicht, dass ein Buch nutzlos ist. Viele Leser finden eine gut erzählte Geschichte motivierend. Sie bedeutet, dass die Aussagen des Buchs darüber, warum seine Ratschläge wirken, nicht von der Forschung gestützt werden. Sie sollten also nicht die Ergebnisse erwarten, die es verspricht.

Was wir nicht tun

Aktualisierungen und Korrekturen

Die Forschung entwickelt sich weiter. Wenn eine neue Metaanalyse oder eine gescheiterte Replikation das Bild verändert, aktualisieren wir die Rezension, ändern das Datum oben auf der Seite und passen die Note bei Bedarf an. Sie haben einen Fehler gefunden? Schreiben Sie an contact@evidenceshelf.com, und wir prüfen ihn.