menhguin/how-to-do-good-research

Wie man gute Forschung betreibt

Wann verwenden

Laden Sie dieses Skill für substanzielle wissenschaftliche oder ML-Forschung: ein Problem auswählen oder neu formulieren, Experimente entwerfen, einen Vorschlag/ein Paper schreiben oder umstrukturieren, prüfen, ob die Evidenz eine Behauptung stützt, oder entscheiden, was als nächstes ausgeführt werden soll. Überspringen Sie es für eine einzelne Faktenabfrage oder eine mechanische Dateibearbeitung.

Dies ist ein bewusst kleines, referenzgesteuertes Skill. Seine erste Aufgabe ist es, das Modell dazu zu bringen, ungewöhnlich hochwertige Referenzen zu konsultieren, bevor es Experimente plant oder ein Paper schreibt. Fügen Sie weitere Quellen und Hausprinzipien hinzu, sobald der Benutzer sie entwickelt.

Laden Sie dies zusammen mit

• humanizer immer dann, wenn dieses Skill aktiviert wird. Lesen Sie es, bevor Sie irgendeinen benutzerorientierten Vorschlag, ein Paper, Abstract, eine Einleitung, Übersicht oder Forschungsnotiz entwerfen oder bearbeiten. Wenden Sie seinen Anti-KI-Durchgang auf den endgültigen Text an, während Sie die technische Präzision und die eigene Stimme des Benutzers bewahren.
• ai-research-custom wenn die Arbeit zum Forschungssystem des Benutzers gehört. Dieses Skill besitzt die Artefakt-Weiterleitung, die kanonische Form von Projekt-/Experimentaufzeichnungen, Abbruchkriterien und Journale.
• deep-research-orchestration-custom wenn die Aufgabe eine Literatursuche oder breite Quellensynthese erfordert. Dieses Skill regelt die Forschungsqualität; deep-research-orchestration-custom regelt die Streuung und den Abruf.

Prioritätsreferenzen

Lesen Sie die relevanten Teile von Hamming, Carlini und Nanda, bevor Sie substanzielle Forschungsdesign- oder Papierstrukturentscheidungen treffen. Konsultieren Sie auch Schwartz/ BootLoops bei der Auswahl oder Ausführung von agentenunterstützter quantitativer Arbeit. Lesen Sie zuerst Kei, wenn die Forschung in einem Startup oder einem anderen angewandten Umfeld stattfindet, da die anderen vier ein akademisches oder großes Laborumfeld annehmen. Wenn die Aufgabe klein ist, extrahieren Sie nur das Prinzip, das die Entscheidung ändert; fassen Sie nicht ritualistisch jeden Essay zusammen.

1. Richard Hamming, „You and Your Research“
   https://www.cs.virginia.edu/~robins/YouAndYourResearch.html

   Verwenden für Problemauswahl und Forschungsorientierung. Fragen Sie, ob das Problem wichtig und angreifbar ist; ob eine scheinbare Einschränkung in ein Ergebnis verwandelt werden kann; ob die isolierte Aufgabe ein wiederverwendbares Ergebnis über eine Klasse werden kann; und welche widersprüchlichen Beweise sichtbar bleiben müssen. Bewahren Sie die Balance, die Hamming beschreibt: Glauben Sie die Idee genug, um sie auszuführen, zweifeln Sie sie genug an, um zu bemerken, wo sie scheitert.

2. Nicholas Carlini, „How to win a best paper award (or, an opinionated take on how to do important research)“
   https://nicholas.carlini.com/writing/2026/how-to-win-a-best-paper-award.html

   Verwenden für Forschungsgeschmack, Ausführung und Papierfokus. Geben Sie die eine Idee des Papers in so wenigen Worten wie möglich wieder; beginnen Sie mit dem Teilproblem, das das Projekt am wahrscheinlichsten zum Scheitern bringt; führen Sie präzise Experimente, mehrere Versuche und Kontrollen für vorhersehbare Einwände durch; machen Sie das Paper lokal vollständig, ohne jedes nur verwandte Experiment durchzuführen; schreiben Sie das bestmögliche Fazit, bevor Sie sich stark festlegen; kennen Sie den beabsichtigten Leser; und entwerfen Sie Abbildungen, die für sich allein stehen.

3. Neel Nanda, „Highly Opinionated Advice on How to Write ML Papers“
   https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers

   Verwenden für Behauptungen, Evidenz und iteratives Schreiben. Komprimieren Sie das Projekt auf ein bis drei konkrete Behauptungen, warum sie wichtig sind, und ein bis drei entscheidende Experimente pro Behauptung. Bevorzugen Sie Experimente, die zwischen konkurrierenden Hypothesen unterscheiden; führen Sie eine Gegenargumentation zur Erzählung durch; verwenden Sie starke und fair abgestimmte Baselines; kennzeichnen Sie explorative versus bestätigende Analysen; bewahren Sie Einschränkungen und Nullergebnisse; und erweitern Sie in Stufen: komprimierte Aufzählungserzählung -> Einleitungsgliederung -> vollständige Papiergliederung -> Abbildungen/Ergebnisse -> Text -> wiederholte Bearbeitungen.

4. Matthew Schwartz, „Claude-shaped science“ (Anthropic Science Blog, 1. Oktober 2026)
   https://www.anthropic.com/research/claude-shaped-science
   Toolkit und Protokolle: https://bootloops.ai/harness.html · https://github.com/BootLoops-ai/bootloops · https://github.com/BootLoops-ai/skills

   Verwenden für Problemauswahl und zuverlässige Ausführung mit Forschungsagenten. Schwartzens BootLoops-Fallstudie fügt eine Frage der Fähigkeitseignung zu Hamings Wichtigkeits-und-Angreifbarkeitstest hinzu: Welche wichtigen Probleme werden durch die Breite des Modells, seine Programmierfähigkeit, maschinengestütztes Lesen oder erschöpfende Berechnung handhabbar? Durchsuchen Sie Disziplinen nach gemeinsamer mathematischer Struktur und vorhandenen Methoden, bevor Sie einen Agenten zwingen, den Arbeitsablauf eines menschlichen Forschers zu imitieren. Halten Sie diese Unterscheidungen explizit:

   • Technische Korrektheit und wissenschaftlicher Wert sind separate Tore. Überprüfen Sie Neuheit und Relevanz anhand der aktuellen Literatur und des Fachwissens. In Schwartzens Ökologie- und Genetikbeispielen fanden Experten die anfänglichen korrekten Berechnungen uninteressant und lenkten sie auf nützliche Fragen um. Bevorzugen Sie neu beantwortbare Fragen gegenüber lediglich mehr Stellen oder schnellerer Reproduktion; lassen Sie nicht zu, dass „KI-geprägt“ zu einer Ausrede wird, nur die Handhabbarkeit zu optimieren.
   • Verbessern Sie die Methode, bevor Sie eine Mühle skalieren. Messen Sie einen kleinen Durchlauf, überprüfen Sie den Engpass und suchen Sie nach vorhandenen Werkzeugen und Algorithmen, bevor Sie eine lange Berechnung starten. Wenn eine Verbesserung verallgemeinerbar ist, validieren Sie sie an bekannten Fällen und behalten Sie ihren Zweck, ihre Anwendbarkeit, ihre Schnittstelle und ihre Verifizierungskriterien bei, damit das nächste Projekt sie erben kann, einschließlich nützlicher Werkzeuge aus gescheiterten Projekten.
   • Entwerfen Sie Prüfungen, die ihre eigenen Eingaben nicht zertifizieren können. Verwenden Sie eine unabhängige Referenzroute und zurückgehaltene Punkte/Daten, die nicht zur Anpassung oder Auswahl der Antwort verwendet wurden; zeichnen Sie die Referenzherkunft auf. Stellen Sie gepflanzte Wahrheiten wieder her und lehnen Sie absichtlich korrumpierte Fälle ab, um den Prüfer selbst zu testen. Verwenden Sie gegebenenfalls Präzisionssteigerung oder zertifizierte Fehlerschranken. Numerische Übereinstimmung unterstützt eine Berechnung, ist aber für sich genommen kein Beweis einer allgemeinen Identität.
   • Machen Sie die Fertigstellung wörtlich. Bewahren Sie ausführbare Reproduktionsskripte, quantitative Akzeptanzkriterien, Diagramme und ungelöste Annahmen auf. Ein unbewiesenes tragendes Lemma, ein ersetztes Axiom oder eine vage „gute Übereinstimmung“ ist kein abgeschlossenes Ergebnis. Verwenden Sie unabhängige kritische Überprüfungen, klären Sie Ergebnisse und überprüfen Sie das tatsächliche Artefakt erneut, anstatt eine beruhigende Zusammenfassung zu akzeptieren. Bewahren Sie den aktuellen Plan und die Beweise über Sitzungen und Komprimierung hinweg auf der Festplatte auf.

   Lesen Sie bei Bedarf das relevante vorgelagerte Protokoll, insbesondere acceptance-gate, planted-truth, independence-bookkeeping, timing-discipline, reading-contract oder tool-stewardship; konsultieren Sie prove-protocol für Beweisarbeiten. Dies sind modellunabhängige Referenzen, keine automatisch installierten Skills oder universellen Garantien. Schwartz besitzt und pflegt BootLoops mit Finanzierung durch Anthropic; die berichteten wissenschaftlichen Errungenschaften sind autorenberichtet und erfordern Validierung auf Projektebene. Bewerten Sie modellspezifische Fähigkeitsgrenzen neu, wenn sich Modelle ändern.

5. Kei, „Doing a Research Startup“ (5. September 2024)
   https://web.archive.org/web/20240920140442/https://keiyuva.ai/posts/type.startup/
   Archivierte Kopie. Das Original, keiyuva.ai/posts/type.startup, war offline, als die Domain 2026 auslief.

   Verwenden Sie es als Einführung, wenn die Forschung in einem Startup oder einem anderen angewandten Umfeld durchgeführt wird. Experimentelle Forschung unterliegt dort Einschränkungen, die denen eines akademischen oder eines großen Labors ähneln und sich in einer Weise unterscheiden, die Entscheidungen beeinflusst. Die meisten Forschungsratschläge, einschließlich der vier obigen Referenzen, gehen von einem anderen Rhythmus, Umfeld und Anreizsystem aus. Legen Sie daher fest, wofür die Arbeit ist und wo sie durchgeführt wird, bevor Sie einen davon anwenden. Kei schreibt als Gründer eines Forschungs-Startups. Investoren zahlen für Geschwindigkeit, aber mehr Geld macht Forschung nicht zuverlässig schneller: „Man könnte 50 Dinge versuchen und bei allen scheitern oder es in 1-2 Versuchen schaffen.“ Der Fortschritt hat keine sauberen Metriken, daher muss jemand als starker PI fungieren, der die Richtung vorgibt und entscheidet, was eingestellt wird, denn wenn jeder alles versucht, geht das Unternehmen unter. Ausgaben sind an Unabhängigkeit geknüpft, was begrenzte Wetten, kleine erfolgreiche Experimente, die aufeinander aufbauen, und solide mundgerechte Produktveröffentlichungen zwischen den Rückkehr zur Forschung begünstigt. Knappe Ressourcen können auch eine billigere und bessere Methode erzwingen, als ein größeres Budget gekauft hätte. Wenn Sie ein Ergebnis melden, sagen Sie, was versucht wurde und warum es gescheitert ist; der Aufsatz behandelt „es hat nicht funktioniert“ ohne Begründung als Warnsignal. Behandeln Sie es als den Bericht eines Gründers über ein Unternehmen.

Arbeitsablauf

1. Wählen Sie das Problem. Schreiben Sie, warum es wichtig ist, warum es jetzt einen vernünftigen Angriffspunkt gibt und was nur dieses Team tun kann. Nennen Sie für agentenunterstützte Arbeit den spezifischen KI-Vorteil und legen Sie den wissenschaftlichen Wert separat fest. Geben Sie den Rahmen an und wofür die Arbeit ist (ein Paper, ein Produkt, ein Kunde, eine Finanzierungsrunde), da dies entscheidet, welche der obigen Ratschläge gelten.
2. Komprimieren Sie vor dem Erweitern. Schreiben Sie den Ein-Satz-Gedanken, das bestmögliche Fazit und nicht mehr als drei Behauptungen.
3. Ordnen Sie Behauptungen Evidenz zu. Geben Sie für jede Behauptung das entscheidende Experiment, die stärkste alternative Erklärung, die stärkste Baseline und das Ergebnis an, das sie widerlegen oder einschränken würde.
4. Greifen Sie zuerst den wahrscheinlichsten Fehler an. Bauen Sie den günstigsten Test der tragendsten Unsicherheit, bevor Sie den Rest polieren.
5. Entwerfen Sie die Abbildungen des Papers frühzeitig. Jede geplante Abbildung benötigt eine Ein-Satz-Erkenntnis und eine benannte Behauptung, die sie stützt. Wenn die Bildunterschrift es nicht erklären kann, teilen Sie es auf.
6. Halten Sie das Paper singular und den Anhang breit. Jedes Haupttextexperiment muss die eine Idee voranbringen. Fügen Sie nützliche, aber nicht tragende Durchläufe, implizites Wissen und Nebenergebnisse in Anhängen oder Begleitnotizen ein.
7. Schreiben Sie aus der Perspektive eines kalten Lesers. Kontext -> Problem -> Behauptung -> Evidenz -> Auswirkung. Definieren Sie die Begriffe, die der Leser benötigt; verstecken Sie eine einfache Idee nicht hinter formaler Sprache.
8. Laden Sie humanizer und wenden Sie es an. Entfernen Sie KI-artige Formulierungen, Textmauerrhythmus, unnötige Überschriften, vorgefertigte Übergänge, übermäßige Gedankenstriche und allgemeine Bedeutungsfloskeln. Lesen Sie den Text laut vor oder verwenden Sie TTS, wenn das Artefakt wichtig ist.
9. Prüfen Sie vor der Veröffentlichung. Überprüfen Sie die sachliche/zitierte Genauigkeit, die Stärke der Evidenz, nicht gemeldete Nullergebnisse, den Status vor/nach der Datenanalyse, die Reproduzierbarkeit und ob die Schlussfolgerung tatsächlich die Frage „Na und?“ beantwortet.

Minimaler Output für ein neues Projekt

Erstellen Sie diese vor einem langen Vorschlag:

• Ein-Satz-Idee
• Bestmögliches Fazit
• Ein bis drei Behauptungen
• Behauptung -> Evidenz -> Falsifizierer-Karte
• Erster Kill-Test
• Geplante Hauptabbildung(en)
• Bekannte Störfaktoren und stärkste Baselines
• Was bewusst nicht im Fokus ist

Erweitern Sie erst dann in Text.