Es gibt reales Nutzungsvolumen.
Die Funktion wird produktiv genutzt oder steht kurz vor einem Rollout, bei dem die heutige Kostenstruktur relevant skaliert.
Alle Leistungen
LLM-Kosten senken
Die KI-Rechnung wächst schneller als die Nutzung. Das hat meistens drei Gründe.
Eine AWS-Rechnung lässt sich aufschlüsseln, bis man weiß, welcher Dienst in welchem Konto welche Kosten erzeugt. Eine Rechnung für Inferenz kennt eine Summe und eine Tokenzahl. Deshalb wächst sie oft, ohne dass jemand sagen kann, warum: welcher Anwendungsfall, welcher Nutzer, welcher Vorgang. Ich mache das sichtbar und setze den ersten Hebel gleich mit um.
AWS Certified Generative AI Developer – ProfessionalFinOpsKosten je VorgangEinstieg 2.400 €
Was Sie bekommen
- Kosten je Vorgang, je Nutzer und je Anwendungsfall, statt einer Monatssumme
- Die drei teuersten Pfade benannt, mit Anteil an der Rechnung
- Eine Liste von Hebeln mit geschätzter Wirkung und Aufwand, in Reihenfolge
- Ein Hebel Ihrer Wahl direkt umgesetzt, bis zu acht Stunden, nicht nur empfohlen
- Messung, die weiterläuft, damit die nächste Steigerung auffällt
- Kontingente und Warnschwellen, damit ein Ausreißer keine Monatsrechnung wird
Umfang & Zusammenarbeit
Für die Auswertung genügt Lesezugriff auf die Abrechnung. Die Messung ist eine Codeänderung und wird gemeinsam mit Ihrem Team in die Anwendung eingebaut, der erste Hebel ebenso.
Remote aus Deutschland. Direkt mit mir, ohne Agentur dazwischen.
Die Ausgangslage
Niemand misst, was ein Vorgang kostet.
Bei Infrastruktur ist die Frage nach den Kosten gelöst. Es gibt einen Kostenbericht, Kostenstellen, Etiketten an den Ressourcen, und wer will, sieht bis auf die einzelne Instanz. Bei Inferenz gibt es eine Rechnung mit einer Summe und einer Zahl von Token. Was diese Token verursacht hat, steht dort nicht, und in der eigenen Anwendung wird es meist auch nicht erhoben.
Dadurch bleibt die erste Antwort auf steigende Kosten fast immer dieselbe: ein günstigeres Modell. Das hilft manchmal und verschlechtert manchmal das Ergebnis so weit, dass die Nacharbeit teurer ist als die Ersparnis. Ohne Messung ist das ein Münzwurf. Die eigentlichen Treiber liegen woanders, und sie sind langweiliger: ein Kontext, der mit jedem Werkzeugaufruf wächst und jedes Mal neu bezahlt wird. Dieselbe Frage, die hundert Nutzer am Tag stellen und die hundertmal frisch beantwortet wird. Ein Wiederholungsversuch, der bei jedem Fehler die ganze Anfrage noch einmal schickt.
Das Vorgehen ist deshalb dasselbe wie bei AWS: erst messen, dann handeln. Der Unterschied ist nur, dass die Messung bei Inferenz nicht vorhanden ist, sondern eingebaut werden muss. Das ist der kleinere Teil der Arbeit und der, der am längsten wirkt.
Kommt Ihnen etwas davon bekannt vor?- Die Rechnung steigt schneller als die Zahl der Nutzer.
- Niemand kann sagen, was ein einzelner Vorgang kostet.
- Für jede Aufgabe läuft das größte Modell, weil es beim Ausprobieren am besten war.
- Der Kontext wächst mit jedem Werkzeugaufruf, und alles davon wird erneut abgerechnet.
- Dieselben Fragen werden jeden Tag neu beantwortet und jedes Mal neu bezahlt.
- Ein einzelner Nutzer oder ein fehlerhafter Ablauf kann die Monatsrechnung verdoppeln.
Für wen das passt
Für KI-Verantwortliche, die nicht nur die Monatsrechnung, sondern die Kosten pro Vorgang kennen müssen.
Das Angebot richtet sich an CTOs, AI Leads und Produktverantwortliche mit einer produktiven oder stark wachsenden LLM-Funktion. Nutzung und Rechnung steigen, aber Tokens, Modellwahl und Kontext lassen sich keinem Geschäftsvorgang sauber zuordnen.
Qualität darf nicht weggespart werden.
Modellrouting, Kontext und Caching müssen gegen messbare Ergebnisqualität geprüft werden, nicht nur gegen Tokenpreise.
Sie brauchen steuerbare Stückkosten.
Kosten sollen pro Nutzer, Feature oder Vorgang sichtbar werden, damit Produktentscheidungen auf belastbaren Zahlen beruhen.
Was ich mache
Was dabei passiert
01
Messung einbauen
Je Anfrage werden Anwendungsfall, Modell, Ein- und Ausgabetoken und Kosten erfasst, verknüpft mit Nutzer und Vorgang. Ohne diesen Schritt ist jede weitere Aussage geraten, deshalb steht er am Anfang und nicht am Ende.
02
Die teuersten Pfade finden
Fast immer verursachen wenige Pfade den größten Teil der Rechnung, und es sind selten die, die man vermutet. Erst wenn sie benannt sind, lohnt sich die Diskussion über Modelle.
03
Modell nach Aufgabe
Klassifizieren, extrahieren und zusammenfassen brauchen kein Modell, das auch komplexe Aufgaben löst. Wo die Qualität hält, wird umgeschichtet, und das wird belegt statt behauptet: mit einer Evaluation gegen echte Fälle. Die ist eine eigene Strecke mit Testfällen und Qualitätsschwellen und deshalb nicht Teil des Einstiegs.
04
Kontext und Wiederholungen
Prompt Caching für den festen Teil, Kontext auf das Nötige begrenzen, gezieltes Nachschlagen statt alles mitzugeben, Antwortlängen deckeln. Das sind die Hebel ohne Qualitätsverlust und deshalb die ersten.
05
Kontingente und Warnschwellen
Kontingente je Nutzer und je Anwendungsfall, dazu Warnschwellen. Ein fehlerhafter Ablauf soll Geld kosten können, aber nicht beliebig viel und nicht unbemerkt. Ein harter Deckel, der Anfragen ablehnt, greift in den Anfrageweg ein und steht deshalb als eigener Hebel auf der Liste, statt nebenbei eingebaut zu werden.
06
Was danach gilt
Die Messung bleibt, mit einer knappen Auswertung, die im Alltag gelesen wird. Damit fällt die nächste Steigerung auf, solange sie noch klein ist.
Wissen Sie, was ein Vorgang in Ihrer KI-Anwendung kostet?
Schicken Sie mir die grobe Monatssumme und den Anwendungsfall. Sie bekommen eine Einschätzung, wo die Hebel liegen, bevor Sie etwas beauftragen.
Ablauf
Wie das abläuft
Vier Schritte in zehn Werktagen. Nach dem zweiten wissen Sie, wohin das Geld geht.
SCHRITT 01
Gespräch, 30 Minuten
Welche Anwendung, welcher Anbieter, welche Größenordnung. Danach sage ich Ihnen, ob sich der Aufwand lohnt. Unter ein paar hundert Euro im Monat lohnt er sich meistens nicht, und dann sage ich das.
SCHRITT 02
Messung und Auswertung
Die Erfassung wird eingebaut und läuft ein paar Tage mit. Danach steht schwarz auf weiß, welcher Anwendungsfall, welcher Pfad und welcher Nutzer welchen Anteil an der Rechnung hat.
SCHRITT 03
Hebel in Reihenfolge
Jeder Hebel mit geschätzter Wirkung, Aufwand und Risiko für die Qualität. Sie entscheiden, welcher zuerst kommt. Meiner Erfahrung nach sind die ersten beiden die ohne Qualitätsverlust.
SCHRITT 04
Ein Hebel umgesetzt
Ein Punkt der Liste, den Sie wählen, wird gemeinsam mit Ihrem Team umgesetzt und nachgemessen, bis zu acht Stunden Umsetzung. Damit ist am Ende nicht nur ein Bericht da, sondern dieselbe Zahl vorher und nachher, am selben Vorgang gemessen.
Einstieg
Kostenbild und erster Hebel. Festpreis 2.400 €
Festpreis. Weitere Hebel werden danach nach Umfang angeboten, bevor sie beginnen.
Kein Gutachten, sondern eine gemessene Zahl: Nach zehn Werktagen wissen Sie, wohin das Geld geht, und für den umgesetzten Hebel liegt vorher und nachher am selben Vorgang nebeneinander.
Was Sie bekommen
- Messung je Anfrage eingebaut: Anwendungsfall, Modell, Token, Kosten, Nutzer
- Auswertung nach ein paar Tagen Laufzeit: die drei teuersten Pfade mit Anteil
- Liste der Hebel in Reihenfolge, mit geschätzter Wirkung, Aufwand und Risiko
- Ein Hebel daraus gemeinsam umgesetzt und nachgemessen, bis zu acht Stunden Umsetzung. Sie wählen welchen
- Kontingente und Warnschwellen eingerichtet
- Die Messung bleibt bei Ihnen und läuft weiter
Was Sie nicht bekommen
- Kein Wechsel des Anbieters als Teil des Festpreises, das ist ein eigenes Vorhaben
- Keine Feinabstimmung eines Modells, dafür ist die Ausgangslage meist zu früh
- Keine Umsetzung der übrigen Hebel und keine Umsetzung über die acht Stunden hinaus, beides wird danach nach Umfang angeboten
- Keine Evaluationsstrecke mit Testfällen und Qualitätsschwellen. Soll der erste Hebel ein Modellwechsel sein, biete ich sie gesondert an
- Kein harter Deckel im Anfrageweg als Teil des Festpreises, der steht als eigener Hebel auf der Liste
- Keine Bewertung, ob der Anwendungsfall datenschutzrechtlich zulässig ist
- Keine laufende Betreuung ohne eigene Vereinbarung
- Lesezugriff auf die Abrechnung des Anbieters und auf die Stellen im Code, an denen Modelle aufgerufen werden
- Die Möglichkeit, die Messung einzubauen, gemeinsam mit Ihrem Team
- Bei mehreren Diensten oder mehr als etwa zehn Aufrufstellen wird der Umfang vorher abgestimmt
- Was entsteht, liegt in Ihrem Code und gehört Ihnen
- Festpreis, unabhängig davon wie lange ich brauche
- Die zehn Werktage zählen ab dem Tag, an dem die Messung in Ihrer Umgebung läuft
- Der umgesetzte Hebel wird über drei Werktage nach der Umstellung nachgemessen, danach läuft die Messung ohne mich weiter
- Preis netto, zuzüglich Umsatzsteuer
- Unterhalb einer Monatsrechnung von wenigen hundert Euro sage ich vorher ab. Der Aufwand lohnt sich dann nicht
Das Ergebnis
Was danach anders ist
Die Rechnung hat eine Aufschlüsselung
Anwendungsfall, Nutzer, Pfad. Damit lässt sich über Kosten reden wie über jede andere Position, statt über eine Summe zu staunen.
Modellwahl ist begründet
Wo ein kleineres Modell reicht, ist das an echten Fällen belegt. Wo es nicht reicht, ebenso. Beides schlägt eine Vermutung.
Ein Ausreißer bleibt ein Ausreißer
Kontingente und Warnschwellen sorgen dafür, dass ein fehlerhafter Ablauf am selben Tag auffällt und nicht in der Abrechnung des Folgemonats.
Die Messung bleibt
Sie gehört Ihnen, läuft weiter und macht die nächste Kostensteigerung erklärbar, ohne dass jemand von außen kommen muss.
Eingesetzte Technologien
Womit ich arbeite
Anbieter
- Amazon Bedrock
- Anthropic API
- OpenAI
- Azure OpenAI
Messung
- OpenTelemetry
- CloudWatch
- Kosten je Vorgang
- Token-Zählung
Hebel
- Prompt Caching
- Model Routing
- Batch-Verarbeitung
- Antwortlängen
Abruf
- RAG
- Embeddings
- Vektordatenbank
- Nachschlagen statt Kontext
Qualität
- LLM-Evaluation
- Testfälle
- Qualitätsschwellen
Grenzen
- Kontingente
- AWS Budgets
- Warnschwellen
FinOps
- Cost and Usage Report
- Kostenstellen
- Etikettierung
Sprachen
- Python
- TypeScript
- Golang
- PHP 8
Mit wem Sie es zu tun haben
Direkt mit mir als Freelancer. Keine Agentur dazwischen.
Ich bin Tim Rutte. Über 20 Jahre Softwareentwicklung, heute senke ich AWS-Rechnungen und baue KI-Systeme. Hier trifft beides aufeinander. Sie sprechen mit der Person, die Ihren Code anfasst, vom ersten Gespräch bis zur Übergabe.
- 20+Jahre Softwareentwicklung
- 50+erfolgreiche Projekte
- 2003seit diesem Jahr remote im Einsatz
Häufige Fragen
Häufige Fragen zu Inferenzkosten
Reicht es nicht, auf ein günstigeres Modell zu wechseln?
Manchmal. Ohne Messung ist es aber ein Münzwurf: Wenn das kleinere Modell öfter danebenliegt, zahlen Sie die Ersparnis in Nacharbeit zurück, nur an einer Stelle, wo sie in keiner Rechnung auftaucht. Deshalb steht die Messung vorn und die Modellwahl danach, belegt an echten Fällen.
Wir nutzen Amazon Bedrock. Sieht man die Kosten dort nicht?
Sie sehen die Kosten je Modell, mit Application Inference Profiles auch je Etikett und seit Kurzem auch je IAM-Nutzer und -Rolle. Was Sie nicht sehen, ist der Anwendungsfall, der Endnutzer Ihrer Anwendung und der einzelne Vorgang. Genau diese Zuordnung entsteht in der Anwendung, nicht in der Abrechnung, und sie ist der erste Schritt.
Wie viel lässt sich üblicherweise sparen?
Eine ehrliche Antwort: Das hängt davon ab, wie viel bisher gemessen wurde. Wo noch niemand hingeschaut hat, sind Prompt Caching und Kontextdisziplin oft die größten Posten, und beide kosten keine Qualität. Eine Prozentzahl nenne ich vorher nicht, weil sie ohne Ihre Zahlen erfunden wäre.
Was kostet die Senkung der LLM-Kosten?
Der Einstieg kostet 2.400 Euro netto zum Festpreis und umfasst Messung, Auswertung, die Liste der Hebel und die Umsetzung eines Hebels Ihrer Wahl, bis zu acht Stunden. Weitere Hebel werden danach nach Umfang angeboten. Wenn Ihre Rechnung nur wenige hundert Euro im Monat beträgt, sage ich ab, bevor Sie beauftragen.
Verschlechtert sich dadurch die Qualität?
Die ersten Hebel nicht: Prompt Caching ändert am Ergebnis nichts, kürzerer Kontext meistens auch nicht, begrenzte Antwortlängen sind eine Einstellung. Erst beim Modellwechsel steht Qualität im Spiel. Umgestellt wird dort nichts ohne eine Evaluation gegen echte Fälle, und die ist eine eigene Strecke mit Testfällen und Qualitätsschwellen. Sie gehört deshalb nicht in den Festpreis, sondern wird gesondert angeboten.
Gilt das auch für Agenten mit vielen Werkzeugaufrufen?
Dort besonders. Bei einem Agenten wächst der Kontext mit jedem Schritt, und jeder Schritt bezahlt alles, was vorher passiert ist, noch einmal mit. Werkzeuge, die knapp antworten, und Zwischenstände, die zusammengefasst statt mitgeschleppt werden, sind hier die größten Hebel.
Müssen wir dafür unseren Code offenlegen?
Nein. Die Arbeit findet in Ihrer Umgebung statt, mit Ihren Zugängen. Was ich brauche, ist Lesezugriff auf die Stellen, an denen Modelle aufgerufen werden, und die Möglichkeit, dort die Messung einzubauen.
Wir bauen gerade erst einen Agenten. Ist das hier die richtige Seite?
Kommt darauf an, wo Sie stehen. Wenn die Anwendung läuft und die Rechnung das Problem ist, sind Sie hier richtig: Gemessen wird, was Sie schon betreiben. Wenn der Agent erst noch an Ihre Systeme angebunden werden muss, gehört das auf /leistungen/mcp-server-entwickeln/. Kontingente je Nutzer und begrenzte Antwortgrößen sind dort von Anfang an Teil des Bauplans, statt später nachgezogen zu werden.
Machen Sie das auch für die AWS-Rechnung insgesamt?
Ja, das ist eine eigene Leistung mit eigenem Einstieg. Wenn beides zusammenfällt, was bei KI-Systemen auf AWS oft der Fall ist, sagen Sie es im ersten Gespräch, dann schneiden wir es gemeinsam zu, statt zweimal dieselbe Messung zu bauen.
Weitere Leistungen
Womit ich sonst helfe.
KI-Integration
Die Infrastruktur hinter produktiven KI-Systemen: MCP-Server, sichere Tool-Anbindung, LLM-Integration mit Zugriffsschutz und Kostenkontrolle.
Mehr erfahrenMCP-Server entwickeln
MCP-Server, die in Produktion tragen: Identität des Nutzers statt eines technischen Sammelkontos, Werkzeuge mit Grenzen, vollständiger Audit-Trail und ein Kostendeckel je Anwendungsfall.
Mehr erfahrenAWS-Kosten senken
Ich finde wo Ihr AWS-Budget versickert, messbar reduziert, ohne Abstriche bei Performance oder Verfügbarkeit.
Mehr erfahren