Blog
Blog
Benchmarks, die wir gefahren haben, Dinge, die kaputtgegangen sind, und wie man scrapt, ohne Proxies zu babysitten.
Wie ein KI-Agent eine Websuche pro Aufruf mit x402 bezahlt
Kein Account, kein API-Key: die echte 402-Challenge, die FastAF zurückgibt, der Node-Client, der sie in USDC auf Base bezahlt, und wie du deckelst, was der Agent pro Aufruf ausgeben darf.
Amazon PA-API eingestellt: Produktdaten auslesen ohne PA-API
PA-API 5 antwortet jetzt mit 403 und verweist auf die Creators API. Wer migrieren sollte, wer für Preismonitoring stattdessen eine Daten-API braucht, Feld-Mapping und echte Abdeckungszahlen.
Amazon Preisvergleich Länder: 80 Produkte in 5 EU-Shops gemessen
Wir haben 80 Produkte auf amazon.de, .fr, .it, .es und .nl verglichen (19. Oktober 2026): Median-Abstand 18,6 %, kein Shop dauerhaft am günstigsten. Methode, Tabellen, Python für Preismonitoring.
MCP-Server in Python bauen: eine Web-Daten-API als Agenten-Tools
Ein funktionierender MCP-Server in 109 Zeilen Python: drei Web-Daten-Tools, Fehler, die dem Agenten sagen, was zu tun ist, und ein Credit-Budget pro Session. Getestet am 19. Okt 2026.
Einen Web-Research-Agenten mit dem Claude Agent SDK und hartem Budget bauen
Rund 60 Zeilen Python: Claude Agent SDK plus der FastAF-MCP-Server für Suche, Seitenabrufe und Google Scholar. Ein echter Lauf kostete 11 Credits.
Ist Web Scraping legal? DSGVO, Datenbankrecht und KI-Verordnung
Was das EU-Recht zum Auslesen öffentlicher Webseiten sagt: DSGVO und berechtigtes Interesse, Datenbankrecht, TDM-Vorbehalte, KI-Verordnung und eine Checkliste.
LangChain Google-Suche ersetzen: Custom Search wird eingestellt
GoogleSearchAPIWrapper vor dem Ende von Google Custom Search am 1. Januar 2027 ersetzen: ein getestetes LangChain-Tool, das Titel, Link und Snippet beibehält.
LLM-Websuche vs. SERP API: Kosten pro Antwort im Vergleich
Claude und OpenAI berechnen 10 $ pro 1.000 Suchen plus die Ergebnis-Tokens. Wir haben die Token-Seite an 20 Fragen gemessen und 1.000 Antworten beider Wege durchgerechnet.
Websuche für Claude Code, Cursor und Codex mit einem einzigen MCP-Server
Ein Remote-MCP-Server gibt einem Coding-Agenten 15 Tools: Websuche, Seiten als Markdown scrapen, Maps, Amazon, YouTube-Transkripte. Setup für drei Clients, getestet.
n8n Web Scraping: Google-Suchergebnisse auslesen, ohne Code
Importiere einen n8n-Workflow, der Keywords durchläuft, eine Google-Such-API aufruft, die Top-Seiten als Markdown scrapt und Zeilen in Google Sheets oder eine CSV schreibt.
Playwright MCP: Token-Kosten vs. Webseiten als Markdown lesen
Wir haben den echten Playwright-MCP-Server und FastAF-Markdown über 11 öffentliche Seiten laufen lassen und Tokens gezählt. Median: 9.874 gegen 5.083, mit Ausreißern in beide Richtungen.
Brand Mentions in KI-Antworten messen: Sichtbarkeit mit Python
Wir haben 45 Prompts je dreimal durch Google AI Mode geschickt. Bei 43 von 45 wechselten die genannten Marken zwischen identischen Läufen. Methode, Zahlen und ein Python-Skript.
Google AI Overviews mit Python tracken: Präsenz, Quellen, Änderungen
Wir haben am 19. Oktober 2026 100 Google-Suchen auf AI Overviews geprüft: wer eine bekommt, was zitiert wird, wie stabil sie sind, plus ein Python-Tracker mit Snapshots.
Websuche für KI-Agenten nach Bing: Welche Optionen bleiben 2026?
Die Bing Search APIs wurden im August 2025 eingestellt, und Google Custom Search nimmt keine Neukunden mehr an. Für Agenten bleiben vier Arten von Such-Backends.
Warum das Fetch-Tool deines KI-Agenten mit einer leeren Seite zurückkommt
Leere Hülle, Cookie-Wall, Login-Redirect oder abgeschnittene Seite: wie du sie in 30 Zeilen Python auseinanderhältst, mit echten Messungen vom 19. Oktober 2026.
Googles AI-Mode-Antwort und ihre Quellen per API bekommen
Die zusammengesetzte Antwort und die Seiten, die sie zitiert, als JSON, und warum der Wortlaut Output von Google Search AI Mode ist, der sich zwischen zwei identischen Calls ändern kann. Getestet im August 2026.
Paper, Autoren und Zitationszahlen mit Python aus Google Scholar ziehen
Google Scholar nach einem Thema abfragen und Paper, Jahre und Zitationszahlen als JSON bekommen, gebaut um einen Endpoint, der so langsam ist, dass er als Batch-Job laufen muss. Getestet im August 2026.
Produktpreise über Händler hinweg mit der Google Shopping API vergleichen
Den Preis-String selbst parsen, die Teile des Payloads verwerfen, die du nicht brauchst, und eng genug abfragen, um vergleichbare Angebote zu bekommen. Getestet im August 2026.
Google Trends mit Python in ein Demand-Signal verwandeln
Die Zeitreihe lesen, eine einfache Trendrichtung berechnen, und die eine Sache, die stimmen muss: Ein Trends-Wert ist relatives Interesse, nie eine Suchvolumen-Zahl. Getestet im August 2026.
Google-Jobs-Listings mit Python scrapen
Unternehmen, Standort und Bewerbungslinks von Google Jobs als JSON, und die eine Antwortform, die naiven Parsing-Code bei einem ganz normalen HTTP 200 zum Absturz bringt. Getestet im August 2026.
Marken- und Wettbewerber-Erwähnungen mit der Google News API tracken
Eine Reihe von Suchbegriffen nach Zeitplan abfragen, per Artikel-Link deduplizieren, und nur sehen, was sich seit dem letzten Lauf geändert hat. Getestet an einer echten Antwort im August 2026.
Walmart-Preise für eine Produktliste mit Python überwachen
Eine Walmart-Such-URL bauen, die verschachtelten Gruppen und Items in der Antwort durchgehen, und sie mit dem Amazon-Endpoint kombinieren, um einen Preis auf beiden zu vergleichen. Getestet im August 2026.
Website-Screenshots mit Python für Monitoring automatisieren
Eine Seite mit einer Anfrage als PNG erfassen, die Bytes direkt in eine Datei schreiben, und anhand des Content-Type verzweigen, statt zu raten, wann eine Aufnahme fehlschlägt. Getestet im August 2026.
Öffentliche X-Profildaten mit Python für Lead-Enrichment holen
Follower-Zahlen, Bio und Verifizierung für ein öffentliches X-Profil mit einer Anfrage und ohne Entwicklerkonto nachschlagen, plus genau das, was der Endpoint nicht abdeckt. Getestet im August 2026.
Nebenläufigkeit, nicht Credits, entscheidet, wie lange dein Scraping-Job dauert
Derselbe 200.000-Request-Job braucht 22 Stunden bei 5 gleichzeitigen Slots, 4,4 Stunden bei 25. Warum Pläne die Nebenläufigkeit deckeln, und ein korrekter Worker-Pool in Python.
Was kostet es, 2026 eine Million Seiten zu scrapen?
DIY-Proxys, Rechenleistung und Entwicklerzeit gegen pauschal 299 $ für 1.000.000 Credits: die echten Kosten für eine Million Seiten, geprüft im August 2026.
Kostenlose SERP-API-Kontingente im Vergleich (2026)
SerpApi gibt 250 Suchen im Monat, Serper einmalig 2.500, FastAF einmalig 500 Credits (100 Suchen). Geprüft auf den jeweiligen Preisseiten, August 2026.
Google-Maps-Leadgenerierung: ein praktisches Playbook
Eine Kategorie und eine Städteliste, verwandelt in eine gefilterte, angereicherte CSV mit Leads. Vollständige Python-Schleife und die Credit-Kosten einer 100-Städte-Kampagne, August 2026.
Google-Suchergebnisse als JSON bekommen (ohne HTML-Parsing)
Google liefert verschleiertes, rotierendes Markup. Hier ist stattdessen der /serp-JSON-Vertrag: garantierte Felder, optionale Blöcke, getestet im August 2026.
Googles offizielle Search API vs. SERP-APIs: was sind deine Optionen 2026?
Die Custom Search JSON API gibt 100 kostenlose Anfragen pro Tag und 5 $ pro 1.000, gedeckelt bei 10k am Tag, und ist seit August 2026 für Neuanmeldungen geschlossen.
Keyword-Rankings mit Python überwachen
Ein minimaler Rank-Tracker in Python: Abfrage, Position aus organic_results ziehen, in SQLite speichern, und die Credit-Rechnung hinter der Tracking-Tiefe.
Ist LinkedIn-Scraping 2026 legal?
hiQ v. LinkedIn setzte den CFAA-Maßstab für öffentliche Daten, aber LinkedIn hat sich im Februar 2026 in einer neuen Scraping-Klage geeinigt. Was das für dich bedeutet, klar erklärt.
JavaScript-Rendering beim Web-Scraping: wann du es brauchst und was es kostet
Wie du erkennst, ob eine Seite einen echten Browser statt eines einfachen Fetch braucht, warum Rendering überall mehr kostet, und die Credit-Multiplikatoren, August 2026.
Einen Price-Tracking-Bot in Python bauen (Amazon + Google Shopping)
Produkte entdecken, ASINs nach Preis tracken, Verlauf in SQLite speichern und bei Preisstürzen alarmieren. Ein kompletter Price-Bot, August 2026.
requests + BeautifulSoup vs. Scraping-API: wann DIY reicht
Für statische Seiten ohne Anti-Bot kosten requests und BeautifulSoup nichts und funktionieren gut. Hier ist genau der Punkt, ab dem das nicht mehr stimmt.
Amazon-Produktdaten scrapen, ohne blockiert zu werden
Suchergebnisse, Preise, Bewertungen und ASINs von Amazon als JSON: warum DIY schnell scheitert, was die Daten kosten. Mit Python-Beispiel, August 2026.
Wie du 2026 jede Website mit Python scrapst
Ein allgemeiner /scrape-Workflow: statischer Fetch als Standard, Eskalation zu JS-Rendering und Premium-Proxys nur bei Bedarf, dann Parsing mit BeautifulSoup.
Google-Maps-Ergebnisse mit Python scrapen
Orte, Bewertungen, Rezensionszahlen und Kontaktdaten von Google Maps als JSON, warum die Places API teuer wird, und was eine Maps-Suche kostet. August 2026.
Google-Suche scrapen, ohne blockiert zu werden: was wirklich passiert
Rate Limits, CAPTCHA-Wände, Fingerprinting und Pagination-Mathematik: die Mechanismen hinter dem Scheitern von Google-Scraping, warum Proxys nicht reichen.
YouTube-Transkripte mit Python holen (ohne API-Quotas)
Die YouTube Data API lässt Transkripte aus, und youtube-transcript-api wird auf Cloud-Servern per IP blockiert. Ein Setup für 1 Credit pro Video, August 2026.
Einem LLM frische Webdaten geben: SERP-APIs für RAG und Grounding
Eine minimale Python-Pipeline, um ein LLM in Live-Suchergebnissen zu grounden, und warum feste Kreditkosten besser sind als eine unvorhersehbare Rechnung.
Einem KI-Agenten Live-Websuche geben, mit hartem Ausgabenlimit
Ein Agent, der das Web durchsuchen kann, kann auch in eine Schleife geraten. So baust du Live-Suche in einen Agenten ein, damit das Budget von der API durchgesetzt wird, nicht durch Hoffen auf gutes Verhalten.
Was eine SERP-API pro 1.000 Suchen wirklich kostet
Credits, Plan-Stufen und Pagination machen SERP-API-Preise schwer vergleichbar. So berechnest du deine echten Kosten pro 1.000 Suchen, August 2026.
Google-Suchergebnisse mit Python scrapen
Warum requests + BeautifulSoup bei Google nicht mehr funktioniert, und ein Python-Setup, das geparstes SERP-JSON mit Pagination und Länder-Targeting liefert.