Ist Web Scraping legal? DSGVO, Datenbankrecht und KI-Verordnung

Öffentliche Webseiten auszulesen ist in der EU nicht per se illegal, aber „öffentlich” heißt nicht „für jeden Zweck frei nutzbar”. Welche Regeln gelten, hängt davon ab, was du sammelst und warum, nicht vom Werkzeug: die DSGVO, wenn die Seite personenbezogene Daten enthält, das Datenbankrecht und das Urheberrecht, wenn du geschützte Inhalte kopierst, das Vertragsrecht, wenn du Nutzungsbedingungen akzeptiert hast, und die KI-Verordnung nur, wenn du ein KI-Modell mit allgemeinem Verwendungszweck bereitstellst. Dieser Beitrag dient der Information, Stand 19. Oktober 2026, und ist keine Rechtsberatung.

Ebene	Gilt, wenn	Was sie von dir verlangt	Primärquelle
DSGVO	Die Seiten Informationen über identifizierbare Personen enthalten	Eine Rechtsgrundlage, Datenminimierung, einen festgelegten Zweck	Verordnung 2016/679
Datenbankrecht	Du einen wesentlichen Teil einer Datenbank entnimmst oder wiederholt kleine Teile	Erlaubnis oder eine Ausnahme	Richtlinie 96/9/EG, Art. 7
Urheberrecht und TDM	Du geschützte Werke für automatisierte Analyse kopierst	Rechtmäßigen Zugang und Beachtung eines Rechtevorbehalts	Richtlinie 2019/790, Art. 3 und 4
Vertrag	Du den Bedingungen einer Seite zugestimmt hast	Die Bedingungen können dich binden	EuGH C-30/14
KI-Verordnung	Du ein KI-Modell mit allgemeinem Verwendungszweck bereitstellst	Urheberrechtsstrategie, Zusammenfassung der Trainingsdaten	Verordnung 2024/1689, Art. 53

Gilt die DSGVO für Daten auf öffentlichen Webseiten?

Ja, sobald sich die Daten auf eine identifizierbare Person beziehen. Die DSGVO definiert personenbezogene Daten als alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen, und sagt nichts darüber, ob sie öffentlich waren. Namen, Berufsbezeichnungen, Fotos und Forenbeiträge zählen dazu.

Sammelst du personenbezogene Daten, wirst du zum Verantwortlichen und brauchst eine Rechtsgrundlage (Art. 6). Eine Einwilligung ist selten praktikabel, weil du keine Beziehung zu den Betroffenen hast. Der übliche Kandidat ist das berechtigte Interesse nach Art. 6 Abs. 1 lit. f, das scheitert, wenn die Rechte und Interessen der Person deine überwiegen. Dazu kommen Zweckbindung und Datenminimierung (Art. 5). Art. 14 verlangt, die Betroffenen darüber zu informieren, dass du ihre Daten hast, außer das erweist sich als unmöglich oder erfordert unverhältnismäßigen Aufwand (Art. 14 Abs. 5 lit. b). Besondere Kategorien wie Gesundheitsdaten brauchen eine zusätzliche Bedingung nach Art. 9 Abs. 2.

Die EDPB-Leitlinien 03/2026, am 7. Juli 2026 angenommen, sind die ersten Leitlinien des Ausschusses, die sich ausschließlich mit Web Scraping befassen. Sie sind ein Entwurf in öffentlicher Konsultation bis zum 30. Oktober 2026, und ihr Anwendungsbereich ist Scraping zum Training generativer KI, sie sind also keine Regel für jeden Scraper, zeigen aber, wie Aufsichtsbehörden argumentieren. Im Volltext sagt der Ausschuss, dass die Veröffentlichung von Daten im Netz keine Einwilligung in ihre Weiterverwendung ist und dass eine fehlende robots.txt ebenfalls keine Einwilligung darstellt. Signale wie robots.txt, ai.txt, CAPTCHAs und Login-Schranken prägen, womit Menschen vernünftigerweise rechnen, Seiten, die Scraping erkennbar ablehnen, sollten also ausgeschlossen werden. Inhalte hinter einem Login bleiben außen vor.

Verbietet mir das EU-Datenbankrecht das Scraping?

Manchmal. Das Schutzrecht sui generis in der Richtlinie 96/9/EG erlaubt dem Hersteller einer Datenbank, für deren Beschaffung, Überprüfung oder Darstellung der Inhalte eine wesentliche Investition nötig war, die Entnahme oder Weiterverwendung der gesamten Datenbank oder eines wesentlichen Teils zu untersagen (Art. 7 Abs. 1). Art. 7 Abs. 5 verbietet außerdem die wiederholte und systematische Entnahme unwesentlicher Teile, wenn sie der normalen Auswertung der Datenbank zuwiderläuft oder die berechtigten Interessen des Herstellers unzumutbar beeinträchtigt. Das Recht dauert 15 Jahre ab Fertigstellung oder erster Veröffentlichung (Art. 10) und wird durch wesentliche Änderungen erneuert. Es schützt die Investition, nicht die Schöpfung, ein Verzeichnis kann also geschützt sein, obwohl daran kein Urheberrecht besteht. Ein paar Datensätze zu lesen ist etwas anderes, als einen ganzen Katalog nach Zeitplan zu spiegeln, und genau dieses Muster zielt Art. 7 Abs. 5 an.

Nutzungsbedingungen sind eine eigene Frage. In Ryanair gegen PR Aviation (C-30/14, 15. Januar 2015) entschied der Gerichtshof, dass die Richtlinie nicht auf eine Datenbank anwendbar ist, die weder urheberrechtlich noch durch das Schutzrecht sui generis geschützt ist, ihre Bestimmungen den Inhaber also nicht daran hindern, vertragliche Nutzungsgrenzen zu setzen, vorbehaltlich des nationalen Rechts. Das heißt nicht, dass jede Klausel durchsetzbar ist, nur dass dich die Richtlinie nicht vor dem Vertrag rettet.

Was erlauben die Ausnahmen für Text und Data Mining?

Die Richtlinie 2019/790 enthält zwei Ausnahmen für Text und Data Mining, in Art. 2 Nr. 2 definiert als automatisierte Analyse von Text und Daten, um Informationen wie Muster, Trends und Korrelationen zu gewinnen.

Artikel 3 gilt für Forschungsorganisationen und Einrichtungen des Kulturerbes bei wissenschaftlicher Forschung, an Werken, zu denen sie rechtmäßig Zugang haben. Rechteinhaber können nicht widersprechen.
Artikel 4 gilt für jeden, für rechtmäßig zugängliche Werke, und erlaubt, die Kopien so lange aufzubewahren, wie es für das Mining nötig ist. Er greift nur, wenn der Rechteinhaber die Nutzung nicht ausdrücklich „in an appropriate manner, such as machine-readable means” vorbehalten hat, bei online öffentlich gemachten Inhalten (Art. 4 Abs. 3).

Beide Ausnahmen sind für Analyse da, nicht für Wiederveröffentlichung. Ein maschinenlesbarer Vorbehalt ist ein Opt-out, das du beachten musst; robots.txt ist das bekannteste Signal, nicht das einzige. In Deutschland hat das Hanseatische Oberlandesgericht Hamburg am 10. Dezember 2025 Kneschke gegen LAION entschieden (5 U 104/24): Der Vorbehalt auf der Website der Agentur war nicht in maschinenlesbarer Form formuliert, daher deckte die Ausnahme nach Art. 4 (in Deutschland § 44b UrhG) das Kopieren. Das Gericht bejahte auch die Forschungsausnahme (§ 60d UrhG). Die Revision zum Bundesgerichtshof wurde zugelassen, das Urteil ist also nicht rechtskräftig.

Das italienische Gesetz 132/2025 (in Kraft seit 10. Oktober 2025) fügt dem Urheberrechtsgesetz Art. 70-septies hinzu: Die Extraktion durch KI-Modelle, auch generative, ist nur im Rahmen der bestehenden TDM-Artikel erlaubt.

Was ergänzt die KI-Verordnung für Scraper?

Für die meisten Entwickler nichts Unmittelbares. Die Urheberrechtspflichten in Art. 53 der KI-Verordnung treffen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck: Sie müssen eine Strategie zur Einhaltung des EU-Urheberrechts haben, einschließlich der Erkennung und Beachtung von Rechtevorbehalten nach Art. 4 Abs. 3 der DSM-Richtlinie, und eine hinreichend detaillierte Zusammenfassung der Trainingsinhalte veröffentlichen. Die Kommission sagt, diese Pflichten gelten seit dem 2. August 2025, ihre Durchsetzungsbefugnisse begannen am 2. August 2026, und früher in Verkehr gebrachte Modelle müssen sie bis zum 2. August 2027 erfüllen.

Wenn du ein Modell trainierst oder feintunest, prüf, ob du als Anbieter giltst. Der freiwillige Verhaltenskodex für KI mit allgemeinem Verwendungszweck (10. Juli 2025) hat ein Urheberrechtskapitel: Unterzeichner verpflichten sich zu Crawlern, die robots.txt befolgen (IETF RFC 9309), keine Paywalls zu umgehen und andere maschinenlesbare Vorbehalte zu beachten. Rufst du nur gehostete Modelle auf, liegen diese Pflichten bei deren Anbieter.

Was sagen die nationalen Aufsichtsbehörden?

Deine eigene Behörde ist die Stelle, bei der Beschwerden landen. Was ich am 19. Oktober 2026 auf der jeweiligen Seite prüfen konnte:

Deutschland: Ich habe keinen Text der Datenschutzkonferenz (DSK) oder einer Landesbehörde gefunden, der speziell Web Scraping behandelt. Die Aufsichtsbehörden von Bund und Ländern stimmen sich in der DSK ab, die zu KI zwei allgemeine, rechtlich nicht bindende Orientierungshilfen veröffentlicht hat: „Künstliche Intelligenz und Datenschutz” (6. Mai 2024, vor allem für Anwender von KI-Systemen) und die Orientierungshilfe zu technischen und organisatorischen Maßnahmen bei Entwicklung und Betrieb von KI-Systemen (Juni 2025, vor allem für Entwickler und Hersteller). Für das Scraping selbst sind die EDPB-Leitlinien und das Hamburger Urteil oben die brauchbaren Referenzen.
Italien, Garante: nota informativa zum Web Scraping (Beschluss Nr. 329 vom 20. Mai 2024, Gazzetta Ufficiale vom 7. Juni 2024). Sie richtet sich an Betreiber von Websites (geschützte Bereiche, Anti-Scraping-Klauseln, Traffic-Überwachung) und ist nicht bindend.
Frankreich, CNIL: Merkblatt zu berechtigtem Interesse und Scraping (19. Juni 2025). Seiten ausschließen, die Scraping per robots.txt oder CAPTCHAs ablehnen, nur erheben, was ohne Konto offen ist, ein vorheriges Opt-out anbieten, irrelevante Daten schnell löschen.
Spanien, AEPD: Ein Rechtskriterium vom 25. November 2025 hält fest, dass Scraping, das personenbezogene Daten erhebt, eine Verarbeitung ist. Der Fall wurde eingestellt, weil das Tool nur ein aggregiertes Diagramm zeigte, es handelt sich also um eng gefasste Hinweise.
Brasilien (nicht EU, LGPD): Der Technology Radar Nr. 3 der ANPD (2024) sagt, dass Inhalte auf öffentlichen Seiten weiter dem LGPD unterliegen und Scraping eine Rechtsgrundlage nach Art. 7 oder 11 braucht. Es ist eine technische Studie, nicht bindend.

Eine Checkliste für Entwickler, die scrapen

Nur öffentliche Seiten: kein Login, keine Paywall, keine gefälschten Accounts.
Entscheide, ob du überhaupt personenbezogene Daten brauchst. Wenn nicht, filtere sie heraus.
Wenn doch, halte vorher Zweck, Rechtsgrundlage und Interessenabwägung schriftlich fest.
Lies robots.txt und jeden anderen maschinenlesbaren Vorbehalt und beachte sie.
Halte die Request-Rate niedrig (Rate Limits).
Behalte nur die Felder, die du brauchst, und nur so lange, wie du sie brauchst.
Veröffentliche kopierte Inhalte nicht erneut und spiegle keine ganzen Datenbanken.
Halte eine Datenschutzerklärung bereit und bearbeite Auskunfts- und Löschanfragen.

Der robots.txt-Schritt sind ein paar Zeilen mit der Standardbibliothek von Python. Ausgeführt am 19. Oktober 2026:

from urllib.parse import urlparse
from urllib.robotparser import RobotFileParser

def allowed(url: str, agent: str = "my-research-bot") -> bool:
    parts = urlparse(url)
    parser = RobotFileParser(f"{parts.scheme}://{parts.netloc}/robots.txt")
    parser.read()
    return parser.can_fetch(agent, url)

print(allowed("https://github.com/about"))     # True
print(allowed("https://github.com/copilot/"))  # False

robots.txt regelt die Crawling-Etikette. Es ersetzt nicht, die Bedingungen zu lesen oder auf andere Vorbehalte zu achten.

Wie passt FastAF dazu?

FastAF ruft öffentliche Seiten ab und liefert sie gerendert zurück; es ist kein Weg um eine der obigen Regeln herum. Die Acceptable Use Policy verbietet Inhalte hinter Logins und Paywalls, Zugangsdaten, personenbezogene Daten ohne Rechtsgrundlage, Daten besonderer Kategorien, Daten über Kinder sowie die Verletzung von Urheber- oder Datenbankrechten. Die Endpoints für Scrape und Screenshot lehnen private und interne Adressen sowie URLs mit Login-typischen Pfadsegmenten wie login, sign-in oder oauth ab. Die Datenschutzerklärung besagt, dass der Inhalt, den deine Requests zurückliefern, an dich weitergeleitet und nicht gespeichert wird. Enthält er personenbezogene Daten, bist du der Verantwortliche, und FastAF handelt nach deinen Weisungen im Rahmen des Auftragsverarbeitungsvertrags.

Die Sperre ist grob: Sie beurteilt nicht, ob eine Seite personenbezogene Daten oder einen Rechtevorbehalt enthält, das bleibt bei dir. Eine Login-URL, am 19. Oktober 2026 gegen die Produktions-API aufgerufen, kam in 0,15 Sekunden zurück und kostete nichts:

curl -s -H "Authorization: Bearer $FASTAF_API_KEY" \
  "https://api.fastaf.co/v1/scrape?url=https%3A%2F%2Fexample.com%2Flogin"
# HTTP 400
# {"error":{"code":"blocked_target","message":"This target is not allowed."}}

Zur Technik siehe jede Website mit Python scrapen und die Web-Scraping-API. LinkedIn hat eine eigene Rechtsprechung: Ist LinkedIn-Scraping legal?

Die Kurzfassung

Öffentliche Seiten zu scrapen ist in der EU machbar, wenn du vier Grenzen beachtest: die DSGVO, wenn Personen identifizierbar sind, das Datenbankrecht und das Urheberrecht, wenn du geschützte Inhalte kopierst, jedes maschinenlesbare Opt-out und die Bedingungen, denen du zugestimmt hast. Halte deinen Zweck schriftlich fest, bau die Checkliste in deine Pipeline ein, und zieh die KI-Verordnung nur in Betracht, wenn du ein Modell mit allgemeinem Verwendungszweck bereitstellst. Die Regeln sind in Bewegung: Der EDPB-Text ist ein Entwurf, und der Hamburger Fall geht in die Revision. Nur für öffentliche Seiten: Leg ein kostenloses Konto an mit 500 Credits und lies die Docs.