ZDF: RateLimiting beachten
Created by: pidoubleyou
Das ZDF hat anscheinend ein Ratelimiting eingeführt, dass der Crawler überschreitet.
Deshalb findet ein Crawlerlauf seit 10.02. manchmal nichts/nur noch wenig Einträge.
Der Crawler muss angepasst werden, so dass er die Limits einhält - auch wenn das kürzere Suchzeiträume/längere Laufzeiten zur Folge hat.