SRF Duplicates

Created by: vitusson

Beim SRF sind seit einiger Zeit fast alle Einträge mehrfach enthalten.

Ja, es sind unterschiedliche URLs, aber die unterscheiden sich nur in ihren Parametern. Hier mal für eine einzige Tagesschau Ausgabe

Ich weiß nicht ob man das verhindern kann oder was das auslöst dass der Crawler immer ein halbes Dutzend dieser URL für ein und denselben Beitrag findet. Ist nicht gravierend (zumindest für mich) aber kosmetisch unschön und bläht die Liste doch unnötig auf.