Develop kika - Filesize, Dauer und mehr Filme

Created by: codingPF

Filesize aus den Filmdaten überenehmen Die Dauer ist in einigen Fällen in DURATION leer aber das LENGTH Element ist gesetzt Die Selectoren sind zum zu eng gefasst und verpassen zu viele Sendungen. Auf einigen (wenigen) Seiten gibt es keinen "alle Folgen" link aber Videos. Diese werden jetzt durchgereicht und verarbeitet. Wenn man mehr Daten crawlt muss man aber auch an der ein oder anderen Stelle mehr abfangen (z.B. href mit java script). Insgesamt hat der crawler in dev nur 2k Sendungen gefunden. Mit diesen Änderungen sind wir wieder bei ~5k (wie der alten crawler).