Skip to content

Fertigstellung NDR-Crawler für neue Architektur

Created by: pidoubleyou

Der NDR-Crawler ist zwar in der neuen Architektur verfügbar, folgendes ist aber noch zu tun:

  • Untertitel auslesen (dabei #333 (closed) berücksichtigen)
  • Qualität "auto" so berücksichtigen, dass nicht das Debug-Log voll geschrieben wird: 19:25:18.682 2018-01-17 19:25:18,682 [ForkJoinPool-1-worker-9] DEBUG: Can't convert quality %s to an integer. java.lang.NumberFormatException: For input string: "auto" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:580) at java.lang.Integer.parseInt(Integer.java:615) at de.mediathekview.mserver.crawler.ard.json.ArdMediaArrayToDownloadUrlsConverter.toDownloadUrls(ArdMediaArrayToDownloadUrlsConverter.java:58) at de.mediathekview.mserver.crawler.ndr.parser.NdrFilmDeserializer.deserialize(NdrFilmDeserializer.java:56)
  • Prüfung Logik zur Ermittlung des Datums: Debug-Log enthält viele Einträge, dass Datum nicht geparsed werden kann: DEBUG: The NDR date time "Sportclub" can't be parsed. Using actual date time. java.time.format.DateTimeParseException: Text 'Sportclub' could not be parsed at index 0 at java.time.format.DateTimeFormatter.parseResolved0(DateTimeFormatter.java:1949) at java.time.format.DateTimeFormatter.parse(DateTimeFormatter.java:1851) at java.time.LocalDateTime.parse(LocalDateTime.java:492) at de.mediathekview.mserver.crawler.ndr.tasks.NdrSendungsfolgedetailsTask.parseTime(NdrSendungsfolgedetailsTask.java:66) at de.mediathekview.mserver.crawler.ndr.tasks.NdrSendungsfolgedetailsTask.processDocument(NdrSendungsfolgedetailsTask.java:92)
  • fehlende Sendungen wie z.B. Tatort aufnehmen. Eventuell hängt das mit den Debug-Ausgaben bzgl. fehlenden Titel zusammen. Eventuell hilft dabei #329 (closed): DEBUG: An error occurred during NDR editing due to a missing element "title".
  • viele Seiten beinhalten laut Log keine Videos. Prüfung, ob Deserializer fehlerhaft ist. Wenn die Seiten tatsächlich keine Videos beinhalten, prüfen, ob diese bereits beim Parsen der Übersichtsseiten entfernt werden können. Wenn nicht, sollte zumindest kein Log erscheinen!