Drei Anläufe: Wie Loggd Film- und Spieledaten zusammenführt
Wie Loggd Film-, Serien- und Spieledaten aus TMDB, TVDB und IGDB zu einem Datensatz zusammenführt, erzählt in drei Anläufen. Mit den Fehlern der ersten beiden und Qualitätszahlen zu 6,7 Millionen Einträgen.

Letterboxd hat es leicht. Die App konzentriert sich nur auf Filme und bezieht ihre Daten von „The Movie Database“, kurz TMDB (FAQ). Wir wollten Filme, Serien und Spiele in einer App, und irgendwann auch Bücher und Musik. Damit fing der Ärger an.
Warum wir uns das antun? Wir glauben, dass Geschmack nicht an der Grenze eines Mediums aufhört. Wer Horrorfilme liebt, greift oft auch zu Horrorspielen. Wer bei Filmen auf überraschende Plot Twists steht, sucht sie wahrscheinlich auch in Spielen oder Büchern. Loggd kann das aber nur nutzen, wenn alle Medien in einem gemeinsamen Datensatz liegen. Öffnet ihr in Loggd einen Film, seht ihr das Studio dahinter und die Leute, die mitgewirkt haben, aber auch die Spiele, die dazu passen. Diese Verbindung über Mediengrenzen hinweg unterscheidet Loggd von Apps, die nur ein Medium kennen. Welche Features noch dazugehören, zeigen wir in einem eigenen Beitrag darüber, was Loggd anders macht.
Bis wir mit dem Ergebnis zufrieden waren, haben wir die Datenbasis dreimal gebaut. Die heutige Version heißt intern Nexus. Die ersten beiden Anläufe waren nicht verkehrt, aber keiner hat uns auf Dauer überzeugt. Was uns jeweils gestört hat, wurde zur Bedingung für den nächsten Anlauf.
Warum eine Quelle nicht reicht
Die eine Datenbank, die jeden Medientyp perfekt abbildet, gibt es leider nicht. TMDB ist stark bei Filmen und Serien, TVDB bei Serien, IGDB bei Spielen und AniDB bei Anime. Jede dieser Quellen weiß Dinge, die es woanders nicht gibt.
Also mehrere Quellen anbinden, und alles ist gelöst? Leider nicht. Jede Quelle liefert ihre Daten anders aus, jede führt ihren eigenen Eintrag für dieselbe Person oder dasselbe Studio, und keine weiß, dass es „Star Wars“ bei den anderen auch gibt. Die Daten zu laden ist der leichte Teil. Schwer wird's beim Zusammenführen.
Der erste Anlauf war eine Kopie von TMDB
Angefangen haben wir klein: nur TMDB, nur Filme und Serien, Spiele kamen erst später dazu. Wir haben die Daten einmal importiert und die App direkt darauf gebaut, mit Suche, Bildern und Detailseiten. Für den Anfang hat das gereicht, damit ihr überhaupt etwas loggen konntet.
Nur war das eine Kopie, die in eine Richtung lief, und das genau einmal. Automatische Updates gab es nicht, die Daten waren also schnell veraltet. Ein Admin-Portal gab es auch nicht. Was bei TMDB falsch war, war bei uns genauso falsch, und wir konnten nichts dagegen tun. Eine zweite Quelle war in diesem Aufbau gar nicht angedacht.
Der zweite Anlauf brauchte zu viel Handarbeit
Beim zweiten Anlauf haben wir den ganzen Ablauf neu sortiert, und im Rückblick war das der wichtigste Schritt. Statt eines Systems gab es jetzt zwei Dienste: Ingest, das die Daten lädt, und ein Admin-Portal, in dem wir sie verarbeiten.
Ingest war unsere Annahmestelle. Stellt euch eine Poststelle vor: Ob ein Lieferant einen ganzen LKW ablädt oder nur einzelne Pakete bringt, hier wird alles angenommen, sortiert und notiert, was neu ist. Und die Lieferanten könnten kaum unterschiedlicher sein. IGDB liefert rund 50 Tabellen als CSV-Exporte, TMDB einzelne JSON-Objekte, AniDB eine UDP-Schnittstelle. Hinter Ingest sah das alles gleich aus, in einem einzigen, strengen Schema. Im Grunde war Ingest ein schlauer Cache, der für alles, was wir anfragten, aktuelle Ergebnisse lieferte. Wir konnten so oft nachfragen, wie wir wollten, ohne die Anbieter mit Anfragen zu fluten.
Im Admin-Portal haben wir festgelegt, wie ein Film, eine Serie oder ein Spiel bei uns aussieht, jeweils als JSON-Schema. Transformer brachten die Daten aus Ingest in diese Form. Dann kam der Teil, der uns später ausbremsen sollte: Wir prüften jede Änderung selbst und übernahmen sie von Hand in unsere Datenbank. Ab da lief es automatisch weiter, in den Suchindex, ins Backend fürs Loggen und zu den gehosteten Bildern.
Laden und Verarbeiten haben wir damals getrennt, und daran halten wir bis heute fest. Der Rest hat uns mit der Zeit ausgebremst:
Das System war technisch sehr langsam und fehleranfällig.
Jede Änderung von Hand zusammenzuführen, war bei der Menge an Daten kaum zu schaffen.
Wir haben viele tote Daten selbst gehostet, also Einträge in schlechter Qualität samt ihrer Bilder. Dafür haben wir Geld ausgegeben, ohne dass es irgendwem genützt hat.
Der dritte Anlauf heißt Loggd Nexus
Für den dritten Anlauf haben wir das Gerüst behalten: erst sammeln, dann verarbeiten. Neu gebaut haben wir alles, was an den drei Schwächen hing.
Gegen die Langsamkeit hilft eine andere Sprache. Die Engine ist jetzt in Go geschrieben. Die Transformer für die einzelnen Quellen ändern sich häufig, deshalb sind sie kleine TypeScript-Funktionen. Als normaler Code lassen sie sich versionieren und reviewen, und KI-Werkzeuge haben beim Schreiben den Kontext, den sie brauchen.
Auch die Annahmestelle ist strenger geworden. Eine Zeile gilt nur dann als geändert, wenn sich ihr Inhalt wirklich geändert hat. Felder, die ständig schwanken, etwa Bewertungen oder Stimmenzahlen, lassen wir dafür aus der Prüfsumme heraus. Sonst würde jede neue Stimme auf TMDB die ganze Verarbeitung dahinter erneut anstoßen.
Ein Abgleich liefert außerdem vollständige Daten oder schlägt fehl. Fehlen in einem neuen Abzug mehr als 10 % der bisherigen Zeilen, löschen wir nichts. Dann ist vermutlich der Download kaputt und nicht der Bestand geschrumpft.
Jede geänderte Zeile durchläuft danach fünf Schritte: transformieren, filtern, matchen, zusammenführen, anreichern. Die meiste Handarbeit hat uns im zweiten Anlauf das Matchen und Zusammenführen gekostet. Darum geht's als Nächstes.
Gibt es diesen Eintrag schon?
Zusammenführen klingt einfacher, als es ist. Ein Film bringt eine Liste der beteiligten Produktionsfirmen und Schauspieler mit, eine Serie oder ein Spiel genauso. Hängen wir diese Listen stumpf aneinander, tauchen Firmen und Personen doppelt auf, weil jede Quelle ihre eigenen Einträge führt. Sind wir dagegen zu großzügig, verschmelzen zwei verschiedene Filme mit ähnlichem Titel zu einem.
Beides ist schlecht, aber nicht gleich schlecht. Eine Dublette lässt sich später zusammenlegen. Ein falsch verschmolzener Eintrag hat dagegen Daten aus zwei Werken vermischt, und die wieder sauber auseinanderzunehmen, ist deutlich aufwendiger. Diese Abwägung steckt hinter allem, was jetzt kommt.
Stellt euch vor, jeder Film in Loggd hat einen Ausweis mit unserer eigenen Nummer. Jede Quelle, die den Film kennt, trägt dort ihre Nummer ein und hinterlässt einen Beleg wie „meine Zeile X hat die IMDb-ID A und die Wikidata-ID B“. Aus diesen Belegen ergibt sich, welche externen IDs zu welchem Loggd-Eintrag gehören. Intern nennen wir das den ID-Graph.
Kommt ein neuer Datensatz rein, sortiert ihn heute niemand mehr von Hand ein. Jeder Kandidat durchläuft dieselben Stufen, bis eine davon sicher entscheidet:
Gemeinsame IDs. Gehört eine IMDb-, TMDB- oder Wikidata-ID bereits zu genau einem Eintrag, ist die Sache klar.
Titelsuche. Ohne gemeinsame ID suchen wir unscharf nach dem Titel, mit einer Toleranz von einem Jahr. Ein Treffer, der eine andere starke ID hat als der Kandidat, fliegt sofort raus. Das ist eine unserer wichtigsten Sicherungen gegen falsche Verschmelzungen.
Entscheidungsmodell. Für die übrigen Kandidaten schätzt ein Modell, wie wahrscheinlich es sich um denselben Eintrag handelt und wie sicher es sich dabei ist. Ab 80 % Wahrscheinlichkeit bei mindestens 60 % Konfidenz führen wir zusammen. Ist es zu mindestens 85 % sicher, dass es keinen Treffer gibt, legen wir einen neuen Eintrag an.
Review. Alles dazwischen schauen wir uns selbst an.
Bei Personen sind wir noch vorsichtiger und führen sie nur über gemeinsame IDs zusammen. Bei Millionen von Personen heißen einfach zu viele Menschen gleich, als dass ein Name allein etwas beweisen würde. Hier nehmen wir also bewusst Dubletten in Kauf, um falsche Verschmelzungen zu vermeiden.
Über Mediengrenzen hinweg sieht man das am besten an Kollektionen, also an Franchises wie Star Wars, zu denen Filme und Spiele gehören. Das Modell beantwortet hier auch, ob die eine Kollektion der anderen übergeordnet ist. So wird aus der „Star Wars Collection“ von TMDB und den „Star Wars“-Spielen von IGDB eine gemeinsame Kollektion. Und falls doch etwas falsch verbunden wurde, lässt sich jede automatische Bindung rückgängig machen.
Wer gewinnt, wenn Quellen sich widersprechen
Jetzt wissen wir, welcher Film das ist. Bleibt die Frage, was wir von der neuen Lieferung übernehmen. Dafür nutzen wir einen Three-Way-Merge, wie man ihn aus Git kennt. Wir vergleichen drei Stände: was diese Quelle beim letzten Mal geliefert hat, was gerade im Eintrag steht und was die Quelle jetzt neu liefert. Hat nur eine Seite etwas geändert, übernehmen wir die Änderung. Widersprechen sich zwei Quellen wirklich, entscheidet das Modell, und wenn es unsicher ist, entscheiden wir.
Eine Ausnahme gibt es: Soll bei einem Film oder einer Serie ein Wert verschwinden, geht das immer ins Review. Sonst könnte eine Quelle, die Daten verliert, bei uns stillschweigend Felder löschen.
Was wir korrigiert haben, ist gesperrt. Jede manuelle Änderung und jede Entscheidung im Review sperrt das betroffene Feld. Die Pipeline überschreibt ein gesperrtes Feld nie, egal was eine Quelle später liefert. Im ersten Anlauf konnten wir gar nichts korrigieren. Ohne diese Regel könnten wir es zwar, aber jede Korrektur wäre beim nächsten Import wieder weg, und die ganze Handarbeit umsonst.
Wie viel wir der KI überlassen
Mehr Quellen machen die Daten vollständiger, aber auch voller. Unser Ziel ist eine Datenbasis, die so vollständig wie möglich ist und trotzdem sauber und schlank bleibt, frei von Dubletten, Inhalten für Erwachsene und Datenmüll. Dabei hilft uns ein Modell, aber wir vertrauen ihm nicht blind.
Unser Entscheidungsmodell beantwortet deshalb nur fest definierte Fragen, etwa „Ist das derselbe Film?“, und gibt dazu eine Wahrscheinlichkeit und eine Konfidenz zurück. Nach demselben Muster prüft es Filme und Serien auf Inhalte für Erwachsene. Bis zu einem Wert von 0,15 geht ein Titel durch, ab 0,65 wird er gesperrt, und dazwischen schauen wir selbst drauf. Gibt eine Quelle ein eindeutiges Signal, etwa eine gängige Altersfreigabe, fragen wir das Modell gar nicht erst.
Woher kommen diese Schwellenwerte? Wir haben sie gemessen. Beim Matching hilft uns wieder der ID-Graph: Wo zwei Einträge nachweislich dieselbe starke ID haben, wissen wir, dass sie zusammengehören. Daran sehen wir, wie oft Titelsuche und Modell richtig liegen. Neue Quellen laufen außerdem zuerst in einem Schattenmodus. Die Pipeline läuft dabei komplett durch, schreibt aber nichts außer den Matching-Entscheidungen, und an denen kalibrieren wir die Schwellen, bevor die Quelle live geht. An diesem Punkt steht AniDB gerade.
Ein zweites Modell übersetzt Beschreibungen ins Englische und Deutsche und schlägt Schlagworte vor. Dabei haben wir gelernt, wie schnell ein Modell übertreibt. Inhaltswarnungen und Handlungsmerkmale hat es so großzügig vergeben, dass wir beides wieder gestrichen haben. Seitdem darf es nur noch leere Felder füllen und nie einen Wert aus einer Quelle überschreiben.
Tote Daten bleiben draußen
Bleibt die letzte Schwäche aus dem zweiten Anlauf: die vielen toten Daten, für deren Hosting wir bezahlt haben. Heute bewerten wir jeden Eintrag nach jeder Änderung neu. Jeder Typ hat eine Liste gewichteter Regeln, aus der sich ein Qualitätswert zwischen 0 und 1 ergibt. Ein Film braucht außerdem einen Namen, eine englische Beschreibung, mindestens ein Poster und ein Hintergrundbild. Fehlt eines davon oder liegt der Wert unter 0,2, bleibt er deaktiviert, und ihr bekommt ihn in der App nicht zu sehen.
Personen und Firmen tauchen nur auf, wenn ein sichtbarer Film, eine Serie oder ein Spiel auf sie verweist. So bleiben Millionen Personen, die nur in irgendeiner Quelle stehen, automatisch draußen. Bilder hosten wir nur noch für sichtbare Einträge. Und eine fertige Änderung ist wenige Sekunden später im Suchindex, aus dem die App liest.
Wie gut die Daten im Oktober 2026 sind
Im Oktober 2026 umfasst Loggd Nexus rund 6,73 Millionen Einträge. Nach ihrem Qualitätswert sortieren wir sie in drei Stufen: „gut“, „ausreichend“ und „lückenhaft“. Bei Spielen gilt ein Eintrag unter 0,5 als lückenhaft und ab 0,75 als gut, bei allen anderen Typen liegen die Grenzen bei 0,2 und 0,5.
| Typ | Einträge | Deaktiviert | Gut | Ausreichend | Lückenhaft |
|---|---|---|---|---|---|
| Personen | 4.602.003 | 22,6 % | 5,3 % | 8,6 % | 86,1 % |
| Filme | 1.191.430 | 57,0 % | 12,5 % | 73,2 % | 14,3 % |
| Spiele | 341.822 | 19,7 % | 18,1 % | 69,2 % | 12,7 % |
| Firmen | 340.369 | 29,0 % | 3,9 % | 11,6 % | 84,5 % |
| Serien | 232.115 | 69,3 % | 10,0 % | 56,7 % | 33,3 % |
| Kollektionen | 21.062 | 93,8 % | 24,4 % | 6,4 % | 69,1 % |
| Engines | 1.505 | 0,0 % | 0,5 % | 28,7 % | 70,8 % |
| Plattformen | 220 | 0,0 % | 3,2 % | 80,0 % | 16,8 % |
| Gesamt | 6.730.531 | 30,7 % | 7,4 % | 24,9 % | 67,7 % |
Die Qualitätsanteile beziehen sich auf alle Einträge eines Typs, deaktivierte eingeschlossen. Die Gesamtzahl enthält zusätzlich fünf Events.
Filme und Spiele stehen ordentlich da: Mehr als 85 % der Einträge sind mindestens ausreichend gepflegt. Trotzdem sind 57 % der Filme deaktiviert und 69 % der Serien, weil schon eine fehlende englische Beschreibung oder ein fehlendes Hintergrundbild reicht. Fehlt nur das Bild, wird der Eintrag sichtbar, sobald eines nachkommt.
Bei Personen und Firmen sieht es ganz anders aus: 86,1 % bzw. 84,5 % sind lückenhaft. Bei Kollektionen sind fast 94 % deaktiviert, weil eine Kollektion erst erscheint, wenn mindestens einer ihrer Filme oder eines ihrer Spiele live ist. Hier liegt noch die meiste Arbeit vor uns. Schließen wollen wir diese Lücken vor allem mit weiteren Quellen wie Wikidata.
Wofür wir das alles bauen
Mit einer einzigen Quelle wie bei Letterboxd wäre vieles davon einfacher gewesen. Dann wären Filme, Serien und Spiele aber getrennte Welten geblieben. Erst mit der gemeinsamen Datenbasis sind Filme und Serien über gemeinsame Personen verknüpft, und alle drei Medien über Studios und Kollektionen. Darauf bauen die medienübergreifenden Empfehlungen in Loggd auf, und auch die Aktivität im Gruppenchat, die einen Film oder ein Spiel für alle in der Gruppe vorschlägt.
Von all dem merkt ihr in der App im besten Fall nichts. Die Daten sollen sich einfach vollständig und sauber anfühlen. Wie das aussieht, zeigt die aktuelle Version unter loggd.me, die wir dieses Jahr von React Native auf Flutter umgezogen haben. Und wenn euch Unstimmigkeiten auffallen, sagt uns gerne auf Discord Bescheid. Was wir daraufhin korrigieren, ist gesperrt, und keine Quelle schreibt es wieder kaputt.