Cum a creat Die Zeit un instrument AI care îi ajută pe nemți să vadă legătura înaintașilor cu o perioadă neagră a țării lor

În ultimele zile ale celui de-al Doilea Război Mondial, pe măsură ce Reich-ul german se prăbușea, oficialii naziști au ordonat distrugerea a milioane de carnete de membru al Partidului Nazist. În loc să ajungă pastă de hârtie, un operator de la o fabrică de hârtie le-a predat forțelor americane. Astăzi, ele pot fi accesate la un click distanță, cu ajutorul unei aplicații realizate cu ajutorul Inteligenței Artificiale de ziarul Die Weit.

În luna aprilie, publicația săptămânală germană Die Zeit a lansat un motor de căutare online care face accesibile, pentru prima dată, arhivele cu membrii Partidului Nazist.

Timp de zeci de ani, dacă un german voia să afle dacă o rudă a făcut parte din Partidul Nazist (NSDAP), era necesar fie să depună o cerere oficială la Arhivele Federale ale Germaniei, fie să răsfoiască copiile pe microfilm păstrate la Arhivele Naționale ale SUA din Washington, relatează Global Investigative Journalism Network.

La începutul acestui an, când Arhivele Naționale ale SUA au început să publice online versiunile digitalizate ale documentelor, interesul public a fost atât de mare încât site-ul web a picat.

Pentru ziarul german Die Zeit, acel moment a reprezentat o oportunitate. Deși documentele deveniseră accesibile publicului, parcurgerea lor rămânea o provocare. Milioane de fișe de membru erau dispersate în mii de fișiere PDF, ceea ce făcea aproape imposibilă căutarea individuală.

Căutare în secretele familiei

Cu ajutorul inteligenţei artificiale, Die Zeit a dezvoltat o opţiune de căutare simplificată, transformând milioane de fișe de membru scanate într-o resursă publică accesibilă.

De atunci, instrumentul a generat milioane de căutări, utilizatorii descoperind numele unor bunici, unchi și alte rude a căror apartenență la partid rămăsese mult timp ascunsă în arhivă.

Baza de date contrazice, de asemenea, o idee preconcepută persistentă despre Germania nazistă. Deși înrolarea în Wehrmacht – forțele armate germane din perioada nazistă – era obligatorie, calitatea de membru al Partidului Nazist nu era. În ciuda faptului că anumite profesii exercitau o puternică presiune socială în favoarea înscrierii, aderarea la partid a rămas voluntară, notează sursa citată.

În spatele proiectului se află Gregor Aisch, jurnalist specializat în vizualizarea datelor la Die Zeit, și Andreas Loos, coordonatorul departamentului de știința datelor și AI al ziarului.

La baza proiectului au stat două colecții vaste de evidențe ale membrilor: Indexul Central de Fișe și Indexul regional de Fișe Gau. Doar 44% din Indexul Central și 77% din Indexul Gau au supraviețuit războiului, a estimat politologul Jürgen Falter, care a studiat Partidul Nazist timp de zeci de ani.

Chiar și așa, materialul păstrat reprezintă una dintre cele mai mari surse de informații despre membrii partidului. Împreună, înregistrările păstrate acoperă aproximativ 90% din totalul membrilor Partidului Nazist între 1925 și 1945, deși rămân lacune semnificative.

Transformarea acelei arhive într-o bază de date care permite căutarea a necesitat prelucrarea a 5.442 de fișiere PDF, fiecare cu aproximativ 3.000 de pagini cu fișe de membru scanate. Mulți membri apar în ambele registre, generând astfel înregistrări duplicate care trebuiau gestionate corespunzător.

„Am folosit inteligența artificială în principal pentru a extrage informații textuale din imagini. Modelele au putut gestiona chiar și date vizuale dificile: fiecare fișă de evidență poate conține o combinație de numeroase fonturi și stiluri de scriere de mână, inclusiv Kurrent și Sütterlin – două vechi tipuri de scriere germană. Toate acestea au putut fi citite”, a explicat Andreas Loos.

Rolul crucial al AI

Pentru proiect, echipa a combinat mai multe sisteme OCR, bazându-se în mare măsură pe modelul LLM Gemini de la Google pentru a interpreta informațiile scrise de mână și cele tipărite de pe fișe.

Pentru Die Zeit, folosirea acestei tehnologii nu a fost un experiment. Redacția folosește deja inteligența artificială în activitatea de redactare a știrilor, iar baza de date a NSDAP a oferit pur și simplu ocazia de a aplica aceste instrumente la o scară neobișnuită.

„AI era deja o componentă importantă a arsenalului nostru de lucru”, a spus Loos. „Mai ales în combinație cu aplicații puternice de căutare, aceasta va juca un rol tot mai important în gestionarea și analizarea unor volume mari de date”, a mai spus el.

Cum îți găsești ruda din partidul nazist

Deoarece registrele au fost create pe parcursul a două decenii de către diferite instituții, folosind sisteme administrative diferite și formate inconsecvente, extragerea numelor, datelor, profesiilor și locurilor de naștere într-un mod standardizat a necesitat o prelucrare extinsă înainte ca datele să poată fi consultate în mod fiabil.

„Combinația dintre nume și locul de naștere nu este, într-adevăr, suficientă pentru a identifica o persoană cu certitudine”, a explicat Aisch.

„Dar dacă știi și data nașterii, poți fi foarte sigur că ți-ai găsit ruda”, a mai spus el.

Câți germani au fost membri ai partidului lui Hitler

Aproximativ 10,2 milioane de germani au primit carnete de membru al Partidului Nazist între 1925 și 1945. Numărul membrilor a crescut vertiginos după ce Adolf Hitler a devenit cancelar în 1933. Afluxul a fost atât de mare, încât oficialii partidului au suspendat temporar primirea de noi membri, înainte de a redeschide înscrierile în 1937.