Området ved Berg interneringsleir har vært utnyttet siden de første menneskene kom til området, noe alle gravfeltene, dyrkingssporene og stolpehullene registrert i området vitner om. Sporene fra bronse- og jernalder er så mange og omfattende, at tyskerne brukte dette som et argument i et forsøk på å få lagt ned «Quislings hønsegård» under krigen.
Blant ledende tyskere, slik som reichskommissar Josef Terboven og SS-Obergruppenführer Wilhelm Rediess, var ikke dette initiativet fra Nasjonal Samling (NS) noe som var spesielt populært. For tyske nazister som var opptatt av nordmennenes «ariske røtter», var frykten for å ødelegge kulturminner fra vikingtiden et argument som kunne bli benyttet, noe også Rediess gjorde. Han fryktet at leiren og aktivitetene rundt kunne ødelegge kulturminnene ved Berg gård. Men det lot seg ikke å stoppe interneringsleiren for motstandere av Quisling og nyordningen av Norge. Det tyske forsøket i 1943 på å få leiren nedlagt, mislyktes.
For NS og Vidkun Quisling var norsk norrøn historie sentralt i partiets syn på det nye Norge. Borreparken med sine mektige gravhauger sto sentralt i partiets markeringer før og under krigen gjennom de årlige Borrestevnene. Det var også der ideen om en fangeleir utenfor Tønsberg ble proklamert offentlig i mai 1942. Vidkun Quisling så seg og parteits rolle i kontekst med norsk historie og statsdannelse i vikingtiden.
Arkeologen Anton Wilhelm Brøgger ledet utgravinger av et større gravfelt nord for «Det hvite hus» på Berg i 1919, og de fant en rekke gjenstander under utgravingene. Det var nye utgravinger i 1949 og 1950. På kulturminnesøk kan du lese og og se alle fornminnene som er registrert i og ved leiren. Det ble foretatt en ny kulturminneregistrering i 2015 i forbindelse med anleggelsen av Bergstien.