Jarlsberg hovedgård har vært residens for ulike lensherrer og har en lang og komplisert historie preget av brann, forfall og mange om- og påbygninger. Dagens hovedbygning har bevarte rester fra 1600- og 1700-tallet, men preges først og fremst av den store ombyggingen foretatt av Grev Herman Wedel Jarlsberg i perioden 1811-1814. Den parkmessige hagen har også vært i endring. Alleene og veisystemene ble anlagt i tiden 1683-1820. Driftsbygningene og andre bygninger er kommet til etter hvert.
Her finner du NRK Vestfold sin serie om Jarlsberg hovedgård "I grevens tid"
Historien
Navnet Jarlsberg ble etablert offisielt i 1685. I vikingtiden og middelalderen var stedet kjent under navnet Sem (Sæeimr) som betyr gården ved sjøen. Sem var i kongseie senest rundt 900 da Bjørn Farmann, en av Harald Hårfagres mange sønner, ifølge sagaene hadde Sem som sitt hovedsete. Tradisjonen sa at Bjørn skulle ligge gravlagt i den store gravhaugen Farmannshaugen sør for hovedgården. Men den har vist seg å være bygd på 200-300-tallet. Haugen skal ha hatt en diameter på 45 meter, og i så fall er den blant de aller største i Norge. Ute i skogholtene Store og Lille Gullkronen finnes flere gravhauger. De er fleste er fra vikingtiden, men enkelte er langt eldre. Etter all sannsynlighet finnes det rester av jernaldergårder der det er dyrket mark i dag. Det kan også finnes bosetningsspor under dagens hovedgård.
Kirken
Vegg-i-vegg med Jarlsberg hovedgård står Sem kirke som ble reist rundt 1150. Kirker tett ved gården var et kjent syn middelalderen ettersom mange gårder eide egen kirke. Rundt kirken ligger den gamle kirkegården. Kirken er viet St. Olav. Presten hadde trolig ikke en egen prestegård i middelalderen, men på et kart fra 1671 er det tegnet inn Prestegaarden i skråningen rett nordvest for kirken. Da den brant, gjorde greven et bruk av Kongs-Eik til ny prestegård.
Rettersted og flyplass
På en odde ut i Byfjorden lengst sør i kulturmiljøet ligger noen bygninger som tidligere var husmannsplassen Holmen. Dette var en holme frem til 1900 på grunn av landhevingen. Navnet var tidligere Tjuvholmen – et navn vi finner ved samtlige norske middelalderbyer. Det viser hvor byens rettersted var i senmiddelalderen og utover på 1600-tallet. På retterstedet ble folk henrettet.
Gamle Tønsberg flyplass, Jarlsberg, ble anlagt av tyske soldater i august 1940 som en improvisert flyplass med falske installasjoner for å narre fiendtlige rekognoseringsfly. Etter krigen var det både sivil og militær virksomhet på stedet. I 1957 var Jarlsberg Norges mest trafikkerte flyplass. I årene etter 1960 ble den kommersielle aktiviteten på stedet likevel kraftig redusert, for til slutt å bli overtatt av flyklubbens aktiviteter.