Kongsgård
Gården Jarlsberg er den gamle Sem kongsgård som nevnes i sagaene. Sem steinkirke ble oppført for denne gården i første halvdel av 1100-tallet. På den tiden het Jarlsberg Sæheimr og var Sem kongsgård. Før den tid sto det en trekirke her.
På Jarlsbergs eiendom ligger det også mange gravhauger fra jernalderen. De viser at at gården har en svært gammel historie.
Grevskapet
Sem gård og tilhørende grevskap ble opprettet i 1673 og omdøpt til Griffenfeldt. Grevskapet omfattet dagens Stokke, Andebu, Tønsberg, Sem, Nøtterøy, Hof, Holmestrand, Horten, Sande, Svelvik og Skoger med Strømsø. Grensen i nord gikk altså helt inn til Drammen.
Peder Schumacher Griffenfeld (1635-1699) var dansk greve og statsmann. Fra 1673 var han også rikskansler og eide Jarlsberg grevskap inntil han i 1676 falt han i unåde hos kongen og ble fengslet. Grevskapet ble inndratt. Griffenfeld ble dømt til døden, men dommen ble endret til livsvarig fengsel. Etter 22 år i fangenskap ble han likevel satt fri.
Grev Ulrik Frederik Gyldenløve eide allerede grevskapet i Larvik og var nettopp ferdig med å bygge Herregården der. Han kjøpte grevskapet Griffenfeldt i 1676. Det var også han som ga gården og grevskapet det nylagde navnet Jarlsberg.
Allerede i 1683 solgte Gyldenløve Jarlsberg til Gustav Wilhelm Wedel Jarlsberg. Siden da har denne slekten eid gården.
Forandret gjennom tidene
I 1682 ble Jarlsberg gård ødelagt av brann. Vi vet ikke nøyaktig hva som skjedde, men i følge samtidig korrespondanse var gården i elendig forfatning allerede før brannen.
Det nye anlegget stod ferdig i 1701. Bygningen var oppført i stein. Dette var uvanlig. I Norge brukte man stein først og fremst i militære anlegg. Den første bygningen hadde da også sine klare forbilder derfra ettersom Wedel Jarlsberg var yrkesmilitær. Antagelig hadde han en forkjærlighet for slike bygninger.
I tillegg ville han nok også sette sitt kjennemerke på anlegget. Anlegget var i én etasje, i hvitkalket mur med hjørnemarkeringer (kvadrer) i granitt. Taket hadde blåglasert takstein.
Jarlsberg hovedgård ble endret og ombygd mange ganger i takt med eierskifter og kongebesøk i grevskapene. Sitt nåværende utseende fikk den i 1814. Da ble den forandret til en empirebygning med valmtak.
Mange samfunnslag
Jarlsberg hovedgård og omkringliggende kulturmiljø - med husmannsplassene, jordveier, gamle veiløp med mer - forteller også om husmenn, arbeidsplikt og en annen samfunnsoppbygging.