Ligner et slott
Hovedhuset på Yttersø er et vanlig tømmerhus med liggende stokker, kledd utvendig med stående panel. Stilmessig er huset likevel ulikt de fleste andre trebygninger i norsk arkitekturhistorie. De elegante, klassiske fasadene og det høye, bratte valmtaket med kinavipp gjør at huset ligner et slott. Salene som ble brukt til mottagelser og fester, ligger i andre etasje og har høyere vinduer enn i første.
Fra 1810 har vi et gammelt grevskapskart. Yttersø er ikke tegnet inn på det, så hovedhuset må være bygget senere. En plankebit funnet på loftet, rett over en lettvegg som skiller trapperommet fra kabinettet, hadde innskriften 15 april 1834 denne gimling er oppsydd av Lars Berget og Hans Ryggestuen. Gimling er en slags lettvegg. Sammen med husets stiltrekk og grunnplan kan dette tyde på at byggingen startet rundt 1817-20.
Lystgården på landet
Den rike byborgeren Johan Fredrik Sartz fikk bygget hovedhuset på Yttersø som sommerhus eller lystgård som det het den gang. Han, var prost, politiker og én av fire velhavende larvikborgere, de såkalte grevlinger, som i 1817 kjøpte hele grevskapet av danskekongen.
Inne i byen bodde familien hans i det store, flotte murhuset som nå er Larvik Sjøfartsmuseum. Om sommeren reiste de ut til Yttersø for å dyrke det enkle livet på landet og holde mottagelser for sossen i byen. Det var nok mye liv, fest og hæla i taket i husets glansdager på 1800-tallet.
Willum Frederik Treschow overtok Yttersø i 1847 etter Sartz´ enke. Treschowfamilien drev stort gårdsbruk der i mange år. Gårdsdriften ble satt bort til unge, nytenkende mennesker med god formell utdanning, som kunne drive gården etter moderne prinsipper. I 1865 var stedet et storbruk med 21 hester, 56 storfe, 7 sauer og 12 griser.
Gårdens nære beliggenhet til lenseanlegget for tømmerfløtningen i Lågen gjorde den til et senter for arbeidet ved tømmerlensene. I sidebygningen ble det innredet rom for tilreisende arbeidere. På denne tiden var stedet nesten som en landsby. Gården hadde et yrende liv til langt ut på 1900-tallet.
Franske stilidealer
Husets grunnplan er som skapt for fest og selskapelighet. Hoveddøren mot syd er omrammet som inngangen til et tempel, et element man også finner på franske slott og lystgårder fra den tiden. Herfra kommer man inn i et stort trapperom der den gedigne trappen med tre rette løp svinger seg opp til andre etasje.
Salene ovenpå er forskjellige og tilpasset størrelsen på selskapene man holdt. Den største salen mot øst er på 60 kvadratmeter og går tvers gjennom huset. Den lange vindusløse veggen mot øst har spor etter en ti meter lang sittebenk. Veggene, taket, vinduene og dørene i salen ble, som noen av de første i landet, ådret. Det vil si at man kopierte treverkets naturlige årringer og sjatteringer med maling.
Bak veggplatene i stuen mot vest er det funnet en flott papirtapet med mønster i koboltblått og gull. Den ble kopier og montert slik at rommet kunne fremstå slik det var på Sartz' tid.
Bak trapperommet og salen er det et mindre kabinett mot nordvest. På de andre siden av trapperommet mot vest er det en stue med samme størrelse som spisestuen nedenunder, og innenfor denne en mindre stue mot nord.
Interiørene har fint høvlet listverk med utskjæringer og dekorerte hjørneklosser. Belistningen er elegant og profesjonelt utført med en uvanlig variasjon i detaljene.
Alle rommene i andre etasje er forbundet med brede, tofløyede dører som sikkert stod åpne ved ball og store fester, så gjestene lett kunne mingle fra rom til rom.