A szarkavári erdőben álló kastély története az 1800-as évekre nyúlik visssza. Gróf Somssich Pongrác 1824-ben vásárolta meg a földbirtokot, amelyre 1831-ben építette fel klasszicista stílusú kastélyát. Ez képezi a jelenlegi épület középső tömbjét. 1885-ben gróf Somssich József nagyobbíttatta meg a kastélyt s építtette át eklektikus stílusban. Az épület keleti bejáratához két oszlopon álló erkélyt helyezett el. Az északi homlokzatot szintén megtoldotta egy földszintes, lapos tetős neoreneszánsz mellvédfalas résszel. Ő emeltette a kastély mellett álló víztornyot is, amely az egykori Újlaki-vár tornyának alapjain áll. Ezt idézi a torony tetejének bástyaszerű kialakítása is.
A kastélydombon számos sáncmaradványt tártak fel, s a Hunyadi-korból való pénzek illetve fegyverek kerültek felszínre. Itt a kastély mellett áll a nemesi család katolikus kápolnája. A falát négy oltárkép díszíti, amely Somssich József keze munkáját dicséri. A kápolna melletti parkban állítottak fel 2002-ben egy keresztet, amely a Szarkaváron elhunytak emlékét őrzi. A kastélyparkban ugyanis a világháború idején internáló tábor működött. Nem messze az erdőben emeltek egy másik emlékművet is, a Somssich család mauzóleumát. A gyönyörűen helyreállított épületet és a körülötte lévő kriptákat nagy figyelemmel gondozzák. A sírhelyig egy gesztenye fasor vezet. E területen fekhetett egykor Szarkaberki falu is, melyet 1443-ban Kaposújvár részeként soroltak fel. A terület 1944-ig volt a Somssich család birtokában.