Den første av slekten Frimann som kom til Norge var Johan Fredrik Clausen Frimann, født ca 1625 i Danmark og døde 1706 i Bergen. Han begynte sin karriere som sekretær hos «Rigets Raad og Ridder», Christopher Urnee.  Ca 1660 sendt til Norge som dronning Amalie Sophies gods forvalter i Sunnhordaland. De gikk under fellesnavnet Halsnøy klostergods. Han ble utstyrt med juridisk myndighet og fikk titelen amtmann over Hardanger og kongelig gods forvalter over Halsnøe og Utstein kloster gods. Utstein besto av 139 gårder og endel eiendommer i Stavanger, og ble i 1665 av kong Frederik III solgt til Herlof Trolle. Johan Frimann kjøpte disse eiendommer ca 1700.