Før flyttingen til Sverresborg sto Tavern nede ved det gamle Slaveriet på Brattøra - helt ut mot elven og fjorden. Gjennom de første 100 år av sin historie tjente gården som fergemannsbolig. Taverns eldste del ble bygget i 1739.