Ritoniemen kartanon empiretyylinen päärakennus valmistui noin vuonna 1825 kapteeni Emil Gustav af Enehjelmin perheen tarpeisiin.
Kansallisrunoilija Johan Ludvig Runeberg toimi Enehjelmin perheen lasten kotiopettajana Ritoniemessä vuosina 1825 -26. Täällä hän tapasi myös Vänrikki Stoolin tarinoiden tunnetuimman taustahenkilön, vänrikki Adolf Fredrik Pelanderin.
1850-luvulla rakennusta jatkettiin ja korotettiin ja siihen rakennettiin kaksikerroksiset siipiosat. Rakennus sai silloin myös nykyisen sveitsiläistyylisen ulkoasunsa. Alkuperäinen empiretyyli ilmenee esimerkiksi alakerran huonejaossa ja näkyy vaakalaudoituksessa kuistin kohdalla.
Nykyiseen sukuomistukseen Ritoniemi on tullut vuonna 1874.