1810 tog Karl Rappe avsked av det militära för att ägna sig helt åt gårdens skötsel och påbörjade han då också ombyggandet av nuvarande Corp des Logiet. Vi vet att Gårdsby fick säteri rättigheter år 1661 och att förutsättningen att sådant kunde beviljas var, att det var bebyggt med en ståndsmässig bostad, »lämplig för herrskapsfolk att bo i».
Vi vet också att Hans Kyle haft svårigheter att få Gårdsby erkänt som Säteri, varför man kan utgå från att den ursprungliga byggnaden färdigställdes någon gång på 1640/50-talet och att Rappe tillbyggde flyglarna och övervåningen 1812. På 1650-talet hade kanske huset brunnit upp. Ursprungligen var det troligen ett envåningshus 20 x 10 meter.
Det är en troligt, att mittelhuset var en envånings 1740-talsbyggnad men fullständigt omändrad vid ombyggnaden. l varje fall framgick vid restaureringen 1935 att mittelpartiet hade varit en gammal envåningsbyggnad med en innertakhöjd av ungefär 2.30 och att fönstren varit mycket mindre, vilket också bekräftas av det gallerförsedda hand kammarfönstret, som ännu finns kvar.
Rappe byggde till övervåningen samt höjde innertaket i mittelhuset med 1 meter till 3.30 i enlighet med tidens smak. Med de båda flyglarna med takhöjd 2.8 m, som byggdes ut på längden, blev huset 50 m långt. Corps de Logiet, som Rappe byggde det, blev en sällsynt både vacker och typisk exponent för den Gustavianska tiden. l samband med bygget anlade han också gärdsplanen med terrass anläggningar, vilket var ett betydande arbete. Många hundra lass sten hade gått åt till fyllnad av denna.
Karl Rappe avslutade sin militära bana 1810, vid 38 års ålder och hade avancerat till Överstelöjtnant, vilket tyder på att han var lika duglig som militär som han var som lantbrukare. Under sin militära tjänstgöring i olika delar av Sverige, hade han alltid ett vaket öga för allmogens seder och bruk. Då han efter finska kriget en tid var stationerad i Hälsingland blev han starkt intresserad hur de beredde sitt lin och vad det betydde för den enskildes ekonomi. Han såg i linodlingen en möjlighet att även i Småland förbättra hushållningen på landsbygden och han tog som sin uppgift, att dela med sig av sina erfarenheter och starta en skola på Gårdsby. För detta behövde han myndigheternas stöd och vände sig till Svenska Lantbruksakademien, där han personligen framförde sina planer.