Så länge han levde försökte Kyle genom frälse och skatteköp utöka sina domäner. Målmedvetet och ihärdigt fogar han det ena hemmanet efter det andra till Drettinge i avsikt att bygga upp ett verkligt storgods. Det är' förklarligt att Kyle under sitt arbete på Drettinges utveckling då och då skulle komma i konflikt med såväl Kronans som privatpersoners intressen. Konflikten med biskopen är ett exempel härpå.
Hans Kyle var gift 3 gånger. Första gången med Johan Skyttes dotter, den för sin skönhet och lärdom ryktbara Vendela Skytte, som Stjernhjelm kallade »sitt köns och sitt århundrades underverk». Redan efter 3 år skördades hon av pesten i Stralsund 1629, när hon besökte sin man. Två år senare gifte han sig med en Mecklenburgisk dam Elisabeth von Dühe från vilken han skiljde sig 1650. I ett tredje äktenskap var han förenad med Maria Ribbing, som överlevde honom och dog först 1685.
Gårdsby bestod då av 4 hemman, dels de tre gamla arvegodsen, som ända sedan Ragnvald Pukes tid på 1300-talet gått i arv inom släkterna Puke och Kyle, dels Munkabolet , det kyrkohemman som 1638 inköptes av Kronan inklusive Vikensved Anaryd.
Under 20 Ã¥r hade Kyle arbetat pÃ¥ att fÃ¥ GÃ¥rdsby erkänt som Säteri, sedan han fÃ¥tt avslag pÃ¥ att lägga det under Drettinge. SvÃ¥righeterna berodde kanske pÃ¥, dels klagomÃ¥l frÃ¥n grannarna och Kyrkan, dels kanske pÃ¥ att bostaden ej var stÃ¥tlig nog. Av gamla kartor förefaller det varit en envÃ¥nÃngs byggnad, c;a 20 meter lÃ¥ng och 10 meter bred.
Landshövding Kyle avled 1659 och tre år därefter samlades arvingarna på Frötuna för att skifta kvarlåtenskapen.
Med säterirättigheten som var förbehållen adeln, följde vissa förmåner - frihet från kronotionde, kronokörslor, skjutsning, inkvartering, prästgårdstionde m.m., men gården skulle också bebyggas med en »Säteribyggnad, värdig en herremans ställning och med ägarens avel försedd». Om huset eller övriga byggnaderna ej underhölls, kunde skattefriheten äventyras. Ägaren var också skyldig att ställa ett visst antal ryttare till Kronans förfogande i händelse av krig, samt hälla ett visst antal hästar. De 4 Gårdsbyhemmanen skulle lämna 24 hästar. Antalet ryttare fastställdes efter Säteriets bärighet. Av handlingarna kan jag ej få fram att Gårdsby skulle ställa ryttare till förfogande utan endast hålla hästar.
1662. Gårdsby by m. fl. hemman tillföll dottern Hedvig Kyle. Under hennes tid erhöll Gårdsby by säterirättigheter under beteckningen 4 mtl Gårdsby Säteri mellan åren 1662 - 1663. Vad Kyle länge arbetat på, blev sålunda fullbordat. Dottern Hedwig Kyle var gift med överstelöjtnanten Per Lood. Dessa bodde aldrig på Gårdsby utan sålde gården redan efter 4 år.