Visingsborg, Per Brahe den äldre (f 1520, d 1590) var greve, riksdrots och hade en morbror som hette Gustav Vasa. Per Brahe d ä uppförde den västra längan under 1560-talet, då hade Näs borg på sydspetsen varit ruin sedan länge. Tegel togs från bl a klostret i Alvastra och säkerligen borgen i Näs. Slottet blev centrum i ätten Brahes grevskap, än så länge bestod den mest av Visingsö.
Sonen Magnus Brahe (f 1564, d 1633) uppförde den ståtligaste södra längan samt en östra länga som innehöll kök och ekonomiutrymmen.
Per Brahe den yngre (f 1602, d 1680) avslutade med en nordlig länga för betjäningen och förgyllde allt med sex torn och omgivningarna med ett antal karpdammar samt fem trädgårdar. Vallar och bastioner bestyckades med kanoner, en rustkammare med vapen för 800 män och en egen liten armé på 200 man inrättades på ön. Snart omfattade grevskapet nära 850 mantal fördelade över 20 socknar i Småland och Västergötland och var därmed rikets största grevskap. Brahe uppförde även Brahehus uppe på klippkanten, byggde om Västanå slott och grundade Gränna 1652.

Visingsborg, Per Brahe the older built the row towards west during 1560, at this time the castle of Näs had been a ruin for a while. Bricks was taken from the Alvastra monastery and from the ruin of Näs castle. The Visingsborg Castle became the centre in the family Brahe's county.
His son Magnus Brahe built the most impressive row to south and the east row that contained the kitchen amongst other things.
Per Brahe the younger finished the castle with a row to north that was for the servants. He added several ponds for carps and five gardens. Ramparts and bastions was armed with cannons, weapons for 800 soldiers was manufacturered to the 200 soldiers. Brahe's county comprised nearly 850 farms in Småland and Västergötland and was the biggest county in the kingdom. Per Brahe built an impressive library at Visingsborg and even a printing works and a own papermill, and though resistance of the Church he founded a school for the locals.