Prinsenhof jauregian (Gante, Flandria) dantzaldi bat ospatzen ari ziren bitartean, haurdun zegoen Joana artxidukesak tripako min handiak zituen. Inoren laguntzarik gabe, komunerantz abiatu zen eta horrelaxe jaio zen bere bigarren semea, asteartea zen 1500eko otsailaren 24ko goizeko 03:30ean. Joanak Juan deitu nahi izan zion, orain dela gutxi hildako anaiaren omenez, baina azkenean, Karlos izenez bataiatu zuten aitak hala nahi zuelako.
Urtea bete baino lehen, Filipek Luxenburgoko duke izendatu zuen, baita Urrezko Toison deritzon Borgoinako ordenako zaldun ere.
1501eko azaroaren 16an, Filipe eta Joanak Espainiara bidaiatu zuten, Errege-erreginen oinordeko izendatu baitzituzten eta Karlos txikia Yorkeko Margaritaren eskuetan geratu zen. Frantziatik pasatu zirenean, Filipek eta Luis XII.ak bere seme-alabak ezkontzeko ituna sinatu zuten eta, urte batzuk beranduago, itun hori Bloiseko tratatuan berretsi zen.
Filipe Flandria]ra itzuli zenean, Margarita zaintzailea edadetua zela eta Ana Borgoinakoaren esku utzi zuen printze txikia eta bere hezkuntza zuzenduko zutenak ere izendatu zituen. Fernando Katolikoak, berriz, printzea Gaztelako errege izan zitekeen ustean, Luis de Vaca bidali zuen Flandriara, gaztelania eta Gaztelako ohiturak irakasteko haurrari. Alferrikako ahalegina, nonbait, urte batzuk geroago Karlos printzea Espainiara hurbildu zenean, oraindik ez baitzuen hizkuntza erabat menperatzen.
1506an, Isabel Katolikoaren heriotzaren ondoren, Filipe eta Joana berriro joan ziren Gaztelara, hango koroa eskatzera. Lortu zuten, baina hauen erregealdiak gutxi iraun zuen, Filipe hil egingo baitzen eta Joana, berriz, erotu egin zela-eta, Tordesillasko komentu batean itxi baitzuen aitak.
Karlos adinez txikia zenez, bere aitona Maximiliano I.ak hartu zuen Herbehereen erregetza, baina berehala utzi zion kargua Margarita Austriakoari, Karlos eta bere senideen heziketarekin batera. Horrela bada, printze gaztearen hezkuntza guztia Flandrian garatu zen. 1509an, enperadoreak Hadriano Utrechtekoa izendatu zuen Karlosen maisu.
Azkenean, 1515eko urtarrilaren 5ean, Karlos adinez nagusi zela esan zuten eta Hebreeretako Jaun izendatu zuten. Horrela bukatu zen izeba Margaritaren erregeordetza, baina errege gazteak ez zuen gobernatzeko gogorik eta Chievreseko jaunak zuen botere osoa bere esku. urte horretan etorri zen Hadriano Utrechtekoa Gaztelara, aitona Fernandok bere oinordetza eskubideak kenduko ote zizkion beldur. Karlosen anaia gazteagoa zuen gogoko, bere ondoan hezitakoa eta harenganako joera zuela zirudien.