U njegovim venama miješala se krv 112 aristokratskih porodica – 71 njemačke (austrijske), 20 poljskih, 8 francuskih i 7 talijanskih. Bio je sin carevog brata nadvojvode Karla Ludwiga i Marije Annunciate, kćeri kralja Dviju Sicilija Ferdinanda II. zvanog Bomba (jer je 1848. bombardirao vlastiti grad Messinu da uguši revoluciju). Majka mu je rano umrla. Maćeha Marija Tereza, kći portugalskog kralja, bila je jako dobra prema njemu i bili su bliski. Jedina mu je od istaknutih velikaša i vlastite rodbine došla na vjenčanje s groficom Sophijom von Chotek (koja je za Habsburgovce bila preniskog roda). Štoviše, Marija Tereza molila je cara da dopusti vjenčanje. Otac Karl bio je toliko religiozan da je za hodočašća u Svetu zemlju pio vodu iz rijeke Jordan, dobio tifus i umro. Carev sin Rudolf nije odavao znake sklonosti samoubojstvu pa je imao relativno normalnu mladost, doduše ne kao njegov veseli brat Otto, koji je na jednoj terevenki u hotelu Sacher upao u separe gdje su večerali britanski veleposlanik i njegova supruga odjeven samo u šapku i čizme, s veseljkom na izvol’te.