1933-tól nyolc éven keresztül az MTK játékosa volt. A magyarosított Illanó néven (is) futballozott – a harmincas évek Magyarországán az Illovszkyt nem tartották eléggé magyarosnak. A kék-fehér klub önfeloszlatása után, miután rövid ideig a Nemzeti SC tagja volt, átlépett a Vasasba, amelynek játékosként 1955-ig maradt a tagja. (Közben 1946-ban, rövid ideig az SK Bratislava „légiósa” is volt.
A negyvenes évek második felében élte játékos-pályafutása csúcspontját, 1945-ben a Vasas házi gólkirálya lett, 1945-46-ben és 1947-48-ban is ezüstérmet nyert a piros-kékekkel. Háromszor játszott a válogatottban, az első mérkőzése a világháború utáni első, az osztrákok elleni találkozó volt, 1945. augusztus 19-én. Másodszor a bolgárok, harmadszor az albánok ellen játszott a nemzeti tizenegyben. Már játékosként is legendás volt (270 mérkőzésen 87 gólt szerzett), de edzőként sokszorosan túlragyogta futballista-karrierjét. 1955-től a Vasas korosztályos csapatainál dolgozott, majd 1957-ben átvette Baróti Lajostól az első csapat irányítását. 1961-ben, 1962-ben és 1965-ben is bajnoki címet nyert, s 1962-ben, 1963-ban és 1965-ben is elhódította a piros-kékekkel a Közép-európai Kupát. Nem utolsósorban: Illovszky Rudolf volt az első edző, aki egy magyar csapattal a legjobb négy közé jutott a Bajnokcsapatok Európa-kupájában (1957–1958).
Már 1963 és 1966 között ő volt a magyar válogatott edzője (Baróti Lajos szövetségi kapitány segítőjeként így olyan jeles sikerek részese lehetett, mint az 1964-es Nemzetek Európa-kupáján elért harmadik hely, valamint az angliai világbajnokságon a brazilok legyőzése), majd miután akkor még a vb-negyeddöntőben elszenvedett vereség kudarcnak számított, természetesnek tűnt, hogy ő veszi át Baróti örökségét. Így aztán elmondhatta magáról, hogy ugyanazon a mérkőzésen debütált (megbízott) kapitányként a válogatottban, mint az ellenfélnél Johan Cruyff játékosként. 1967 végéig dirigálta a nemzeti tizenegyet, tíz mérkőzésen 85 százalékos eredménnyel. Mégis át kellett adnia a helyét Sós Károlynak, ő pedig visszatért a Vasashoz.
1971-ben lett ismét kapitány, július 22-én, a Maracanában, a világbajnok brazilok ellen tért vissza. A hazaiak soraiban nyolc olyan játékos szerepelt, aki egy évvel korábban Mexikóban világbajnoki címet nyert! Mégis a magyarok álltak közelebb a győzelemhez. Nagy idők voltak ezek, bő egy éven belül a csapat bejutott az Eb-döntőbe, s olimpiai ezüstérmet nyert Münchenben. Illovszky Rudolf 1974 májusáig állt a válogatott élén – a jugoszlávok elleni volt az utolsó a sorban, amely egyben Albert Flórián búcsúját is jelentette.
Az edző visszatért a Vasashoz, amellyel 1977-ben ismét bajnoki címet nyert – mind ez idáig az utolsót a klub történetében. Az volt neki is az utolsó címe, a negyedik – csak egy magyar edző, Jávor Pál nyert nála többet, eggyel. A piros-kékekkel három Magyar Népköztársasági Kupa- (1973, 1981, 1986) győzelmet is elért. Sikeresen dolgozott külföldön is, 1970-1971-ben a görög Pierikósz FC-nél, 1978-1979-ben az osztrák Admira Wackernél, majd 1980-1981-ben újra a Pierikósznál, végül 1989–1990-ben az Elche CF pályaedzőjeként tevékenykedett.
Élete utolsó szűk három évtizedében hol szaktanácsadóként, hol ismét edzőként (1995-ben ő mentette meg a kieséstől a csapatot) szolgálta a Vasast. 2003-ban róla nevezték el a Fáy utcai stadiont. Senki nem lehetett volna méltóbb erre.
2008. szeptember 23-án hunyt el.
