A sportember halálhírét felesége tudatta a német hírügynökséggel. Az 1992-es, barcelonai játékokig Holdorf volt az utolsó aranyérmes az olimpiák történetében, aki az egységes Németország színeiben diadalmaskodott. Az 1968-as ötkarikás eseménytől kezdve ugyanis Kelet- és Nyugat-Németország külön csapatot indított a játékokon.

Holdorf az 1964-es aranyérmével az egyesült államokbeli atléták nagy sorozatát szakította meg, 1932-től kezdve ugyanis minden olimpián amerikai győzelemmel zárult a tízpróba. A tokiói játékokon Holdorf az élen állt, amikor az utolsó versenyszám, az 1500 méteres futás következett. Szovjet-észt riválisa, Rein Aun ebben sokkal jobb volt, a német atléta pedig csak úgy győzhetett, ha ideje 17 másodpercnél nem rosszabb, mint Auné. Korábban Holdorf mindig ennél többel maradt el riválisa idejétől, ezért edzője a verseny előtt azt mondta neki, legfeljebb 12 másodperc lehet a lemaradása.

A német sportoló teljesen kimerült az 1500 méter alatt, a célba érést követően pedig összeesett, de pontosan 12 másodperccel maradt el a nagy riválisától, aki letámogatta őt a pályáról. Holdorf a visszavonulása után az akkor élvonalbeli Fortuna Köln labdarúgócsapatának vezetőedzője volt, majd üzletemberként dolgozott tovább.