Palotai Károly Békéscsabán született 1935. szeptember 11-én, ott kezdett el sportolni. A helyi Előrétől került Győrbe, a Vasas ETO-hoz, ahol rövid ideig együtt játszott a bátyjával. Az idősebb fivér, Palotai János 1954. október 24-én 14 percet védett az Aranycsapatban, Grosics cseréje volt a csehszlovákok elleni 4:1-en. Pechére ő kapta a gólt. Öccsével és Pálfy Antallal együtt 1956 őszén elhagyták az országot, hogy a Freiburger FC-hez szerződjenek. Az ifjabb Palotai 1958-ban hazatért, és a következő esztendőkben a Győrrel számos sikert aratott. Tagja volt az 1963-as bajnokcsapatnak, az 1965-ös és 1966-os MNK-nyertes társulatnak. 1964-ben olimpiai bajnoki címet nyert Tokióban, a nagyválogatottság azonban nem adatott meg számára.

Csodálatos játékvezetői karrierrel kárpótolta magát: 1974-ben, 1978-ban és 1982-ben a világbajnokságon, 1972-ben és 1976-ban az olimpián, 1980-ban az Európa-bajnokságon vezethetett. 1975 és 1981 között csak 1980-ban nem kapott valamelyik kontinentális kupadöntőben bírói szerepet. 1976-ban például ő dirigálta a Bayern München–St. Etienne, 1981-ben a Liverpool–Real Madrid BEK-finálét. A leghíresebb 90 perce fekete uniformisban az 1978-as Mundialon megrendezett argentin–brazil volt (0-0).