Garay József 1943 és 1947 között a Színművészeti Akadémia hallgatója volt. Az 1940-es évek végétől számos magyarországi színházban, többek között a Nemzeti Színházban, a győri Kisfaludy Színházban és az egri Gárdonyi Géza Színházban játszott. 1978 és 1981 között a kaposvári Csiky Gergely Színház tagja volt.

A színművész 1983-ban a budapesti Katona József Színházba szerződött, ahol nyugdíjba vonulásáig számos előadásban, többek között a Coriolanusban, a Revizorban, az Übü királyban és a Catullusban nyújtott emlékezetes alakítást.

Utolsó szerepét Az óra, amikor semmit nem tudtunk egymásról című előadásban játszotta. Garay Józsefet a Katona József Színház saját halottjának tekinti.