Eredeti neve Schulder József volt, szülei szerény anyagi körülmények között éltek. A polgári iskola elvégzése után autószerelő-segéd lett a Szürke Taxi vállalatnál, itt figyelt fel egyik munkatársa szép hangjára. 1938-tól vett magánénekórákat Posszert Emília énektanártól, és közben többször jelentkezett operaházi próbaéneklésre. Előbb a Városi (ma Erkel) Színházban volt kardalos segédszínész, majd 1940-ben felvették a Magyar Királyi Operaház kórusának tenor II. szólamába, ahol öt évig énekelt, szavai szerint nagyon sokat köszönhet Roubál Vilmos karvezetőnek.
A Zeneakadémia ének tanszakán 1943-ban - egyből a második évfolyamon - kezdte meg tanulmányait, Székelyhidy Ferenc növendékeként. 1945 nyarán találkozott a legendás Vaszy Viktor karmesterrel, akinek hívására boldogan ment Szegedre. Itt mutatkozott be operaénekesként, már Simándy József néven énekelte beugróként Bizet Carmenjében Don Josét. Nem sokáig maradt a Tisza-parti városban, 1947-ben Tóth Aladár igazgató hívására az Operaház vendég-, majd magánénekese lett, 1990-ben lett az intézmény örökös tagja. Budapesten Don Joséként és a Parasztbecsület Turiddujaként lépett először színpadra, amit Wagner Lohengrinjének címszerepe követett. 1956 és 1960 között a müncheni Staatsoper társulatában is énekelt, 1978-tól nyolc éven át tanított a Zeneakadémián. Simándy József Budapesten halt meg 1997. március 4-én.
A magyar operajátszás egyik legjelentősebb alakja azt vallotta: a művész elsőrendű kötelessége jól sáfárkodni talentumával, hogy minél tovább szolgálhassa a közönséget. Pályafutása során harmincöt tenorszerepet énekelt operaszínpadon. Legnagyobb sikerét a Bánk bán címszerepében aratta, hangja és alakja összeforrt a Hazám, hazám című áriával. Erkel operájában 1953. március 22-én szerepelt először, utoljára 1984 őszén. Nyolcvanadik születésnapja alkalmából az Operaház a művésznek ajándékozta Bánk jelmezét, amelyet több százszor öltött magára. Gazdagon áradó tenorja, csiszolt énektechnikája, magasrendű zenei és színészi kultúrája, pontos, lelkiismeretes munkája a magyar operaszínpad fejedelmei közé emelte, hangja idős korában is ugyanolyan gyönyörű maradt, mint fiatalon.
A zeneirodalom olyan szerepeiben aratott sikert, mint Cavaradossi (Puccini: Tosca), Manrico (Verdi: A trubadúr), Radames (Verdi: Aida), Tamino (Mozart: A varázsfuvola) vagy Riccardo (Verdi: Az álarcosbál). Az operaszínpadtól Verdi Otellójaként búcsúzott, de az éneklést azt követően sem hagyta abba. Számos hanglemeze készült Magyarországon és külföldön, gyakori szereplője volt a rádió és a televízió műsorainak, nagy sikerrel lépett fel Európa operaházaiban és hangversenytermeiben. Felejthetetlenül tolmácsolta Kodály Psalmus Hungaricusának tenor szólamát is, 1959-ben a majdnem két évtizedes szünet után újraindult Szegedi Szabadtéri Játékok első előadásán ő énekelte a Hunyadi László című Erkel-opera címszerepét. Híres volt zenei intelligenciájáról, Verdi- és Wagner-szerepekből csak annyit vállalt, amennyit a hangja még sérülés nélkül elbírt. A Rigoletto mantuai hercegét például 1951-ben néhány előadás után lemondta, jóllehet így nem énekelhette többször az operairodalom egyik leghíresebb áriáját, Az asszony ingatagot.
Művészi munkája elismeréseként 1953-ban Kossuth-díjjal tüntették ki, 1962-ben lett érdemes, 1964-ben kiváló művész, 1990-ben Bartók Béla-Pásztory Ditta-díjat kapott. 1996-ban beválasztották a halhatatlanok társulatának tagjai közé. Hegedűs Judit balettművésszel kötött házasságából három gyermeke született.
A Simándy József Baráti Társaság minden nyáron emlékkoncert keretében idézi meg Keszthelyen a nagy tenort, akinek nyaralója a közeli Balatongyörökön volt, a községnek díszpolgárává is választották. 2004-ben Lakitelken szobrot avattak az emlékére. Kistarcsán általános iskolát, Budapesten utcát neveztek el róla. Egykori XII. kerületi lakóháza falára emléktáblát helyeztek el, a felújított MOM Kulturális Központban emlékterme van. Szülővárosában 2006-ban állították fel egész alakos, Bánk bán jelmezét viselő bronzszobrát, Janzer Frigyes Munkácsy Mihály-díjas szobrászművész alkotását. Két könyv is megjelent róla, 1985-ben Bánk bán elmondja, 2008-ban Simándy József újra "megszólal" címmel. Utóbbi kötetet Péter fia jegyzi, aki maga is a zenei pályát választotta hivatásául.
Simándy József nevével kétévente nemzetközi énekversenyt szerveznek. Az Országos Színháztörténeti Múzeum és Intézet születése centenáriuma alkalmából idén több programmal és kiállítással tiszteleg emléke előtt. A Bajor Gizi Színészmúzeumban születésnapján nagyszabású időszaki tárlat nyílik, az évforduló alkalmából a Magyar Posta emlékbélyeget bocsátott ki.