1903. október 1-jén született Ukrajnában, egyes források szerint Kijevben, mások szerint Bergyicsevben. Tehetségét zongorista anyja fedezte fel, tőle kapta az első zenei leckéket, s kilencévesen már a kijevi konzervatórium hallgatója volt. Az 1917-es forradalom után koncertekkel támogatta elszegényedett családját, honoráriumát ruhaneműben és élelmiszerben kapta.
Külföldön először 1926 januárjában, Berlinben lépett fel, majd két évvel később New Yorkban is Csajkovszkij I. (b-moll) zongoraversenyét játszotta. Előadását improvizációval színezte, valóban versenyzett a zenekarral, egyre gyorsabb és hangosabb játékába olyan hangokat is beleszőtt, amelyek a kottában nem szerepeltek. Előadóművészi palettája idővel tovább szélesedett, klasszikus darabokat modern átiratban játszott, s kortárs darabokat is műsorra vett.
1928-ban hagyta el a Szovjetuniót, egy ideig Berlinben, majd Párizsban élt, 1940-ben az Egyesült Államokban telepedett le, ahol négy évvel később megkapta az állampolgárságot. 1931-ben Hoover elnöknek adott koncertet a Fehér Házban, leendő felesége, Arturo Toscanini Wanda nevű lánya a legenda szerint egy Chopin-mazurka előadása közben szeretett bele. 1933-ban kötött viharos házasságuk legnehezebb szakasza az a 12 év volt, amikor Horowitz (pályafutása alatt nem először és nem is utoljára, de ekkor a leghosszabb ideig) nem ült le hangszeréhez. 1953 és 1965 között csak lemezfelvételeket készített, pihent, olvasott, kottákat tanulmányozott. A családtagjairól néha meglehetősen furcsán nyilatkozó Wanda később kijelentette: apja neurotikussá, férje pedig őrültté tette.
Horowitz 1975-től orvosi utasításra idegnyugtatókat szedett, amik kisebb memóriazavarok árán kigyógyították depressziójából. 1986-ban, csaknem hatvan év után óriási sikerrel tért vissza a Szovjetunióba, moszkvai és leningrádi fellépéseinek politikai jelentősége is lett.
A koncertek egy új lemezszerződést is eredményeztek, amely lehetővé tette számára, hogy otthonában, kedvenc zongoráján készíthesse felvételeit. Utolsó nyilvános koncertjét 1987-ben Hamburgban adta. 1989. november 5-én halt meg New Yorkban, s Milánóban, a Toscanini-kápolnában egyetlen lánya mellé temették.
Horowitz szokatlanul egyenes, majdnem a billentyűkre fektetett kéztartással játszott, legendás volt dinamikus billentése, drámai átélő képessége, briliáns technikája. A kritika legtöbbre Schumann-, Chopin-, Liszt-, Csajkovszkij- és Rahmanyinov-interpretációit tartotta. Pályafutása alatt mintegy 150 hanglemez készült vele, ezeket több Grammy-díjjal jutalmazták, ő maga megkapta az amerikai Szabadság Érdemérmet, a francia Becsületrendet, és zongoraversenyt is neveztek el róla.