1899. július 17-én született New York leghírhedtebb kerületében, Yorkville-ben. Norvég származású apja csaposként kereste kenyerét, szabadidejében az amatőr bokszolásnak hódolt, Cagney vörös haját és kék szemét ír-amerikai anyjától örökölte. Nem sok választotta el attól, hogy egyetemi diplomát szerezzen, de apja halála miatt kénytelen volt abbahagyni a tanulást. Évekig keményen dolgozott, minden munkát elvállalt, hogy támogassa anyját és öt testvérét. A színjátszással való találkozása a véletlen műve volt: éppen egy áruházban dolgozott, amikor kollégája, aki látta őt táncolni, szólt neki, hogy táncos filmhez válogatnak szereplőket. Csak egyetlen sztepptáncot tudott, de ez pont elég volt ahhoz, hogy felvegyék a tánckarba.

Kisebb-nagyobb szerepek után 1931-ben írta be magát a filmtörténelembe A közellenség című filmjével, amely a gengszterműfaj alapműve lett. A siker a Warner Bros. stúdió felemelkedéséhez is hozzájárult, Cagney 1930 és 1941 között 38 Warner-moziban szerepelt, közülük a legtöbb ma már klasszikusnak számít. Ilyen az 1938-ban készült Mocskos arcú angyalok, amelyért a színész első Oscar-jelölését kapta, és 1939-ből Az alvilág alkonya, amelyben Humphrey Bogart volt a partnere.

A sors iróniája, hogy a "kemény fiú" szerepekre szakosodott Cagney Oscar-díját egy zenés-táncos szerepért, az 1942-ben forgatott Yankee Doodle Dandyben nyújtott alakításáért kapta. Az amerikai zenés komédia atyjának számító George M. Cohan énekes-táncos életéről készült, Kertész Mihály rendezte musicalben sziporkázott, megmutatta mindaddig kiaknázatlan tánctudásának legjavát. Kezében az aranyszoborral pályafutása csúcsára ért, elérte mindazt, amiről álmodott.

A Warner vezetőivel azonban többször összeveszett, majd kibékült, végül egy fizetésemelési vita után szakított velük, és beperelte őket. A pert végül megnyerte, addig színész még nem győzött jogvitában nagy stúdió ellen, majd újabb precedenst teremtve bátyjával saját vállalatot alapított, amely azonban nem váltotta be a hozzá fűzött reményeket. Mindössze három filmet készítettek. Cagney példáját később sokan követték a filmiparban.

1949-ben visszatért a Warner stúdióhoz, a Fehér izzás című filmben egy ördögien kegyetlen bandavezér bőrébe bújt, aki képtelen elszakadni anyjától, olykor túlzottan agresszív, máskor öngyilkossági hajlamokat mutat. Ha feldühítik, rohamot kap, az erőszakot üzletnek tekinti, mozdulatai alattomosak. 1955-ben kapta harmadik, egyben utolsó Oscar-jelölését a Szeress, vagy hagyj el című drámáért, amelyben Doris Day volt a partnere. 1957-ben, egyetlenegyszer átült a kamera másik oldalára, és megrendezte a Rövid úton a pokolba című filmet. 1961-ben az Egy, kettő, három című fergeteges vígjátékban Billy Wilder rendezte, ezután hosszú időre visszavonult.

A következő években számtalan kitüntetéssel ismerték el munkásságát, 1974-ben megkapta az Amerikai Filmintézet életműdíját is. Jó barátja, Milos Forman 1981-ben még utoljára visszacsábította a Ragtime című film kedvéért a filmstúdióba, de elhatalmasodó betegsége pontot tett pályafutására. James Cagney 1986. március 30-én halt meg New Yorkban.

A magánéletében a nyilvánosságot kerülő színész 1921-ben nősült meg, és Hollywoodban szokatlan módon haláláig kitartott felesége mellett. Orson Welles nyilatkozta egyszer róla: "Talán a legnagyobb színész, aki valaha is feltűnt a kamera előtt."