A Bécs környéki Baumgartenben született hét gyermek közül másodikként egy cseh származású aranyműves családjában. A szegénysorban élő fiút tizennégy éves korában felvették a bécsi iparművészeti iskolába, a mai egyetem elődjébe, ahol 1883-ig tanult. Nem kérdőjelezte meg az akadémikus módszereket, szorgalmasan másolta a szobrokat, dísztárgyakat, különösen Hans Makart munkái kápráztatták el, aki akkoriban a császárváros kedvence volt dekoratív hatású, akadémikus festményeivel.

Az iskolába járt Klimt Ernst nevű öccse és ott lett barátjuk Franz Matsch, ők hárman együtt kezdtek dolgozni. Egyre több megbízást kaptak: 1879-ben részt vettek a Ferenc József trónra lépésének harmincadik évfordulóján rendezett ünnepség dekorációjának elkészítésében, majd a Karlovy Vary-i fürdőház, a rijekai színház, a bukaresti nemzeti színház és királyi palota belsejének megtervezésében, festményeik láthatók Erzsébet császárné nyári rezidenciájában, a Hermes-villában, részt vettek a bécsi Burgtheater lépcsői fölötti freskó készítésében. Klimt 1888-ban Arany Érdemrendet kapott, tiszteletbeli tagja lett a müncheni és a bécsi egyetemnek.

1892-ben meghalt apja és Ernst testvére. A tragédia hatására világlátása átalakult, művészete befelé forduló, mélyen individualista irányba mozdult. Kérdőjelek támadtak benne az akadémikus festészetet illetően, ami oda vezetett, hogy szakított Matsch-csal.

1894-ben megbízást kapott a bécsi egyetem dísztermének falfestményeire, az úgynevezett Fakultás-képei (Jogtudomány, Filozófia, Orvostudomány) azonban óriási botrányt kavartak, részben a rajtuk megjelenő meztelenség, részben homályos szimbolizmusuk miatt. A támadások hatására Klimt 1897-ben kilépett az akadémiai festők köréből, és megalapította a Vereinigung Bildender Künstler Österreichs Secession (röviden Szecesszió) nevű csoportot, amelynek elnöke lett. Célja az volt, hogy fiatal művészeknek biztosítson bemutatkozási lehetőséget, és hazájában népszerűsítse a külföldi festők műveit. (Az elutasított Filozófia egyébként az 1900-as párizsi világkiállításon aranyérmet nyert.) 1902-ben alkotta meg a Beethoven-frízt, amely az ember szenvedését és boldogságkeresését, a művészet általi megváltását ábrázolja. A 14. szecessziós kiállításra készült alkotást Klimt ideiglenesnek szánta, közvetlenül a falakra festette.

1903-as itáliai utazásától számítják legsikeresebb, "arany" korszakát, amely a festményein előszeretettel használt arany háttérről kapta a nevét, a bizáncira emlékeztető szimbolika is az akkor tanulmányozott velencei és ravennai mozaikok hatására utal. Számos portrét festett, talán leghíresebb képe, a Csók mellett több alkotásán ábrázolt női alakokat. Az erotika leplezetlen ábrázolásában Egon Schielét követte, de - vele ellentétben - a nőiesség minden formáját megörökítette, a várandósságot éppúgy, mint az idősebb asszonyokat és a testi szépség elvesztését, mindezt összekapcsolva a természettel, annak ciklikus változásával. A tájképek is átívelnek életművén, 1901 körül erdős ligeteket, párás vízfelületeket festett, 1905-től inkább a kertek foglalkoztatták.

1905-ben szakított a Secession csoporttal, de az irányzathoz hű maradt. Az egyre elismertebb mesternek 1910-ben a Velencei Biennálén, 1913-ban Münchenben, Budapesten és Mannheimben volt kiállítása, 1911-ben Élet és halál című képe díjat kapott a római világkiállításon. 1912-ben megválasztották az Osztrák Képzőművész Szövetség elnökének, 1917-ben a miniszter négyszer is elutasította kinevezését rendes tanárrá, ugyanakkor a Bécsi Képzőművészeti Akadémia tiszteletbeli tagjává választotta.

Bár Klimt visszavonultan élt, kerülte a társasági életet, a női nem nagy szerelmese volt, és ugyan soha nem nősült meg, de különböző partnereitől 14 gyereke született. Csaknem ugyanilyen szeretettel viseltetett a macskák iránt is, kertjében számos cica találta meg a földi Paradicsomot, közülük a Katze nevű kandúr Klimt műveinek születésénél is jelen lehetett. A kedves jószágok kvázi gyakorlati segítséget is nyújtottak a festőnek, aki a legenda szerint cicái vizeletével impregnálta vázlatrajzait.

1918 elején Klimt agyvérzést kapott, jobb oldala lebénult. Dolgozni már nem tudott, életkedvét elvesztette, s miután elkapta a spanyolnáthát, tüdőgyulladás következtében halt meg 1918. február 6-án.

Életét több filmen is feldolgozták. Szőts István 1969-ben dokumentumfilmet készített munkásságáról, Raoul Ruiz 2006-os Klimt című filmjében John Malkovich személyesítette meg.

Klimt arany díszítésű képeit a világ legdrágább festményei között jegyzik. Adele-Bloch Bauerről készült portréjáért 2006-ban 135 millió dollárt fizettek, ennyit korábban még soha nem adtak egyetlen festményért, 2017-ben Falusi kert című képe 48 millió fontért kelt el. Alkotásai népszerűségét jelzi, hogy dísztárgyakat és napi használati eszközöket is díszítenek képeivel.

2012-ben több nagyszabású kiállítás mellett a Bécs Múzeum 400 darabból álló Klimt-rajzgyűjteményt mutatott be, akkor adták át felújított műtermét Hietzingben. 2022 áprilisában, születésének 160. évfordulójára nyílt egyedülálló, multiszenzoriális élményt nyújtó kiállítás szintén Bécsben, a Marx csarnokban.