1842. január 20-án született Pesten egy gazdag felvidéki földbirtokos család egyetlen gyermekeként. A tehetséges, zenei és műszaki érzékkel, jó kézügyességgel megáldott fiú magánúton végezte középfokú tanulmányait. Szülei közigazgatási pályára szánták, 1857-től (érettségi hiányában rendkívüli hallgatóként) a pesti egyetemen tanult, a jogtudomány mellett a kémia, az ásványtan és a fizika (ez utóbbi Jedlik Ányos előadásában) kötötték le a figyelmét. 1860-tól Berlinben neves természettudósok, köztük a kitűnő csillagász, Johann Franz Encke óráit látogatta. 1862-ben jogi diplomával a zsebében nyugat-európai körúton tanulmányozta a neves obszervatóriumokat és az optikai műszereket készítő műhelyeket. Érdeklődésből hajógépészi, hajóskapitányi és mozdonyvezetői képesítést is szerzett.

Szülei kívánságára 1867-ben Komárom megye aljegyzője lett, de a hivataltól hamar megvált, idejét és vagyonát inkább a csillagok tanulmányozásának szentelte. 1869-ben a Komáromhoz közeli ógyallai (ma: Hurbanovo, Szlovákia) birtokán lelkes magánemberként kezdte el építeni csillagdáját. A külföldi műhelyekből hozatott műszereket ő maga is tökéletesítette, később már szinte csak az optikai alkatrészeket vásárolta külföldön, a távcsövek mechanikáját saját műhelyében készítette el. A fényképezés csillagászati alkalmazásában is jelentős eredményeket ért el. Magáncsillagdáját kitartó munkával és tudós munkatársak (köztük Kövesligethy Radó) bevonásával nemzetközi hírű obszervatóriummá fejlesztette.

1871-ben megkezdett tudományos megfigyelései során a fizikai csillagászat (asztrofizika) területén ért el fontos eredményeket. A napészlelés mellett a bolygók rendszeres megfigyelésével, a csillagszínképek tanulmányozásával és katalogizálásával, valamint az üstökösszínképek vizsgálatával foglalkozott. Az elsők között sikerült megfigyelnie több meteor színképét. 1875-ben a meteorrajok észlelésére egy évtizeden át működő országos meteorhálózatot szervezett. Az elsők között készített üstökösspektrumot, többek között magáról a Halley-üstökösről is, vizsgálata a spektrum fő vonásaira és változásaikra egyaránt kiterjedt. Megfigyeléseiről folyamatosan beszámolt akadémiai értekezéseiben, majd az 1879-1894 között saját kiadásában, 16 kötetben megjelentetett német (később kétnyelvű) Beobachtungen angestelt am Astrophysikalischen Observatorium in OGyalla in Ungarn című kiadványában. Ez utóbbi és más csillagászati publikációi az egész világon ismertté tették obszervatóriumának működését. Lelkesedése másokat is az égbolt megfigyelésére ösztönzött, közreműködésével több új hazai csillagvizsgáló létesült.

Amatőrként került kapcsolatba a meteorológiával is. Ógyallai birtokán már 1867-ben felszereltetett egy meteorológiai észlelőállomást, ahol helyet biztosított a jó barátja, Schenzl Guidó által megalapított Magyar Királyi Országos Meteorológiai és Földmágnességi Központi Intézet földmágnességi méréseket végző műszereinek is. A Schenzl halála után háttérbe szoruló meteorológiai kutatásokat az akadémia 1890-ben a kiváló és állhatatos szervezőként ismert Konkoly kinevezésével kívánta fellendíteni, és ő beváltotta a hozzá fűzött reményeket. A meteorológiát nagy mezőgazdasági jelentőségére hivatkozva - nem kevés politikai érzékkel - a mezőgazdasági minisztériumhoz helyeztette át, az intézethez csatoltatta a vízügyi szolgálat csapadékmérő állomásait, 1891-ben megindította az időjárás-előrejelző szolgálatot, és térképes napi időjárás-jelentéseket adatott ki. Intézkedéseivel a korábban szerény gazdálkodású intézet költségvetési támogatását tizenötszörösére növelte. Ógyallán helyet adott a megépítendő nagy meteorológiai és szeizmológiai obszervatóriumnak. Huszonegy év után, 1911-ben vonult nyugdíjba, ekkorra készült el az intézet új budapesti székháza, amely ma is az Országos Meteorológiai Szolgálat központja.

A lelkes tudóst az MTA 1876-ban levelező, 1884-ben tiszteleti tagjává választotta, több külföldi társaság (1881-ben a londoni Royal Astronomical Society) is tagsággal ismerte el. 1887-ben I. Ferenc József a III. osztályú osztrák császári Vaskorona-renddel tüntette ki, megkapta a Mária Terézia-aranyérmet, 1913-ban a Ferenc József Rend középkeresztje a csillaggal fokozatát.

A politikai életbe 1896-ban Tata országgyűlési képviselőjeként tért vissza, sikerült elérnie, hogy jól felszerelt ógyallai csillagvizsgálóját a magyar állam vegye át. Az 1899. május 16-án kelt ajándékozási szerződés értelmében jött létre az ógyallai Magyar Királyi Konkoly-alapítványú Astrophysikai Observatorium, a magyar tudománytörténet első állami kézben lévő csillagászati intézete, az MTA Konkoly-Thege Miklós Csillagászati Intézetének jogelődje. 1969-től az ógyallai csillagvizsgálóban működik a szlovákiai csillagvizsgálók módszertani központja.

Az obszervatórium alapítója 1916. február 17-én, hetvennégy éves korában Budapesten hunyt el. Emlékét a Konkolya nevű kisbolygó is őrzi.