Szöllősi az Újpesti Dózsa sportolójaként 1959-ben, mindössze 18 évesen aranyérmes lett K-1 1000 méteren, valamint Petróczy Jánossal párban 10 000 méteren a duisburgi Európa-bajnokságon. Egy évvel később pedig a római olimpián a dán Erik Hansen mögött és a kajakkirály Gert Fredriksson előtt második lett K-1 1000 méteren, valamint a váltó tagjaként is ezüstérmet nyert.

Négy évvel később Tokióban egy hosszú kihagyás után nem állhatott dobogóra, 1968-ban Mexikóban azonban a négyes tagjaként bronzéremmel gazdagodott.

Szöllősi Imre visszavonulása után edzőként is tevékenykedett.