Az Arkansas állambeli Jonesboróban született, apja építőmunkás volt. Könyvelést tanult a Mississippi Egyetemen, ezután 1981-ben jogi diplomát szerzett és egy évtizeden át büntetőjogi és polgári perekben dolgozott ügyvédként. A politikába is belekóstolt, 1983 és 1990 között a Demokrata Párt színeiben Mississippi állam törvényhozásának képviselője volt.

Grisham 1984-ben a tárgyalóteremben tanúja volt egy nemi erőszak áldozatául esett 12 éves kislány megrázó vallomásának, s felmerült benne: mi történt volna, ha az apa megöli lánya támadóit. Ez lett első regénye témája. A Ha ölni kell című könyvet három év alatt írta reggelenként, mielőtt az irodába indult volna. Amikor 1987-ben pontot tett az utolsó mondat végére, kilincselni kezdett a kiadóknál, de sorra visszautasították. Végül két év után a Wynwood Press hajlandó volt megjelentetni a történetet, de óvatosságból csupán ötezer példányban. Grisham későbbi műveinek sikere után az érdeklődés első könyve iránt is megnőtt, s 1996-ban meg is filmesítették.

Következő kötete, A cég című thriller 1991 legnagyobb példányszámban eladott könyvsikere lett. A filmjogokat a Paramount stúdió 600 ezer dollárért vette meg, a Tom Cruise, Jeanne Tripplehorn és Gene Hackman főszereplésével, Sydney Pollack rendezésében készült filmváltozat 1993-ban került a mozikba. Grisham egy csapásra keresett íróvá vált, feladta ügyvédi praxisát, a tárgyalóterembe azóta csak egyszer, 1996-ban tért vissza. Írói karrierje kezdetén ugyanis ígéretet tett egy vonatbalesetben meghalt férfi családjának, hogy képviselni fogja ügyüket. A pert megnyerte, a bíróság több mint félmillió dollár kártérítést ítélt meg az elhunyt családjának - ez volt Grisham jogi karrierjének legnagyobb diadala.

Az író minden évben újabb könyvvel állt elő, s ezek rendre előkelő helyen szerepeltek az eladási toplistákon. A Publishers Weekly című kiadói szaklap szerint ő volt a kilencvenes évek legsikeresebb írója. Az 1992-es A Pelikán ügyirat csak az Egyesült Államokban 11 millió példányban kelt el, ezzel az évtized legkeresettebb könyvének bizonyult. A rajongók világszerte eddig 275 millió Grisham-könyvet vásároltak meg, műveit 40 nyelvre fordították le. Hollywoodban a legmegbízhatóbb sikergyáros írók között tartják számon, kilenc regényéből forgattak filmet, ezek összesen 664 millió dolláros bevételt termeltek a stúdióknak. Az ügyfél Joel Schumacher, Az esőcsináló Francis Ford Coppola, a Démoni csapda Robert Altman rendezésében került a filmvászonra. Legújabb regénye, a Grey Mountain tavaly jelent meg.

Grisham életében fontos szerepet kap a karitatív tevékenység. Részt vett a New Orleansban súlyos károkat okozó, 2005-ös Katrina hurrikán áldozatainak megsegítésére létrehozott alapítvány megszervezésében, amely közel 9 millió dollárt gyűjtött az áldozatok és családjaik megsegítésére. Az író családjával a Mississippi állambeli Oxford közelében fekvő farmján és a virginiai Charlottesville-ben lévő birtokán megosztva tölti idejét. Kedvenc hobbija a baseball, birtokán hat pályát építtetett, amelyen 26 junior csapatnak, összesen 350 gyereknek biztosít játéklehetőséget.