Stern groeide op in Washington, D.C., hij studeerde aan het Berklee College of Music in Boston. Op zijn tweeëntwintigste werd hij lid van Blood, Sweat & Tears gedurende 3 jaar, hij is te horen de albums More Than Ever en Brand New Day.
In 1979 trad hij toe tot de fusionband van Billy Cobham. Twee jaar later voegde hij zich bij Miles Davis en maakte zijn publieke debuut in 1981, een optreden dat werd opgenomen op het album We Want Miles. Hij bleef bij Davis tot 1983 totdat hij werd vervangen door gitarist John Scofield. Stern was destijds een zware drinker en heroïnegebruiker.
Stern's solodebuut, Upside Downside, met Jaco Pastorius, David Sanborn en Bob Berg, werd in 1986 uitgebracht op Atlantic Records. Van 1986 tot 1988 was hij lid van het kwintet van Michael Brecker en verscheen hij op Don't Try This at Home.
Hij won de Orville W. Gibson Award voor beste jazzgitarist.
In augustus 2009 bracht Stern Big Neighborhood uit, dat werd genomineerd voor een Grammy Award voor Best Contemporary Jazz Album.
Op 21 januari 2012 ontving hij de Guitar Player magazine's Certified Legend Award. Deze werd hem uitgereikt tijdens de Muriel Anderson All-Star Guitar night, waar hij optrad met Lee Ritenour.