Nadat hij met zijn vader en broer Johnny naar een Elvis-concert was geweest was het hem duidelijk dat hij muzikant wilde worden. Zijn eerste instrument was de drums, gevolgt door de piano die hij later gebruikte om te componeren. Op 14-jarige leeftijd speelde hij voor het eerst in een band genaamd Patch Of Blue, en toen hij 15 was vormde hij zijn eerste band, Denny & The Triumphs. Omdat hij weigerde zijn haar te laten knippen werd hij van school gestuurd.
Tommy Bolin verhuisde naar Denver en speelde kort bij de band American Standard. Eind 1968, hij was nog geen 18 jaar oud, richtte hij de band Ethereal Zephyr op, die zich later gewoon Zephyr noemde. Ze bracht haar eerste LP Zephyr uit in 1970. Een jaar later werd het tweede album, Going Back To Colorado, uitgebracht.
Het volgende en belangrijkste station in Bolins carrière was de band van Billy Cobham. Op zijn LP Spectrum uit 1973 speelde hij gitaar op acht jazzrocknummers. Bijna tegelijkertijd werd in 1973 ook de LP Bang van de James Gang uitgebracht. Daar begon hij als vervanger van Domenic Troiano.
Nadat hij de James Gang had verlaten, besloot hij zijn carrière als soloartiest voort te zetten.
In 1975 verliet Ritchie Blackmore uit Deep Purple. David Coverdale stelde Bolin voor als zijn opvolger en nodigde hem uit om auditie te doen.
In november 1975 kwam Deep Purple's album Come Taste the Band uit, waarop hij op acht nummers speelde. Come Taste The Band verkocht en werd goed ontvangen. Op 15 maart 1976, na 52 optredens als leadgitarist en een studio-LP, kwam er een einde aan het Deep Purple-tijdperk voor Bolin.
In september 1976 werd Tommy Bolins laatste plaat tijdens zijn leven uitgebracht: Private Eyes; hij stierf slechts een paar weken later, op 4 december 1976. De avond ervoor speelde de "Tommy Bolin Band" als openingsact voor Jeff Beck in Miami. Na de voorstelling viel Tommy Bolin flauw in het hotel en ging naar bed. De volgende dag vond zijn vriendin hem in een zeer zwakke toestand en belde een dokter. Voordat dat gebeurde, stierf Tommy Bolin aan een aan alcohol gerelateerde overdosis heroïne.
Tommy Bolin was pas 25 jaar oud, hij werkte ongeveer acht jaar in de muziekbusiness. Zijn nalatenschap wordt nu beheerd door zijn broer Johnny, die in 1996 het label The Tommy Bolin Archives oprichtte.