Erkel József tanító és egyházi karnagy gyermekeként született a 19. század második évtizedének kezdetén, Gyulán. Nagyváradon és Pozsonyban tanult. Zenei tanítómestere a kiváló képzettségű pozsonyi muzsikus, Klein Henrik volt.

Alig múlt 17 éves, amikor házi zenetanárnak Kolozsvárra szerződik, ahol később kapcsolatba került Ruzitska Györggyel, Erdély korabeli zenei életének egyik meghatározó alakjával. Zenei pályája mint zongoraművész kezdődött, mindamellett már ekkor is vezényelt alkalmanként és a zeneszerzéssel is megpróbálkozott. 1834-ben mutatkozott be Pesten először, alig egy évvel később fel is költözik, és Pesten telepedik le.

Két éven át a Pesti Városi Német Színháznál, valamint a Budai Magyar Színjátszó Társaságnál vezényel karnagyként. 1837-ben a Nemzeti Színház elődjéhez, a Pesti Magyar Színházhoz szerződik, első karmesteri minőségben. Karmesterként itt mintegy három évtizeden át zenei vezető és a szellemi élet irányítója volt. Aktív kapcsolatba került a színházzal is, ami a zeneszerzői érdeklődését is a színpad felé irányította. 1840-ben mutatták be az első operáját a Bátori Máriát. A szövegkönyv szerzője már ekkor is az az Egressy Béni volt, aki egészen 1851-es haláláig hasznos segítőtársa volt Erkelnek az operaszerzői munkájában.

1844-ben mutatták be a Hunyadi László című történelmi operát, később megnyeri a Kölcsey Himnuszának megzenésítésére kihirdetett pályázatot is. Erkel Ferenc szerzeménye azóta is a Magyar Nemzet és a Magyar Köztársaság Himnusza. A szabadságharc után a főváros hangversenyéletének fellendítésén fáradozott, többek között az ő irányításával alakult meg 1853-ban a Filharmóniai Társaság.

Még az ötvenes években készül el a csak 1861-ben bemutatott operája, a Bánk Bán, amely az utolsó Egressy-szövegre írt operája Erkelnek. A Bánk Bán minden kétséget kizáróan Erkel pályájának csúcsát jelenti, ekkora sikert később egyetlen operája sem hozott számára, aminek oka részben az volt, hogy nem talált többé megfelelő szövegíró társszerzőre.

1868-ban az Országos Magyar Daláregyesület vezető karnagyává választotta, miközben aktívan szerepet vállalt a Zenepedagógia terén is, közreműködött például a Zeneakadémia 1875-ös megalakításában is. Az 1884-ben megnyílt Operaház tiszteletbeli főzeneigazgatóvá választotta. 1888-ban 50 éves működése alkalmából ünnepelte a főváros, majd 1890-ben nyolcvanadik születésnapján lépett utoljára pódiumra, a Filharmóniai Társaság hangversenyén.

Erkel nevéhez fűződik a magyar nemzeti opera, mint műfaj megteremtése. Nyugati operák mintáira támaszkodva, a 19. század magyar verbunkos zenéjének felhasználásával és újraértelmezésével sikerült viszonylag egységes nemzeti operanyelvet kialakítania. A zene mellett neves sakkozó volt, az 1864-ben alakult Pesti Sakk-kör előbb alelnöke, majd egy év múlva elnöke lett. Emlékére 1952-ben állami díjat alapítottak, mellyel minden évben a kiemelkedő magyar zeneműveket és zenetudományi munkákat jutalmazzák.