Scott McTominay öppnade målskyttet i den första halvleken när Diogo Dalot hittade in med ett lurigt inspel som skotten var först på.
Strax innan paus dubblades ledningen efter nick av Harry Maguire, och efter en timme såg Manchester United ut att säkra finalplatsen när Bruno Fernandes trippade runt i straffområdet innan han skickade in 3-0 med en markboll.
Men Coventry skulle göra match av det.
I den 73:e minuten tappade United bort sig helt i försvaret och lämnade Ellis Simms helt ren med bollen framför mål och 1-3 var ett faktum.
Sex minuter senare gjorde Callum O’Hare 2-3 efter att hans skott styrts in via Aaron Wan-Bissaka, som var olyckligt när han försökte täcka undan.
Och på stopptid kom reduceringen efter att Wan-Bissaka varit olycklig igen och svarat för en hands.
Haji Wright var säkerheten själv från elva meter och tvingade fram en förlängning med sitt 3-3-mål.
Förlängningen slutade mållös efter att Coventry fått ett mål bortdömt för offside med en hårsmåns marginal i slutminuten.
Matchen avgjordes efter straffar, där United drog det längsta strået efter att hemmalagets Ben Scheaf skickat sin straff högt över ribban.
Nu kan de med andan i halsen se fram emot finalen där de kommer att ställas mot stadsrivalen Manchester City.
- Vi hittade en väg att vinna, säger Harry Maguire till ITV.
- Det här summerar vår säsong, vi hade bra kontroll och spelade bra i 60 minuter och sedan börjar vi släppa in mål från ingenting.
- Sedan vet jag inte vad som hände, det kändes som att hela världen ville att Coventry skulle vinna. Vi visade prov på god karaktär och det var viktigt att vinna straffläggningen.
Coventrys manager: Mark Robins:
- Att komma tillbaka från 0-3 är otroligt. Vi spelade högkvalitativ fotboll. Vi är väldigt besvikna. Vi hade en i ribban och ett mål bortdömt. Det var en svår match. Men jag kunde inte vara stoltare över killarna. De gjorde det fantastiskt bra. Jag tror att de har gjort hela Coventry stolta.
FA-cupfinalen spelas den 25 maj på Wembley.