Vinstmålet slogs in redan efter 19 minuter och sedan kostade mästarna på sig att missa en straff strax före halvtid.
- Målet var ett perfekt fotbollsmål och det var perfekt att vinna. Vi är överlyckliga över att ha tagit poäng, menar Coyle.
Robbie Blake var hjälte i Burnley, säkert i stor del av övriga England, när dundrade in matchens enda mål på volley.
Gästerna hade annars chansen att ta ledningen redan efter två minuter genom Michael Owen.
Gästernas straff sköts av Michael Carrick inte bättre än att Brian Johson kunde rädda till 1-0 i halvtid. Ett resultat som stod sig matchen ut.
Burnleys säsongsöppning är tuff. Efter dagens match möter de Everton, Chelsea och Liverpool.
- Jag tror att vem som helst som tittade på vårt matchprogram skulle tro att Burnley skulle ha noll poäng efter fem matcher, säger Coyle.
Tottenham och Chelsea toppar nu tabellen på sex poäng.
Förlusten betyder att titelkonkurrenterna kunde vinna viktig mark mot United.
Följ matchen med Fotbollskanalen LIVE