Ekdals nya klubb såg ut att gå mot andra raka trepoängaren efter premiärförlusten mot Bayern München, men det mesta gick snett sista kvarten.
Lewis Holtby gav gästerna ledningen i början av den andra halvleken, men Philipp Hosiner kunde kvittera med kvarten kvar sedan han lämnats oattackerad i straffområdet.
Segermålet kom på en omdiskuterad straff fem minuter senare. Gästernas back Emir Spahic hade visserligen kontakt med händerna i ryggen på anfallaren Anthony Modeste, men hemmaanfalleren såg snarare ut att snubbla på bollen.
Domaren Deniz Ayetkin dömde straff och visade ut Spahic, och kraftiga protester från Ekdal & Co hjälpte inte.
Modeste tog själv straffen och satte den säkert i mål.
Nykomlingen Ingolstadt tog sin andra seger på tre matcher genom att besegra Augsburg på bortaplan med 1-0.