Pôvodom najstarší kostol v petržalskej oblasti stojí v kostolnej záhrade v blízkosti domu smútku v Jarovciach. V ústnom podaní obyvateľov obce sa tradujú dve rôzne verzie jeho založenia. Podľa prvej ho začali v roku 1765 stavať miestni obyvatelia. Dedina neskôr vyhorela a kým bola dostavaná strecha, základy kostola stáli sedem rokov pod holým nebom. Druhá verzia hovorí, že kostol dal postaviť vlastník tejto oblasti, gróf Mikuláš Eszterházy na podnet grófa Zichyho. Ten keď prechádzal dedinou, videl ľudí postávať pred malou kaplnkou na cintoríne. Od ľudí vyzvedel, že to je ich kostol. Gróf Zichy referoval s prekvapením túto skutočnosť grófovi Eszterházymu. Na tento podnet dal gróf Mikuláš Eszterházy postaviť nový kostol, ktorý dostal za patróna svätého Mikuláša. O tom, že na výstavbu kostola prispel i gróf Eszterházy, svedčí aj malá tabuľka s nápisom, zamurovaná na pravej strane hlavnej fasády podvežia. Avšak záznamy, ktoré by dokázali pravdivosť niektorého z týchto dvoch variantov, sa nenašli. Isté je, že tento neskorobarokový farský kostol pochádza z rokov 1763 - 1765.

Kostol bol pôvodne postavený bez veže, ktorú postavili až v roku 1884. Bohužiaľ, nevypínala sa ako výrazná dominanta príliš dlho. Pred koncom druhej svetovej vojny 3. apríla 1945 ju ustupujúce nemecké vojská vyhodili do povetria. Riadna rekonštrukcia kostola sa začala až v roku 1970. Dovtedy sa na ňom robili len drobné opravy. Jednou z najdôležitejších prác bola výstavba novej veže, ktorá trvala dva roky. Do nej potom umiestnili dva zvony (tzv. veľký a umieračik), ktoré sa tu nachádzajú dodnes. V rokoch 1972 - 1974 postavili v kostolnej záhrade dom smútku a drôtené oplotenie nahradil železný plot. Na pamiatku občanom Jaroviec, ktorí padli počas bojov v 1. a 2. svetovej vojne, bol pri Kostole sv. Mikuláša v roku 1992 vybudovaný pomník. Koncom deväťdesiatych rokov boli na kostole urobené posledné úpravy. Kostol slúži obyvateľom Jaroviec dodnes.