So zreteľom na polohu obce sa predpokladá, že jej územie bolo osidlené najmä v rímskej dobe, ked susedné Rusovce - antická Gerulata - boli významným článkom v komplexe pevností pohraničnej oblasti severných provincií Rímskej ríše. Zemepisnou polohou Jarovce spolu s Rusovcami a Čunovom nepatrili do Bratislavskej stolice, ale do Zadunajska, kde o vzniku uhorského kráľovstva mali dôležitú úlohu v obrane štátu.

Najstaršia písomná zmienka o obci je z roku 1208. V listine spomenutá dedina Ban sa nachádza v priestore dnešných Jaroviec, čo dokazujú aj posledné archeologické nálezy z miestneho cintorína. Zdá sa že obec Ban v 15 storočí zanikla, a to na následky veľkej morovej epidémie v západnom Zadunajsku v rokoch 1409 až 1410 a v dôsledku vyčerpávajúcich bojov medzi Matejom Korvínom a nemeckým cisárom Fridrichom III. práve v tomto priestore.

Dnešné Jarovce vznikli v prvej polovici 16. storočia. Obec založili chorváti aj ju nazvali Chorvatskou Vsou - Horváth falu. Osobitne sa vžilo nemecké pomenovanie Kroatisch Jahrendorf. pretože obec od svojho vzniku bola súčasťou Kopčianskeho panstva - Rakúsko.

Po prvej svetovej vojne, ked sa na Trianonskej konferencii upresnili hranice Československej republiky, Jarovce pripadli Madarsku. K Československu boli pripojené až 15. októbra 1947. V rokoch 1947 až 1950 administratívne patrili k miestnej správnej komisii v Rusovciach. Dňa 9. augusta 1950 zriadili v Jarovciach miestny národný výbor. Patrili do okresu Bratislava-vidiek. Od 1. januára 1972 sa stali súčasťou Bratislavy.

V Jarovciach aj dnes prekvitá poľnohospodárska výroba, a tak oživenie historického symbolu je pre obec priliehavé. Obnovený erb Jaroviec tvorí zelený štít, v ktorom je medzi dvoma zlatými klasmi strieborný lemeš.