Le site de la commune de Sainte-Gemmes-sur-Loire fut occupé sans doute avant le néolithique. Les Andecaves s'y installèrent, puis les Romains, lors de la conquête de la Gaule en 57 avant J.-C. De nombreux restes archéologiques attestent d'une importante présence romaine jusqu'au IVe siècle.
Après la disparition de la civilisation gallo-romaine, sous la poussée des Francs, des Bretons et des Normands, " Sancte Gemme " est attestée à partir de 1009. La paroisse existe dès le XIIe siècle. De cette époque date le choeur (encore visible) de l'église. La terre de Sainte-Gemmes constitue une châtellenie dès le XVe siècle : le seigneur de Sainte-Gemmes est alors le vassal direct du roi de France. En 1646, la châtellenie est érigée en baronnie, et acquise par le sieur de Lusigny, qui fait construire en 1701 le château qu'on peut encore voir, entouré de son parc, en bordure de Loire.
Sainte-Gemmes semble avoir traversé tranquillement les différents changements politiques du XIXe siècle. La commune évolue lentement, et reste avant tout rurale. Son économie est stimulée par l'établissement de nouvelles voies de communications : levée de l'Authion, pont routier sur la Maine, voie ferrée Nantes-Orléans, voie d'intérêt local Angers-Candé avec la gare de la Croix-Verte. En 1844 est créé l'asile psychiatrique départemental, véritable ville dans la ville, dont la présence pèsera lourdement dans l'histoire de la commune.
À la fin de la Seconde Guerre mondiale, la commune joue un rôle important dans la libération d'Angers : les Américains, arrivés par le pont de Pruniers, s'y heurtent à une résistance acharnée des Allemands. Des combats très violents voient la mort de 108 soldats américains, et de trois ou quatre fois plus de soldats allemands.
Après guerre, la commune se modernise et évolue rapidement pour devenir, au début du XXIe siècle, une des toutes premières communes horticoles de France.