Ursprünglich handelte es sich beim 1. FC 08 Walldorf um eine Abteilung der SG Walldorf Astoria. Erst im Jahr 1952 löste sich die Fußballabteilung vom Gesamtverein und gründete den 1. FC 08. Nur eine kleine Minderheit spielte nach wie vor innerhalb des SG Walldorf Astoria Fußball und startete ab 1953 in der B-Klasse. Der 1. FC Walldorf übernahm in der Saison 1951/53 hingegen die frühere Spielklasse des alten Vereins in der 2. Amateurliga Rhein Neckar.
Nach einiger Zeit schloss sich auch die Tischtennisabteilung dem neuen Verein an, da viele Fußballer ebenfalls aktive Tischtennisspieler waren. Im Jahr 1975 wurde somit der TTG 47 Walldorf gegründet. Zwischen den Jahren 1982 bis 1993 spielte der 1. FC Walldorf elf Jahre in der Verbandsliga Nordbaden. Am Ende der Spielzeit 1993 musste der Verein jedoch absteigen und bereits am Ende der Saison wartete ein weiterer Abstieg auf den 1. FC 08. In der Saison 1994/95 musste der Verein in der Bezirksliga Heidelberg antreten. In der Bezirksliga traf man auf den früheren Kernverein der SG Astoria.
Daraufhin ergriff die SG Astoria die Initiative zur Wiedervereinigung der Walldorfer Fußballer. Bereits in der Winterpause 1994/95 fanden erste Gespräche zur Wiedervereinigung statt. Noch in den ersten paar Monaten des Jahres 1995 fusionierte der 1. FC 08 Walldorf mit der SG Walldorf Astoria 02 unter dem Namen FC Astoria Walldorf. Das Ziel der Fusion war, den höherklassigen Fußball gemeinsam etablieren zu können. Dem FC Astoria Walldorf standen zu Beginn einige schwierige Jahre bevor, mittlerweile scheint es, als ob der Verein sich etablieren konnte.
Ab 2001 spielte der Verein in der Verbandsliga Nordbaden und gewann 2006 die Meisterschaft. In der Spielzeit 2006/07 konnte der FC Astoria Walldorf die Verbandsliga Nordbaden Meisterschaft gewinnen und stieg in die Baden-Württemberger Oberliga auf. Seither spielt der FC Astoria Walldorf in der Oberliga und konnte jede Saison einen einstelligen Tabellenplatz besetzen.
Die Heimspiele trägt der FC Astoria Walldorf im FC Astoria Stadion. Das reine Fußballstadion wurde erst im Jahr 2006 fertiggestellt. Im Jahr 2008 wurden neue Umkleideräume und eine neue Tribüne mit VIP Logen in Betrieb genommen. Darüber hinaus stehen dem Verein im städtischen Sportzentrum Kunstrasenplätze, ein Naturrasenplatz und das Waldstadion zur Verfügung.
Während der Fußball WM 2006 in Deutschland wurde das Sportzentrum zur Trainingsstätte der in Walldorf untergebrachten Mannschaft aus Costa Rica. Die Mannschaft vom FC Astoria Walldorf nutzte die Chance für ein Freundschaftsspiel gegen Costa Rica. Auch zur Vorbereitung auf die WM 2010 wurde das Astoria Sportzentrum genutzt: dieses Mal gastierte die Nationalmannschaft aus Honduras in Walldorf und spielte ebenfalls ein Freundschaftsspiel gegen den FC.
