De Historische Vereniging Zwijndrecht (HVZ) werd op 15 juni 1982 opgericht. In het boek Zwijndrechtse Wetenswaardigheden III (te koop in De Vergulde Swaen), uitgegeven ter gelegenheid van het 25-jarig bestaan van de HVZ, beschrijft Kees Popijus ook de aanloop naar de oprichtingsvergadering. Als commissie (ad hoc) van de Raad voor Cultuur en Recreatie, organiseert de werkgroep "Oud Zwijndrecht" op 17 november 1981 een bijeenkomst om te onderzoeken of er voldoende draagvlak is om tot oprichting van een historische verenging te komen. Na een tweede bijeenkomst in februari 1982 vindt de feitelijke oprichting van de Historische Vereniging Zwijndrecht plaats op 15 juni 1982. Op de oprichtingsvergadering in 1982 melden zich 26 personen als lid, aan het einde van dat jaar zijn dit er reeds 38. Op de algemene ledenvergaderingen van 1984 en 1985 worden respectievelijk ledenaantallen van 115 en 160 gerapporteerd. 

Nadat de vereniging in de eerste decennia na de oprichting en 'zwervend bestaan' leidt, wordt in 2001 een eigen onderkomen gevonden in het pand De Vergulde Swaen aan de Rotterdamseweg 53-55, 3332AC Zwijndrecht. Het pand wordt door de gelijknamige stichting gehuurd van Woonkracht10 en de Stichting De Vergulde Swaen stelt dit vervolgens ter beschikking aan de HVZ. Deze ontwikkeling heeft een gunstige invloed op het ledenaantal: op de ALV van 2003 wordt het 500e lid gehuldigd! Na een piek van bijna 700 leden in 2017, is tijdens en na de coronatijd het ledenaantal gedaald naar 550 leden. In de aankomende jaren hoopt het huidige bestuur de weg omhoog te vinden.