Deze straat is sterk gebogen, wat kan wijzen op een hoge ouderdom. Het zou zo kunnen zijn dat de straat vóórdat ze bebouwd werd, voor dieren een route naar een drinkplaats vormde. Al in 1567 staat de straat op een kaart van Lodovicio Guicciardini.

In de 16e eeuw heette deze straat nog de Bentyncksteghe, naar het aldaar gelegen 'Hof van Bentynck'. Dit pand werd door brand verwoest. De De familie Bentynck verhuisde na de brand naar de Bermhertigestege/ Boom-Steghe/Jodensteeg noordhoek Bakkerstraat. Deze steeg werd daarna Bentincksteeg genoemd.

Ook het 'Hof van Batenborch' van de bannerheer van Batenburg stond in de Bentycksteghe. Dat werd in 1651 door Johan Swaen gekocht. Daarna veranderde de naam van de straat in Swaenesteghe.
Het was in die tijd heel gewoon dat voorname bewoners hun naam verbonden aan de straat waar ze woonden.

In 1816 kocht advocaat J.M. de Kempenaar (1793-1870) het Hof van Batenborch waar hij woonde en zijn praktijk (sinds 1827) had. Daar vind je nu ook de kantstrook over De Kempenaar.

Behalve twee forse hoven was er het woonhuis van wethouder Jan Carel Verschoor met een grote stadstuin en theekoepel. Verder bestond de straat uit relatief kleine woonhuizen en werkplaatsen bewoond door een timmerman, koetsier, tuinman, dienstmaagden en een looier.

Beide hoven zijn geheel verdwenen.

In 1993 breidt warenhuis de Bijenkorf haar pand naar achteren uit. Daarbij gaat de hele westzijde van de Zwanenstraat verloren.
In het plaveisel van Zwanenstraat - hoek Eiland is in het plaveisel de voormalige rooilijn nog te zien.