Eines der auffälligsten Sichtmerkmale an der Alten Kanzlei ist sicherlich die dorische Säule an der Ecke zum damaligen Lustgarten und heutigem Schlossplatz, aus den Jahren 1598/1599 des Baumeisters Heinrich Schickhardt. Dieser hat rund 20 Jahre zuvor bereits in unmittelbarer Nachbarschaft den Fruchtkasten am Schillerplatz erbaut.
Das mit prächtigen Ornamenten verzierte Säulenkapitell stammt von Wendel Dietterlin, einem der bedeutendsten deutschen Bautheoretiker seiner Zeit. Ursprünglich diente die Säule als Wasserreservoir für das Alte Schloss. Den Sockel des Wasserturms bildet das Kosakenbrünnele.
Im 19. Jahrhundert hat die Säule ihre Funktion als Wasserkasten jedoch verloren. So kam es, dass 1862 der Hofbildhauer Ludwig von Hofer, welcher unter anderem an den Ornamenten der Glyptothek in München mitwirkte, den Auftrag zur Umgestaltung erhalten hat. Im Zuge dieser Umbauarbeiten hat die Säule eine goldene Figur, die des Götterboten Merkur, dem Gott des Handels, erhalten. Nach diesem ist nicht nur der Wochentag Mittwoch benannt, sondern auch eben jene Säule, welche seit 1862 als 'Merkursäule' in der Stadt bekannt ist. Als Vorbild diente von Hofer das Original des Giovanni di Bologna in Florenz.