Η εν λόγω έκφραση γεννήθηκε κατά την περίοδο του μεσοπολέμου στην πόλη της Αθήνας.
Κατά την διάρκεια του μεσοπολέμου (η χρονική περίοδο μεταξύ 1ου και 2ου Παγκοσμίου πολέμου), το δημοτικό συμβούλιο της Αθήνας αποφάσισε να διακοσμήσει τους αεραγωγούς εξαερισμού που βρίσκονταν επάνω στην πλατεία της Ομόνοιας, γιατί θεωρούσαν ότι το θέαμα ήταν εντελώς αποκρουστικό για τη μεγαλύτερη πλατεία της πρωτεύουσας.
Αποφάσισαν να τοποθετήσουν τα αγάλματα των μουσών, ως φόρο τιμής στην αρχαία ελληνική ιστορία. Μόνο που η σκέψη τους παρουσίαζε ένα τρωτό σημείο: Οι μούσες ήταν εννιά, ενώ οι αεραγωγοί εξαερισμού μόνο οχτώ. Μην θέλοντας να βάλουν την περισσευούμενη μούσα σε κάποιο άλλο μέρος, τοποθέτησαν την 9η μούσα, την Καλλιόπη, στο υπόγειο, δίπλα από τις δημόσιες τουαλέτες. Όποτε κάποιος περαστικός ρωτούσε «Πού είναι οι δημόσιες τουαλέτες;» έπαιρνε συνήθως την απάντηση «Κάτω, στην Καλλιόπη». Έτσι, με τον καιρό η φράση αυτή απέκτησε μεταφορική σημασία και χρησιμοποιείται, κυρίως στο στρατό, μέχρι και σήμερα.
