L’origine de la fabrication demeure encore un mystère ou fait l’objet de nombreuses légendes. Si pour certains[Qui ?], son origine est milanaise vers le XVe siècle, il semble qu’une pâtisserie analogue, le « nadalin » connue dès le XIIIe siècle à Vérone, en Vénétie, et ramenée par des pâtissiers vénitiens au service de la cour royale des Habsbourg à Vienne soit l’origine la plus probable du « Pandoro » et du panettone. La frontière entre la Vénétie et le duché de Milan n’était qu’à une vingtaine de kilomètres du château des Sforza.
 Selon l’une des légendes, le gâteau aurait été servi à la cour du duc de Milan, Ludovico le More Sforza (1452-1508), au moment de Noël. Le chef cuisinier, se trouvant à court de dessert, aurait servi la brioche préparée par un simple marmiton, Toni. Le gâteau ayant plu à la cour, le chef rendit tout le mérite de la découverte à son aide qui donna son nom à la brioche : le Pan del Ton (le pain de Toni).