Der Palast und der Turm wurden von dem Grafen Biserno, Feudalherren des nach dem Familiennamen genannten Schlosses in der Nähe von San Vincenzo, gebaut. Nachdem Massa Marittima nicht mehr eine freie Stadt war, zogen die Grafen aus und die Bischöfe ein, da sie ihr Schloss in Monteregio (1336) zugunsten der Sieneser aufgeben mussten. Die Bischöfe blieben bis 1603 in dem Palast, als sie in den Opera San Cerbone einzogen, neben dem Dom, wo sie heutzutage noch wohnen. Neben dem Palast, aber durch eine kleine Spalte von diesem getrennt, wurde der Turm errichtet, der später von der Comune abgekauft wurde. Schon im Jahr 1300 war ein Teil Besitz der Comune.
