"to float" tradotto vuol dire "fluttuare" (oltre che in acqua anche in aria), quindi qualcosa che fluttua.. fluttuando per aria, sia a destra che a sinistra.. fluttua fuori dal contenitore
il clear evita proprio questo comportamento, che -non essendo per forza negativo come nel tuo caso- alle volte ovviamente può invece essere sfruttato appositamente.
L'altro div col contenuto della pagina, non fluttuando, forzava invece il contenitore.
Poi ocio, stiamo parlando del comportamento che dice w3c, e che si può riscontrare e abbiamo riscontrato -evidentemente un po' tutti- in Mozilla/Firefox..
mentre su IE la colonna fluttuante non usciva fuori neanche prima della modifica.
Riguardo il min-height.. sinceramente non ne immagino l'uso teso a risolvere questo caso ben preciso.
..visto soprattutto che l'altezza della colonna di sinistra dipende dal suo contenuto.. quindi come faccio a sapere quanti px (o altra misura) è alto? per settarla come min-height?
Personalmente risolverei col clear che ha come suo compito specifico proprio quello di controllare i floats.