Diese Redewendung geht laut Duden auf ein altes Berliner Volkslied zurück. Das genaue Lied nennt das Wörterbuch nicht, gemeint ist aber wohl „Bolle reiste jüngst zu Pfingsten“, ein Lied über einen unbeschwerten und vergnügten Berliner um 1900. Der typische Berliner Spitzname Bolle steht dabei für den Prototyp eines amüsierfreudigen Mannes.
In dem Lied unternimmt Bolle einen Ausflug nach Pankow und gerät in Schwierigkeiten: Unterwegs verliert er sein Kind im Gedränge, bekommt nichts zu essen und wird bei einer Schlägerei verletzt. Trotz des Ärgers endet fast jede Strophe mit den wiederkehrenden Zeilen „aber dennoch hat sich Bolle janz köstlich amüsiert“.
Die Verbindung zum bekannten Berliner Milchgroßhändler Carl Bolle, der seit Ende des 19. Jahrhunderts seine Milchprodukte in Pferdefuhrwerken, den sogenannten Bolle-Wagen, verkaufen ließ, könnte dem Duden zufolge erst später hinzugekommen sein.
Neben der kurzen Variante „sich wie Bolle freuen“ gibt es auch die längere Form „sich wie Bolle auf dem Milchwagen freuen“ – beides für sich vortrefflich amüsieren.