Известно, что Берже родился на острове Олерона, Франция, в 1930 году. В 18-летнем возрасте переехал в Париж, и очень мечтал стать журналистом или писателем, но в итоге почти вся жизнь знаменитости была занята модой.

В 1958 году он познакомился с Ивом Сен-Лораном, и почти восемь лет длился их роман. В итоге в 1961 году они вместе открыли бренд Yves Saint Laurent. До 2002 года Берже занимал должность гендиректора.

Тем временем Ив Сен-Лоран скончался в 2008 году в 71 год.