Родился 28 января 1936 года в Нью-Йорке. Родился в семье Джоан Браун, обладательницы титула «Мисс Нью-Йорк», и Роберта Алда, известного актёра, снимавшегося в кино и игравшего в бродвейских мюзиклах. 

Впервые попал на сцену в 16 лет в летнем театре Бернсвилла (Пенсильвания). Образование получил в Фордхемском университете и во французской «Сорбонне». 

Актёрская карьера стартовала в 1950-х годах. Первой серьёзной работой была роль в мюзикле «Яблоня», которая принесла номинацию на премию «Тони» в категории «Лучший актёр мюзикла». 

С 1957 года Алда женат на фотографе Арлин (урождённой Вайсс). У них три дочери — Ева (род. 1958), Элизабет (род. 1960) и Беатрис (род. 1961), а также восемь внуков.