Роберт Мардян родился 23 октября 1923 года в городе Пасадена, штата Калифорния, в семье Самюэля и Марии Мардянов, которым удалось спастись во время Геноцида армян в Турции 1915-1923 гг. Отец Роберта был видным представителем армянской аристократии в Адане, усилиями которого многие армянские семьи города сумели спастись. Самюэль Мардян был одним из немногих армян, сумевших в тот тяжелый период, стать видным политическим деятелем. Отец мечтал, чтобы его сыновья Роберт и Самюэль-младший также стали известными политиками, которые смогут внести свой вклад в деле защиты армянских интересов.
Роберт посещал одну из лучших школ Пасадены, после которой получил блестящие рекомендации для поступления в Колумбийский Университет. Роберт, однако, не стал поступать на факультет политических наук, в отличие от своего старшего брата. Он остановил выбор на юриспруденции. Вместе с тем, он был из той категории людей, что любят преодолевать самые сложные препятствия, именно поэтому Роберт параллельно посту