1929年，安思远出生在纽约曼哈顿的一个望族，本名罗伯特·哈特菲尔德·埃斯沃尔斯。他的祖辈曾为美国康涅狄格州议员，其父为纽约著名的牙科医生，是根管治疗术的发明人，其母为优秀的歌剧演员。在衣食无忧的环境中，他对艺术充满了兴趣。4岁那年，安思远的父母离异，自此他便常常在父亲的牙科诊所度过周末，与父亲一起制作陶瓷嵌体和牙套，这对他日后修复东方的铜器和陶瓷是极佳的早期训练，他在五大道的22间公寓中就有一间用作他的修复室。
　　安思远和中国艺术品的结缘早在他幼时就开始了。据罗拉介绍，在安思远4岁的时候就收集了第一张中国邮票，他觉得这张邮票非常漂亮，具有浓郁的异域风情，而且价格很便宜。“在安思远小的时候，他的妈妈就非常了解他的喜好，如果在家里找不到他时，他妈妈知道一定会在家附近的垃圾桶那边找到他。因为安思远会在垃圾桶里翻检，查看里面有没有什么好玩的东西。他对这些东西的兴趣流淌在他的血液里。”
　　14岁那年，安思远离开学校，帮他母亲的一位为“中国战争救济基金会”募集资金的朋友跑腿，自此迷上了中国艺术，并显露出早熟的经营头脑。未及高中毕业，安思远便辗转于纽约的旧货店，凭借与生俱来的天分选购包括中国艺术品在内的古玩，然后转手给古玩商店，以此获利。在他19岁时就已经成功地把自己收集的鼻烟壶卖给了博物馆。
　　之后他进入欧洲富兰克林专业美术学院学习建筑，但是相较于钢筋混凝土的沉稳，年轻的安思远显然更钟情架上艺术的灵动。他常常缺席学校的专业课程，自己研习绘画。
　　1948年，安思远迎来了他职业生涯的第一位贵人—古董商爱丽丝·庞耐，她是与卢芹斋、戴润斋等人齐名的纽约重量级古董商。安思远得以在庞耐的画廊工作并得到其赏识，使其有机会了解中国的陶瓷、家具和绘画，为他之后走上中国文物的收藏之路奠定了基础。庞耐经常身着丝质睡袍、佩戴古董玉器珠宝于公园大道的公寓中笑迎宾客，后来这一习惯也被安思远自己习得。
　　1949年，安思远进入耶鲁大学学习汉语，结识了良师王方宇。王方宇在耶鲁大学开设了最早的汉语学习班，他在指导安思远研究中国晚清书画时，发现他在课堂上总是一副思绪跑得很远的样子，于是给他取了一个中文名字：安思远，安取自Ellsworth首字母发音的谐音，思远—想得很远。
　　1950年安思远应征入伍在夏威夷服役，几年后他退伍回到了纽约。1960年，安思远和古董商詹姆斯·高德合伙在纽约开了一家“安思远高德画廊”，经营英国家具、工艺品以及亚洲艺术，自此开始了波澜壮阔的亚洲艺术品交易与收藏之旅。
　　当高德于1970年退休之后，安思远将生意迁至纽约东区64街一幢颇具历史感的联排式住宅独自挑起经营，直到他购入第五大道的公寓，并将其打造成为兼具展示及居住功能的新家。
　　作为独立古董商，安思远的事业与中西关系发展进程的大背景紧密相连，并随着双边贸易的增长而起飞。他在近30年间频繁到访香港，并在九龙拥有公寓;同时，他对有机会进一步接触并发掘中国大陆的丰富文化宝库感到兴奋不已。作为新中国开放后第一位造访中国大陆的美国古董商人，安思远获得了接触和学习顶级中国艺术品的最佳时机。
　　在之后的职业生涯当中，安思远热心投入对于中国重要文化遗址的保存和维护。1992年，他首次深入安徽黄山，赞助修缮了始建于明代的家族祠堂“宝纶阁”。他认识到在中国境内古迹维护和修缮的重要意义，也因此更加积极呼吁，为拯救这些随着经济发展而遭受威胁的文化古迹而奔走，并在香港成立中国文物艺术修复基金为更多相关项目筹集资金。