1949年4月解放南京之后，很快上海和杭州等大城市也回到了人民的怀抱。党中央、军委决心部署各路大军继续南下，目标直指福建。经过慎重地研究之后，华东军区做出相关部署，最终决定，解放福建省的作战任务由叶飞同志和韦国清同志所率第三野战军第十兵团担任。同时，决定任命原华中军区司令员、华东局组织委员张鼎丞同志为福建省人民政府主席兼中国共产党福建省委员会书记，组织接管干部队伍，随解放部队南下福建。
　　考虑到全国解放以后，各新解放区急需配备大量干部队伍，所以早在1949年2月，党中央就曾做过相关指示，要求从老解放区抽调和训练干部，充实到新解放区去，配合解放进程，担任接管工作。然而，随着全国解放进程的不断加快，原先从老解放区抽调出来准备支援新解放区的干部队伍已经明显不够。有鉴于此，中共中央组织部于1949年6月11日作出指示：为了弥补南下接管干部人数之不足，可以吸收大中学生青年参加革命，加以训练后即充实到接管干部队伍。六天后，由张鼎丞和叶飞等同志研究讨论后，以华东局的名义向党中央发出电报——《关于福建工作的准备问题》。
　　电报中，除了向中央详细汇报了福建省委及各大城市的干部人选准备之外，还特别向中央提出了南下干部的抽调计划，“建议还是以冷楚所率3000干部到福建为宜，因为时间仓促另行准备干部来不及，同时在沪积极招收3000名知识青年和职工到闽工作”。
　　随即，南下服务团的组建工作开始展开。上海南下服务团的组建过程首先是由内部动员开始的。
　　所谓“内部动员”，是指华东局最早筹划解放福建时打算动员福建籍的在沪青年学生随军入闽进行接管的计划，因涉及人员总数较少，且主要对象是原籍为福建的青年学生，动员方式也都是由上海青工委和上海学联按籍贯寻找并经过考察后谈话进行，这与公开向各学校进行招生的方式不同，故称“内部动员”。
　　上海南下服务团的内部动员，目前最早见到的史料，是1949年6月5日上海市青工委召开的讨论会议。
　　针对即将展开的解放大军南下，进入福建地区的形势需要，上海市青工委决定“在经过严格考察程序”的基础上，有计划地动员300人随军解放福建。1949年6月7日，上海市青工委会同组织部、上海各区学委、青委召开联席会议，讨论动员300闽籍学生随军南下的具体实施方案，并最终确定了其中的240个名额在各校的分配计划，并要求这240人要在“十三日以前动员编组报到”。
　　1949年6月12日，上海市青委又与学委、学联党组等单位举行联席会议，继续讨论动员闽籍学生随军入闽事宜。经过讨论，调整了6月7日决定的初步计划，将南下名额增加至340人。
　　经过几次讨论和内部动员，1949年6月15日，340名闽籍学生报到完毕，南下服务团正式成立。
　　然而，考虑到340人对于巨大的南下干部缺额而言，还是远远不够，故张鼎丞提议继续动员，范围扩及所有上海青年学生。南下服务团的招生工作遂由内部动员阶段进入到扩大招生阶段。
　　1949年6月18号，上海知识青年南下服务团招生通告在《解放日报》等媒体刊登，向广大上海青年学生发出号召：“为适应胜利形势，培养革命青年，服务南方新解放区，特设立上海知识青年南下服务团，招生名额3000名，凡思想纯洁，初中以上程度，身体健康，年龄18岁以上30岁以下之男女青年，均可报名。报名手续缴验毕业、肄业证书或学联证件，缴一寸半身像片2张，填明履历表。报名后听候本团招生委员会考验。合格者即集中进行短期训练，学生除被、帐自备外，膳宿、服装、学习用具均由本团供给。训练后可南下分配宣传、组织群众工作及参加各项建设工作。”
　　其实，早在通告发出前，复旦大学、国立暨南大学等大学就提前召开了动员大会。
　　1949年6月16日，复旦大学文法学院召开动员大会。会上，300多师生热烈座谈“当前形势和同学们的当前工作任务”，“一致认为目前的任务为迅速完成解放全中国的事业，彻底消灭国民党匪帮残余力量”，周谷城教授还“鼓励同学们说：这是很难得的机会，历史上仅有的最后一次，希望同学们一面积极参加解放工作，一面努力改造自己”。6月17日，国立暨南大学文法学院也召开了“南下西南工作动员大会，讨论中心是为什么要参加南下服务团和西南服务团。同学们纷纷发言，认为今天再不能允许敌人有喘息的机会，要很迅速地打到广州、台湾、云南、贵州、四川去，解放全中国。过去上海长期在反动派的摧残压迫下，今天得到了自由，然而，西南、华南的同胞们仍在反动派的压迫下不见天日，这就要我们青年挺身而出来参加革命工作”。
　　复旦大学是南下服务团在内部动员阶段即重点发展的学校，所以复旦大学同学们的踊跃报名情况也最早见诸报端。据报载，解放后20天的大上海，全市同学对革命工作已热切渴望，他们要随着人民解放军，解放全中国。当同学们得知自己有参加南下服务团为人民服务的机会时，同学们的情绪像海潮一样泛滥起来。而当南下服务团招生通告公布后，“复旦自治会办公室从早上6点多起，有时直到晚上熄灯钟响，进出的同学川流不息，有的同学是一天去了四五趟。第一批核准南下服务团的120名同学欢欣鼓舞，准备行装，未被核准的同学纷纷说：‘我为什么不够条件？第二批什么时候？只有这一点点名额？’统计系周荫亭看见核准的名单上只有周荣亭，没有他，顿时极沮丧地将已经打好的背包提到宿舍里，睡倒在床上，后来同学告诉他，是名单上写错了一个字，他高兴得立即从床上跳了起来；新闻系邓志华同学对自治会同学说：‘我为了参加革命工作，头发都剪了，怎么能不批准我？’统计系的林承璋有几天是整天跑三个地方：南下服务团、学联、自治会；中文系的曾际时，戒了烟表示他参加工作的决心；数理系的黄瑞琼，她看见自己没有被核准，痛哭了一番。核准了的，走路始终是跃跃欲试，他们精简了自己的行李包裹，思想包裹也精简了，临上车前，‘四·二六’被捕的同学陈根棣说：‘以前我是被抓了去，今天我要追了去，揪他们！’”。 　　与复旦大学一样，上海其他高校也掀起了青年学生踊跃报名的热潮。
　　“同济文法学院的南下服务团登记表不够用，同学自己画表格填好送来，法律系杜姓同学，身体差，左臂断过的，他怕参加南下条件不够，就说南下不成功，不论哪种工作我都要想法子参加的。”
　　暨南大学同学也表示要参加南下服务团。“12日上午布告刚一贴出，全校立即沸腾起来，立刻有成百的同学涌向报名处来，当晚就有200多人报名要求参加。很多福建、广东籍的同学，他们更是迫切地热望把人民解放军的大旗插到他们的家乡。13日一天，学生自治会办公室门口就拥着很多人等消息。14号60名批准的名单终于发下来了。核准的都喜欢得跳了起来，禁不住高声大唱，未核准同学中有五六个亲自跑到市学联要求给他们想办法。”
　　美专自治会号召参加南下服务团后，也立即得到了全校同学的热烈响应，5位被批准参加南下的福建、广东籍同学都兴高采烈地说：“我们一定要解放那些在蒋匪压迫下的乡亲同学们。”很多同学因迟到一步未报上名，便决定继续参加第二批第三批。
　　除了大学生之外，中学生也都踊跃参加。“14日下午3时半，麦伦中学学生自治会举行‘欢送大会’，欢送参加‘南下服务团’工作和文工团的同学。13日核准名单发表，当时被核准的同学都手舞足蹈，兴奋异常，有几个立刻奔回宿舍收拾铺盖，而榜上无名的同学都懊丧万分，有好几位同学，就跟着自治会的负责同学，吵着要求参加。在欢送大会上，参加南下服务团的同学代表坚决地说：‘我们本来是希望好好地在学校学习的。但是现在有更重要的任务要我们去完成；反动派势力还占据在华南，华南人民需要人民解放军去解放他们。所以我们现在不得不暂时抛弃书本，去参加工作，为华南人民服务’。”
　　南下服务团的招生报名工作进展极为顺利。据统计，仅“18日一天之中即有一千数百名同学分向各校自治会要求参加”。至1949年6月22日，上海全市各校动员报名参加南下服务团“人数已在6000人以上”。至1949年6月25日，参加南下工作登记告一段落。28日，南下服务团录取工作结果公布，录取名单刊登于29日《解放日报》。至此上海市南下服务团从动员到报名、录取、组建的一系列工作基本完成。
　　经过一系列培训学习后，1949年7月19日早6时左右，张鼎丞团长率领南下服务团出发南下，途中不断遭到敌机空袭。1949年9月15日，在克服千难万险之后，服务团终于抵达目的地福州，开始着手接管、建设以及迎接新中国成立的准备工作。新中国成立后，南下服务团成员被陆续分配到不同的工作战线上去。
　　上海南下服务团“在党和人民的抚育下，经过几十年的锻炼，绝大多数同志勤勤恳恳为福建人民贡献一生，多数成为各级各部门、各单位的骨干。有7人担任省部级领导职务，1人授少将军衔，104人担任地厅级领导职务，800多人担任县处级领导工作或享受县处级待遇；相当一部分成为科学家、文学家、艺术家、教育家、企业家、学者、教授以及各行各业的专家，被评为高级职称者有239人，许多人获得劳动模范、五一劳动奖章等各种荣誉称号，有些还荣获国务院颁发的有特殊贡献证书，他们为振兴中华做出了重要贡献”。
　　1994年11月，“在福州隆重举行的纪念南下服务团入闽45周年大会上”，时任中共福建省委书记的贾庆林同志即代表党和政府，对南下服务团的历史贡献做出了高度概括和总结：“福建解放后，党指向哪里，同志们就奔向哪里，八闽大地处处留下同志们奋斗的汗水和足迹”，“在各条战线上，全心全意为人民服务，取得了卓越成绩，为党和人民的事业鞠躬尽瘁”，“你们无愧为团结战斗的一代，无私奉献的一代，自我牺牲的一代”，“你们为福建人民留下了一笔宝贵的财富”。