1848年朱葆三出生于浙江黄岩乍浦一个小军官人家。14岁那年，父亲因病去世，家道中落，他只好到上海一家卖罐头食品兼小五金的协记商号当学徒。

    因为勤快精明好学，老板很赏识他，17岁就提拔他当了账房兼营业主任。21岁时，店里经理去世，他可靠，为店里做成了几笔洋商生意，老板就又破例提拔他继任。

1878年，协记老板病死了，家中子女年幼，无人继承只得把店关掉歇业，朱葆三萌发了自己开店的念头。他用历年积蓄，再拉一点股子凑成5000两规银资本，在上海外滩新开河开了一个单开间门面的慎裕五金号。

    慎裕不同于协记，专营建筑所用的大五金。十里洋行，当时正起步兴建。朱葆三又是行家里手，店伙又全是精心挑选的有用之才，请来富有经验的顾晴川当总账房。顾晴川为人精明，民国外交名流顾维钧就是他的儿子。朱、顾联手，一变以往“守株待兔”式的专靠门售办法，主动承接大建筑包工头批销。“店小生意大”，不二三年，搞得红红火火，几千两银子的股本，一年中做出了几十万两的买卖，这在上海滩成了新闻。朱葆三由此掘得了“第一桶金”，引起了上海中外客商的注目。

    1897年，清政府以官商合股方式开办中国第一家新式银行———中国通商银行，朱葆三以商股大股东身份出任总董。银行设在上海外滩7号，在摩肩接踵的洋行丛中，居然有了一家中国人开的银行，朱葆三的名字真是震动了上海。

    朱葆三前后投资的新企业，遍布国内几大商埠。比如上海大有榨油厂、同利机器纺织麻袋公司、大达轮船公司、华兴水火保险公司、江苏赣丰饼油厂、上海中兴面粉厂、宁波和丰纱厂、广州自来水厂、汉口既济电厂、浙江兴业银行、四明商业银行、宁绍轮船公司和华安合群保寿公司等等。他在这些企业的总投资额达到规银二三百万两左右。成为当时国内金融实业界众所瞩目的巨头之一。

    随着朱葆三在商界地位越来越高，他开始在政界崭露头角。当然，他参政还是以商界人士面目出现。清末，清政府允许成立商会，上海首先出现了商业会议公所和商务总会。第一届总理是严信厚、徐润为协理。第二届协理就是朱葆三。这是他跻身商会头面人物活动之始。