俞济时生于1902年，出生在浙江省奉化县奉南村。有人说他是奉化溪口镇蒋介石的外甥，但是查蒋介石的亲姐妹没有嫁入俞家的，估计是表亲之类的吧。

1920年，18岁的俞济时到广东投奔族叔俞飞鹏。1924年，俞飞鹏担任黄埔军校军需部副主任，就保举侄子俞济时进黄埔军校第一期学习。

因为是同乡，俞济时深得蒋介石信任，从1925年起，就开始在蒋介石身边当侍卫。

起先，他在蒋介石的侍卫大队当排长、连长。随着蒋介石的权力越来越大，侍卫大队的规模也越来越大。1927年，侍卫大队扩编为警卫团，俞济时先是当营长，不久就升任团长。1928年，警卫团扩编为警卫第一旅，俞济时担任旅长并兼任南京警备司令。1930年，警卫第一旅扩编为第一师，俞济时任师长。

从1932年初，俞济时暂时离开蒋介石身边，到部队任职。先是到第五军任第八十八师师长，参加了上海一二八抗战，战斗中曾身负重伤。

1933年，俞济时调任浙江省保安处处长。1934年末到1935年初，在安徽太平县一带，与方志敏、刘畴西领导的红军抗日先遣队作战，击溃先遣队，俘方志敏、刘畴西等红军高级将领。1935年，俞济时出任第五十八师师长。1936年，晋升为陆军中将军衔。

抗战爆发后，俞济时的第五十八师与王耀武的第五十一师合编为第七十四军，俞济时是第七十四军首任军长。在他担任军长期间，第七十四军参加了淞沪会战、南京保卫战、徐州会战、武汉会战等，1939年4月，阻击日军板垣师团对江西高安的进攻，血战几昼夜，获得胜利。7月，调任唯一的机械化部队第五军任军长。

俗话说，不怕没好事，就怕没好人。俞济时指挥第五十八师四五年，很了解这支部队，到第五军任军长后，很想把第五十八师转隶到第五军，为此向军委会写了报告。但是这个举措受到继任第七十四军军长的王耀武的忌恨。桂系首脑白崇禧借机联络第五军前任军长徐庭瑶等人，向蒋介石告俞济时的状。俞济时在第五军没有坐稳，就被调到第十集团军担任副总司令兼第八十六军军长。期间，还到浙江去整编黄绍竑组建的抗卫纵队。

1942年，在离开蒋介石身边十年后，俞济时再次回到蒋介石身边，担任侍卫长。1945年，他被任命为第三十六集团军总司令，但是他根本就没有到职，而是一直陪在蒋介石的身边，任参军处军务局局长、总统府参军处军务局局长等职。1952年，俞济时与中将加上将待遇，退出现役，但是还在蒋介石身边侍奉，可见蒋介石有些离不开他。

1975年，蒋介石逝世。距离俞济时首次到蒋介石身边当侍卫已经50年了。

1990年，俞济时病逝。