早在新石器时代，就有人类在尚志境内繁衍生息，尚志市境在虞舜时属息慎，东周时属肃慎，汉属挹娄国，唐属勃利州，辽属女真本部，金属胡里改，明属努儿干，清初为宁古塔辖境，乾隆时属阿勒楚喀副都统辖，光绪年间划属宾州，属长寿县管界。民国11年(公元1922年)从同宾、五常两县析置乌珠河、苇沙河两设治局，民国16年(公元1927年)两设治局同时升县为珠河县、苇河县，同属吉林省管辖。东北沦陷时期，珠、苇两县划归滨江省管辖。抗日战争胜利后，珠河、苇河两县改属松江省管辖。1946年11月，为纪念抗日民族英雄赵尚志，将珠河县更名为尚志县。1948年3月，苇河县并入尚志县。1954年6月，松江省并入黑龙江省，尚志县遂为黑龙江省所辖。1970年前属牡丹江地区，1970年后划归松花江行政公署所辖。1988年9月14日经国务院批准撤县设市。1996年松花江地区与哈尔滨市合并，划为哈尔滨市所辖。