全县境内有大汶河，小汶河流经北部以及西部，又有泉河等河流流经中东部而后汇流到小汶河，包括县域下面的地下水也全部源于汶水的补给，犹如山上，车上等等，汶上整个县域地处汶水之上，因此得名汶上。
汶上县境内约在15000年前，即有华夏先民在此繁衍聚居。位于城东3千米的东贾柏遗址，是济宁境内已发现的最早的新石器时代人类文化遗址，距今约7000年左右，是北辛文化的重要代表，属于原始社会母系氏族公社的发展阶段。
至商代，境内置厥国。周代，先后置郕国，中都邑、阚邑，周武王封同母弟叔武于郕，公元前501年，鲁“定公以孔子为中都宰“。战国时，齐置平陆邑。
秦统一中国，行郡县制，县境内约分属薛郡的张县（治邑在今东平县霍庄 ）、无盐县（治邑在今东平县无盐村）。
汉宣帝甘露二年（前52年）前后，境内始置东平陆县，隶属兖州东平国。此为汶上建县之始。 三国魏晋，今县境统属兖州东平国（郡）东平陆县。南朝时改称平陆县、乐平县。隋初仍称平陆县。 唐天宝元年（742）三月，改称中都县，移县城于今治。 金贞元元年（1153年）更名汶阳县。金泰和八年（1208年），取”汶水在上（北）”之意，更名汶上县，此为“汶上”专用地名之始，沿用至今。