1750年（乾隆十五年），乾隆皇帝以为母祝寿为名，开始建设清漪园（颐和园），第二年农历四月，乾隆皇帝从玉泉山祭龙神之后，沿玉河行舟至清漪园视察，途径泉河景区之时，恰逢千亩稻田稻花飘香，极具江南风情，一幅天然农桑图画，乾隆皇帝认为农桑为治国之要，决定遵从环境要求建设以农桑为主题的耕织图景区。

乾隆建设耕织图景区，有了稻田，还需养蚕，乾隆皇帝命区内广植桑树，又迁来十三家桑户，尚缺织染，乾隆十六年（1751年），将织染局“移万寿山之西，与稻田毗近，立石曰《耕织图》”，并将机器上的“织染局”三个字也改用《耕织图》作为标识；“织染局”迁至西苑，织染局后来改建为“华严寺”，今为‘织染局小学“，门牌是”水簸箕胡同甲5号。织染局胡同属东城区景山地区，在北河沿大街迤西的“水簸箕胡同”内，东起“水簸箕胡同”，西止“东板桥街”，中间稍有曲折，长约300米，胡同南侧有两条支巷通“后局大院”。  “织染局”属于皇宫大内，是宫廷官署，由宦官掌控。设“掌印太监一员，管理佥书，掌司监工无定员，掌染造御用及宫内就用缎匹”。织染局只是管理机关，其下属单位有建在朝阳门外的生产场所——“外厂”和建在城西北的颜料基地——“蓝靛厂”。如今，朝阳门外的“外厂”已无端倪如寻，但海淀区的“蓝靛厂”地名仍存。

乾隆十五年开始建设耕织图景区，乾隆十八年完工，但当时玉河斋两侧长廊上并无石刻，石刻是乾隆三十四年刻制的，为什么同一题材的刻石要经典建成十六年之后才完成呢？事情与乾隆对新收藏半部的《耕作图》绘画鉴赏与考证有关。

乾隆早年已收藏宋代画家刘松年绘上部《蚕织图》，并收人《石渠宝岌》珍藏，乾隆三十四年宋刘松年绘《耕作图》下部《耕作图》被进献宫中。乾隆便将刘松年《耕作图》上下部对照鉴赏。他通过两图纸幅长短、绘画风格、印章题跋等诸方面比较,结果发现两图均非刘松年所绘。据乾隆说,《耕图》后有好试之跋:“耕织图二卷,文简程公曾孙棨仪甫绘而篆之。”《织图》后有赵子俊之跋:“每节小篆皆随斋手题。”而且两卷押缝处皆有元朝画家程棨的别号“随斋”与字“仪甫”之印。于是乾隆断定，将此画附会为刘松年所做是不知程棨的别号“随斋”与字“仪甫”，也不知程棨是元代画家，因此伪刻了宋高宗“绍兴”年号的印章，并伪造书写了宋刘松年的名字。此图实则是南宋绍兴年间画家楼俦《耕织图》的程棨元代摹本。乾隆将此图存圆明园多稼轩之北的贵织山堂,并于同年（乾隆三十四年）命画院双钩临摹刻石，历三年完成。乾隆曾以此为盛事，召王公重臣举行盛大的茶宴联句活动。而今，依照“耕”与“织”的景题寓意，这些原件的高度仿真复制品，艺术再现了古代男耕女织的场景。

乾隆十八年耕织图景区建成，它以稻田棋布的水乡湿地景观和洋溢着男耕女织的情趣, 独树一帜地成为乾隆皇帝观赏自然外物和表达政治社会理想的主题景区。当地处北方的蒙古王公进京觐见时，乾隆将他们带到耕织图景区，要他们领略陌生的农耕文化，以景观来增强蒙古的向化归顺情感。

1860年英法侵略联军焚掠圆明园, 程棨《耕作图》被英法强盗掠走，一直不知去向，1973年美国华盛顿佛利尔美术馆曾出版托马斯·劳顿所编《中国人物画》一书,内容分记事画、佛道像、画像、风俗画四类, 程棨《耕织图》收在其中,并附耕图、织图各二幅。我国这才知道程棨《耕作图》已辗转到了美国人手中。