此幅描绘明代皇帝便服簷帽在御园观赏或亲自参与各种体育竞技表演的场面。全卷共分六段，起首前三段分别绘皇帝坐观侍臣们射箭、蹴鞠和打马球；第四、五段分别绘皇帝亲自参与捶丸、投壶两项活动；第六段绘皇帝乘辇回宫之场景。全卷场面宏大繁复而又具体入微，生动地表现出当时宫中的文体娱乐活动。绘画工整、细腻、写实，是记录明代宫廷历史以及皇家建筑的重要资料。

本幅无作者款印，外签有清宫旧题曰：“明宣宗行乐图。乾隆戊辰年（乾隆十三年，1748年）重裱。”经《石渠宝笈·三编》著录，亦名“明宣宗行乐图”，原藏于南薰殿。

近年来关于此图有一些不同的学术观点，有学者提出画中皇帝应为明宪宗。吴美凤在《谁是画中人——明人〈四季赏玩图〉卷探讨》（《故宫学刊》2016年第1期）中通过比对皇帝的面容特征，以及清胡敬《南薰殿图像考》中对明宣宗、明宪宗的特征记载，认为画中人物的面部特征与明宪宗高度一致。