徐渭的绘画以水墨淋漓、不拘绳墨的大写意花鸟画为主，人物画并不多见，仅存于世的却也形象生动、神韵自存。徐渭的传世人物画作品共16件（不包括私人藏品及虽见于著录但未见图像之作品）：日本大阪市立美术馆藏《谒陵图》、《杂花图》之寿星一段，故宫博物院藏《墨笔人物花卉图》《驴背吟诗图》《泼墨十二种图》《横江独钓图》，中国国家博物馆藏《花卉人物图》，上海博物馆藏《花鸟人物图》《拟鸢图》《渔妇图》，美国纳尔逊艺术博物馆藏《拟鸢图》，天一阁博物馆藏《渡海观音图》，中国美术馆藏《莲舟观音图》，南京博物院藏《柳荫读易秋郊策蹇图》，安徽博物院藏《林荫行吟图》，黄宾虹纪念馆藏《十贤集馔图》。
　　徐渭的人物画与花鸟画同样多不署年款，两件有年款的作品均作于其5 5岁之后，正是他绘画创作的高峰期。他的人物画从风格上来看，可分为两类。一类以《驴背吟诗图》为代表，另有《渔妇图》《渡海观音图》《莲舟观音图》等，画面均以人物为主体，以减笔法塑造形象，造型相对准确，背景几乎空白。
　　北宋孙光宪在其《北梦琐言》中记载，唐末郑綮被人问及“近有新诗否”，对曰：“诗思在灞桥风雪中驴背上，此处何以得之？”此后，越来越多的画家热衷于表现诗人骑驴游览于山水之间寻觅灵感的题材。
　　徐渭《驴背吟诗图》即绘一文士骑于驴上，文士衣纹以若有若无的线条勾勒，人物形象则仅以寥寥数笔点出眼睛、鼻子及须发，一位远离凡尘俗世的文士形象跃然纸上。驴整体以淡墨扫出简洁干净的轮廓，四肢则以稍浓墨色用草书劲健的笔法绘出，步伐轻快之态顿现。
　　宗白华在《美学散步》里这样写道：“徐渭《驴背吟诗图》，使人产生一种驴蹄行进的节奏感，似乎听见了驴蹄‘嗒嗒’的声音，传达出画家微妙的音乐感觉，还具有一种戏剧感。”徐渭通音律，并以书法用笔入画，加之狭长的构图中，人物背后空无一物，故其将笔墨的节奏感与画面悠远的意境表现得淋漓尽致。
　　徐渭的另一类风格则是以《拟鸢图》为代表，将人物形象置于山水之中，以寥寥数笔点染勾勒、不求形似的形式表现人物形象，但画作却还是以人物为重点意象。徐渭的大部分人物画均为此种风格。畫家晚年曾作多幅《拟鸢图》，所“拟”即为画史中记载的郭忠恕所作《风鸢图》。画中放鸢的孩童轮廓，以短促的钉头鼠尾描勾勒而成，线条间几乎不相连，但笔势不断，行笔则迅捷而顿挫有力;面部则仅以墨点作五官，并不细致描绘;足部墨色较浓，表现出奔跑的力量感。孩童右手握着线轴高举过头，拉扯着风筝向画面左方奔跑，另一手平伸在侧。一根极细而淡的墨线若隐若现地连接着风筝，线虽纤细，却一气呵成，仿佛将要飞出画面的纸鸢将风筝线的紧绷感及风势表现出来。《拟鸢图》对孩童形象示意性的塑造，完全不求形似，却十分生动有趣。
　　徐渭人物画的题材亦可分为两类：一类为宗教题材，今所见以观音图为主;另一类则以诗人、渔隐、孩童等意象表达文人意趣。上海博物馆藏《渔妇图》，画面人物应为“鱼篮观音”。此画构图与《驴背吟诗图》类似，在画面上半部画家写道：“泼剌泼剌，婀娜婀娜。金刚法华，一棍打破。瞒得马郎，瞒不得我。”画面下方渔妇约占整个画面的三分之一，其余纸幅均为留白，营造出深远无尽之意境。画家纯以水墨画一渔妇，圆脸，五官并未精细描绘，削肩，手提盛满鱼鲜的竹篮，身体微微前倾，似乎正款款前行。笔墨方面，画家以极淡的墨白描衣袍轮廓及褶皱，通过线条的粗细变化表现衣纹不同的形态，以短促线条勾勒的裙摆及飘荡的衣带，营造出女子正款步前行之态。浓墨则仅用于晕染头发、衣领、衣带、鱼鲜、竹篮，使得画面重点突出，浓墨与淡墨相得益彰，层次分明，加之笔法粗率、线条多变，将竹篮内鱼鲜“泼剌泼剌”的挣扎状及渔妇（实为观音所化）“婀娜婀娜”的曼妙身形传神地表现出来。
　　现存另两幅观音图均描绘的是渡海观音，人物姿态几乎相同，唇部上扬，略带笑意，八字眉显出观音慈悲为怀的气度。笔墨的表现方式则与《渔妇图》无异。
　　关于徐渭绘画的师承，未见明确记载。而关于其人物画的师承，亦有多种说法，其中，徐渭的人物画风格与梁楷之风一脉相承的说法，我认为更准确。准确地说，徐渭人物画是与禅宗画一脉相承的，尤其是僧人所作禅宗人物画。禅宗画的兴起得益于中晚唐以后禅宗成为汉传佛教的主流，禅宗画不重画而重禅，旨在以画寓禅，因画悟佛，又因作画者多为未受过专门绘画训练的僧人，故不苛求形象的精准塑造，而专注于意境的传达。
　　从图像风格来看，传世禅画如石恪的《二祖调心图》、梁楷的《李白行吟图》、梵因的《寒山图》《拾得图》等，均将人物置于空无一物的背景之中，线条以淡墨为主，浓墨点醒，用笔潇洒流畅。徐渭《驴背吟诗图》等人物画作品在笔墨及构图方式上与前人的禅宗人物画如出一辙，传承关系一目了然。而徐渭将书法笔意融入人物描绘中，使图像的节奏感更加明显。
　　从题材来看，禅宗人物画必然多表现佛教人物，如元代无款《鱼篮观音图》。徐渭《鱼篮观音图》除表现相同题材外，笔墨表现形式亦与之相似。只是元代《鱼篮观音图》的人物形象端庄肃穆，而徐渭所作观音则更接近寻常渔妇，在一定程度上体现了明代中期世俗文化对画家创作理念的影响。
　　徐渭于嘉靖二十六年（1547年）开始师事季本，学习王阳明心学。后因心学与佛教禅宗有相似之处，徐渭又开始钻研佛学。嘉靖二十八年（1549年），徐渭结识了玉芝禅师的弟子祖玉，进而结交玉芝禅师，并拜其为师，学习佛法。其后一直与方外师友相唱和。
　　起初，徐渭学佛意在钻研“心学”，而经历了八试不第、杀妻入狱的人生坎坷后，渐渐开始以佛理观照现实，中年之后作画多写“胸中之逸气”，且有印为“墨三昧”，禅境、禅理自然流于笔端，不露痕迹。而禅画的特点恰恰在于笔法简约、画面质朴、题材单纯、意境幽远，体现出禅宗之“不立文字，直指人心”的思想。未曾专门习画的徐渭，虽无法做到“应物象形”，但因其深厚的书法功力所带来的超强的笔墨表现力，以及对佛理的深刻理解，禅画自然成为其以笔写心的最佳选择。徐渭的绘画，尤其是人物画表现出的禅画风格，也解释了为何其画名在当时并未显于世。徐渭自称“吾书第一，诗二，文三，画四”，并非自谦。
　　明中期以后，苏州地区文脉绵长，成为文化艺术的中心，绘画史上的“明四家”沈周、文徵明、唐寅和仇英均居于苏州。明王士性《广志绎》载：“苏人以为雅者，则四方随而雅之;俗者，则随而俗之。”绍兴与苏州虽相距不远，但纵观徐渭一生行迹，与吴门画家似乎并无交游。其选择师法的禅宗画，虽在浙江地区一直有所流传，但正如张珩先生评述梵因《天台三圣图》语：“人物貌相衣纹皆极草草，望而知为沙门之笔，故元明以来皆黜不论。”由“沙门之笔”而来的徐渭绘画则同样难以受到更多人尤其是书画收藏家的重视。直至清初八大、石涛横空出世，到后来的扬州八怪，再到齐白石等众多画家将文人画空中楼阁的精英趣味转为大众化风格后，徐渭绘画的价值才慢慢显现出来。