嘉靖四十三年（1564年）胡宗憲以“党严嵩及奸欺贪淫十大罪”被捕，獄中自杀，徐渭闻之作《十白赋》哀之。

李春芳严查胡宗宪案，徐渭一度因此发狂，作《自为墓志铭》，以至多次自杀，

“走拔壁柱钉可三寸许，贯左耳窍中，颠于地。”，

，被游方郎中华氏救活，又“引巨錐刺耳，深數寸；又以椎碎腎囊，皆不死。”

嘉靖四十五年（1566年）懷疑继妻张氏不貞，仲秋之夜以鈍器擊殺張氏，

張氏當場致死，被革去生员资格，下狱七年。

入狱其间，生母去世。狱中完成《周易参同契》注释，揣摩书画艺术。

萬曆元年（1573年）除夕，大赦天下，為状元張元汴等所救出獄。

从此潦倒，痛恨达官贵人，浪遊金陵、宣遼、北京，又过居庸关赴塞外宣化府等地。

在遼東總兵李成梁的府中教授其子李如松、李如柏兵法。在塞外结识蒙古首领俺答夫人三娘子。

万历五年（1577年）回绍兴，注释郭璞《葬书》。

晚年以卖画为生，但从不为当政官僚作画，

“有书数千卷，后斥卖殆尽。畴莞破弊，不能再易，至借稿寝。”。

（徐渭天才 罹非持续性狂躁症 --- 余诊之）

嘉靖四十四年，胡宗宪再次被械系至京，狱中吟“寶劍埋冤獄，忠魂繞白雲”，引刃自盡。

第二年，精神病患者徐渭创下了大祸，他怀疑续娶的妻子张氏有外遇，就把张氏杀了。

他被革去了生员资格，关进大牢。徐渭在狱中一住就是七个年头。

隆庆六年除夕，由于新皇帝登基，徐渭获释出狱，此时已经五十三岁。

　　徐渭被褫夺了生员资格，以后的二十年时光，只好四处奔波“打秋风”。

他到过南京、北京和宣化，老朋友吴兑和张元忭等都热情地接待过他，

但是徐渭不能接受衙门规矩的约束，

精神病又时好时发，只能返回绍兴，靠卖文卖字卖画度日。

徐渭虽然既贫且病，却仍不改其“傲与玩”的本色。
 

　　徐渭晚年生活十分凄苦。他先变卖了衣物，再变卖藏书，到后来连书籍也卖光了，

只能饿着肚皮躺在藳荐（草席）上。

　　万历二十一年（1593），徐渭在贫病饥饿中离开了人世，是年七十三岁。