然而，被认为前途无量的直武突然蒙上了小不的阴影。这一时期，源内的精神逐渐异常，不仅因琐事同出版商、资助者口角，还恐惧才能被弟子盗取，禁止一切人等进入他的房间。

源内的异样传至外部，他虽受田沼意次恩宠，弟子直武却在藩中备受非难。而后，安永八年十一月，源内因杀人罪被捕入狱，详情不明。一说偶然拜访源内住处的徒弟误入其房间，好奇翻阅手边资料时被源内撞见，遂遭斩杀。