だが、権之丞が、若殿綱茂の歌の相手もすることが光茂の不興をかい、しばらくお役御免となった。 失意のこの頃、佐賀郡松瀬の華蔵庵において湛然和尚に仏道を学び、二十一歳のときに仏法の血脈（ 師から弟子に法灯が受けつがれること）と下炬念誦（あこねんじゅ生前葬儀 の式と思われ、旭山常朝の法号を受けた）を申し請（う）けている。
　葉隠で慈悲心を非常に重んじている素地はこのとき涵養されたといえよう。さらにこの前後、 神・儒・仏の学をきわめ藩随一の学者といわれながら松梅村（現大和町）下田に閑居する石田一鼎を 度々訪れて薫陶を受けた。このことも後の葉隠の内容に大きな影響を与えている。

　二十四歳で結婚、同年、御書物役を拝命、二十八歳のとき、江戸で書写物奉行、あと京都御用を 命ぜられている。帰国後の三十三歳のとき、命により親の名「神右衛門」を襲名した。
　五年後の元禄九年、再び京都役を命ぜられ、和歌のたしなみ深い光茂の宿望であった「古今伝授」 （古今和歌集解釈の秘伝を授かること）を得るために、この取り次ぎの仕事に奔走した。「古今伝授」の すべてを授かることは容易ではなかったが元禄十三年、ようやくこれを受け、隠居後重病の床にある 光茂の枕頭に届けて喜ばせ、面目をほどこした。

　同年（1700年）、光茂が六十九歳の生涯を閉じるや、四十二歳のこの年まで三十年以上「お家を 我一人で荷なう」の心意気で側近として仕えた常朝は、追腹禁止により殉死もならず、願い出て出家、 佐賀城下の北十キロの山地来迎寺村（現、佐賀市金立町）黒土原の庵室朝陽軒にこもった

　田代陣基が、常朝を慕い尋ねてきたのはそれから十年後のことである。

　のち、朝陽軒は宗寿庵となり、光茂の内室がここで追善供養し、自分の墓所と定めたので、常朝は 遠慮して近くの大小隈（現、大和町礫石）に移り住み、山居すること二十年、享保四年（1719年） 十月十日、六十一歳で没した。

.
辞世の歌

　常朝は「生い立ち」のことを語っている葉隠の項で、「奉公の最高の忠節は、主君をいさめて国を 治めることで、その為には名誉や利益を考えず家老になることだと決心、血涙の出るほど努力したが果たせ なかった。

　しかし、実質的は念願を遂げたも同様と思っている」旨の述懐をしているが、常朝の真情が うかがえる。