私もこの手の「うまく断る」というのが苦手なので、いいアドバイスができるかどうかは分かりませんが．．．

ランチを活用するというのはどうでしょうか？　

ランチには必ず居るけれど、夜はあまり来ない人なのだというイメージを作ってしまうのはどうでしょうか？　

ランチに必ず居るということは、密に接している人なんだな．．．　でも、夜はなんかあるのかな？　たまに来てくれるから大丈夫だよね。と思わせるようにするのが、何か言うよりも一番角が立たないのではないかと思います。

断る前に居なくなるというのが私のよく使う手なのですが、１次会は居たのに、２次会は消えていなくなっちゃってるというパターン。（ここで明かしてしまうと、これから職場で使えなくなりそうですが）でも、１次会で盛り上がってたし、２次会もなんとなく居たような雰囲気になっているのが不思議です。後は、ランチをよく利用しています。

少しでもご参考になれば、幸いです。