【困惑】嫁「明日、学生時代の友達と飲みに行きたいんだけど、いい？」俺「いいよ..（本当は拒否したいんだけど、嫁は..」→結果

自分は付き合いで飲みに誘ってくれる人はいても飲みたいと自分から思う人はいなくて、だったらその分嫁といたいんです。
付き合う前から嫁にべったりでした。
でも嫁は違って、付き合いとかじゃなく会おうという学生時代からの友人がちゃんといて。
最初に「いい？」と訊かれた時に嫌だと言っておけば良かったのですが、束縛してると思われたくなくて「言っておいで」と言ってしまったんです。
以来嫁が「いい？」と訊く度に首を横に振れなくなりました。
ここまで書くと既婚のくせに、浮気でもしてるんじゃと言われそうですが頻度は1年に2,3回程度で、その友人と顔を合わせると「こいつ惚気ばっかで～」と言われるので浮気とかはないです。
心配性が祟って飲み会も友人との食事も基本車で迎えに行ってしまいますし。

自分は嫁だけがいれば正直何の問題もないですが、嫁は友人との付き合いも大切にしたいんだと思います。
それは構わないのですが、男女の友人関係も成立するという嫁の考えの元、異性の友人と遊びに行くのにも抵抗がないのが苦痛です。
下心が見えない為、嫌だと言い辛い。
やはり自分は懐が狭いのでしょうか？