剣道をオリンピック競技種目にするメリットとデメリットを考えて、デメリットのほうが大きいと全日本剣道連盟は考えているからです。
■メリット
１． お金が入る（国から補助金が出るなど）
２． 認知度が高まる（多くのメディアに取り上げられる）
３． 国内外に剣道人口が増える
■デメリット
１． 剣道の特性が失われる恐れがある（勝利至上主義化、礼節の低下、和装の消滅など）
２． 勝敗の判定が難しく剣道の理よりも物理判定に傾く恐れがある
少子化やスポーツ種目の多様化により、全国的に剣道人口が減少し、剣道予算も縮小している状況において、オリンピック競技種目となれば、これらの問題を一気に解決する可能性を秘めてはいるのですが、それ以上に剣道が剣道でなくなってしまうことを危惧しているということだと思います。
仮にオリンピック化を目指そうとしても、次の理由でハードルは高く実現は困難とも考えられています。
オリンピック競技種目として採用されるためには、男性競技の場合、4大陸で75か国以上、女性競技の場合、3大陸で40か国以上で広くおこなわれている競技でないといけません。
国際競技団体（IF）の加盟国数でいくと、剣道は57、柔道183、空手150、フェンシング106、レスリング142、、、となっており、他の競技とのバランスを考えると100か国は超えないと承認されるのは難しいと言われているようです。
このような状況下で、加盟国数を増やすとなると、既に加盟している先進国だけではなく発展途上国もターゲットにせざるをえないわけですが、高価な剣道具や竹刀の入手は難しいでしょうし、稽古場となる板張りの剣道場を建設するには相当無理があると思われます。
さらに剣道は禅や神道との結びつきも深いことから、異教徒（イスラム等）の理解を得られにくいかもしれません。
このように仮に剣道のオリンピック化を目指そうとしても、実現のハードルが高いのが現状です。
ちなみにオリンピック競技種目に選ばれるためには、次の５つのプロセスを踏まなければならず、剣道は現在２番目のGAISFに加盟した段階で留まっています。これはオリンピック競技種目になることを目指したわけではなく、韓国が先にGAISFに加盟し、コムド（韓国が提唱する剣道）を世界の主流にしようとする動きを先んじて制したものです。
※GAISF加盟の意義 (寄稿まど・平成18年6月号)
https://www.kendo.or.jp/old/column/227.html#gaisf
【オリンピック競技種目になるためのプロセス】
１、 国際競技団体（IF）を設立する・・・1970年に国際剣道連盟設立。
２、 GAISF（国際スポーツ連盟機構）に加盟すること・・・剣道は2006年に加盟。
３、 ワールドゲームズ実施競技種目となる
４、 IOC承認国際競技団体連動に加盟すること
５、 オリンピック競技種目に選ばれる
以上です。