m’avoir invité
のavoirは、複合過去の助動詞なんです。
deの後には動詞を原形でしか置くことができず、
でも過去形を使いたい…そんな時に
avoirやêtreを原形の形で置いて、
その後に過去分詞を置いて過去であることを表す
infinitif passéという方法なんです♪