この時代、原則的には中央の教育機関であった
大学は主に
貴族の、地方の教育機関であった
国学は
郡司の子弟を対象とするなど身分制限があり、運用面において庶民にも全く開放されていなかったわけではなかったが、極めて狭き門であった。また、大学・国学では主に
儒教を専門に教育しており、
仏教・
道教などは扱っていなかったし、寺院では仏教を専門に教育しており、儒教などの世俗の学問は基本的に扱っていなかった。空海は、こうした現状を打破しようと、天長5年付で「綜芸種智院式并序」(『
性霊集』巻十)を著して、全学生・教員への給食制を完備した身分貧富に関わりなく学ぶことのできる教育施設、俗人も僧侶も儒教・仏教・道教などあらゆる思想・学芸を総合的に学ぶことのできる教育施設の設立を提唱し、その恒久的な運営を実現するため、天皇、大臣諸侯、仏教諸宗の高僧らをはじめ、広く世間に支持・協力を呼びかけたのである。
ただ、実際に空海の構想がどこまで実現されたかは明らかでない部分が多く、綜芸種智院の設立自体を疑問視する見解も一部にはある。綜芸種智院は、空海の死後10年ほど経た
承和12年(845年)、所期の成果を挙げることが困難になったとして、弟子たちによる協議の末売却された。その売却益は
東寺の真言僧育成財源確保のための
寺田(所在地丹波国多紀郡、のちの大山荘)購入にあてられている。売却まで運営されていたのか、それ以前からすでに運営されなくなっていたのか定かでないが、一般的には、天長5年末から承和12年までの20年弱が、綜芸種智院の存続期間と考えられている。廃絶理由として、財源不足、後継者難、真言教団維持優先への路線転換、構想自体の非現実性、実際は朝廷による民衆懐柔のための一時的施設であったとする見方など、様々な理由があげられているが、いまだ定説を得るに至っていない。