中国語学者。音韻学の大家。元東大教授。戦国武将・藤堂高虎の子孫(伊賀上野城代家老の末)。
大学紛争のとき学生側に立ち、1970年、強行排除に抗議して東大教授を辞職。また、漢字の字源研究で、北宋の王安石・王聖美、清の段玉裁の唱えた「右文説」(漢字の字源は旁[つくり]にあるとする説)を発展させ、字音の異同を重視する独自の研究を行う。漢字の字源研究では白川静と並び称せられる大家だが、白川は藤堂説を全否定した。
司馬遼太郎は友人で、司馬は藤堂の死を悼み「あの膨大な知識は、どこへいってしまうのだろう」と述べている。また、弟子筋に高島俊男・加納喜光らがいる。