Vimで入力モードを抜けたときに日本語入力をOFFにする方法が分からない

Windows上のGVimだとESC押すと同時にIMEがOFFになるんだけど、同じようなことをターミナル上のVim（Linux、Mac OS X）でも出来ないものか。うーむ。