Hatena::ブログ(Diary)

武蔵野日記 このページをアンテナに追加 RSSフィード

2018-10-17

BERT ならなんでも解けるわけじゃない

BERT ならなんでも解けるわけじゃないを含むブックマーク BERT ならなんでも解けるわけじゃないのブックマークコメント

午前中はデータ構造とアルゴリズムの演習。コーディングスタイルについて説明したうえで、Aizu Online Judge で課題を解く学生のコードをライブでリビューするのだが、これだけコーディングスタイルのことを伝えても、スタイルをガン無視で書く学生が3割くらいいる(これは毎年変わらない)。もっとも、授業ではコンパイルエラーが出たり wrong answer だったりしているコードしか見ないので、ちゃんとアクセプトされている人はしっかり書いているし、ちゃんとできない人は人の話を聞いていない(相関がある)、ということが可視化されているのかなとは思う。

午後は論文紹介と研究会。論文紹介は以下のものを紹介してもらう。

  • Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv 2018.

今年の NAACL 2018 でもベストペーパーを取った ELMo という論文がやっているのと同じタスクで、アルゴリズム的にはいくつかの手法を組み合わせているが(それぞれは既知の手法なので、この分野の研究をしていたら思いつくだろう)、ハードウェア的に力技で強力な単語と文のエンコーダを作りましたよ、という話。性能向上がめざましいが、使っているアーキテクチャ・ハードウェア的にこれを自分で学習するのは大変そう。あと、Bidirectional と言っている割にはあまり Bidirectional っぽいところはなく、ELMo という名前に引っ掛けて BERT と言いたかったのだろうな、という印象(セサミストリートのキャラクター)。

これで自然言語処理が終わりだ、というほど過大評価する必要はないが、エンジニアリングを含めしっかりしている部分を過小評価すべきでもなく、よくも悪くも記念碑的な研究になると思っている。うちの研究室でも、去年の終わりに ELMo が出て「単語や文のエンコーダの研究はもう終わりが近い、これからは言語生成のデコーダに言語的な知識を入れる方向に進むべき」と思って今年はいくつかの研究に取り組みはじめ、どのアイデアも予想通りには行っていないのだが、良好な結果が出ているにせよそうでないにせよ、世の中の人が騒いでいるその先を手探りで進んでいるのは楽しいものである。(こういうのが楽しいと思う人でないと、楽しさは分からないかもしれないが)

あと、個人的に「あっ」と思ったのはラストオーサーの所属。Kristina は自分が Microsoft Research (MSR) でインターンシップをしていたとき同じグループで研究員をしていて、その後 NAACL のプログラム委員に声をかけてくれたり、国際会議で会って話したりしていて、自分が世界の研究者コミュニティとつながるきっかけを作ってくれた恩人の一人なのだが、彼女はずっと MSR だったのが、Google に移籍していたとは。そもそも Google はいくつ研究グループがあるのだろうか……。

夕方には秋入学の研究生、交換留学生と研究室インターンシップの B3 の4名の歓迎会。「いまはまっているもの」を自己紹介がわりにスピーチしてもらったら、みんな好き好きに話してくれておもしろかった。自分が最近やっているのは口コミ投稿で、iPhone でできること、というと Twitter に書ける程度の分量のテキスト(と写真)くらいしかアウトプットできないので、割り切って書いている(インプットに時間を使った方がいい気がしなくもないが、目を酷使すると仕事に差し障りがあるので、余暇にできることにも身体的な制約がある)。

帰りは交換留学生を調布の宿舎まで送ったが、こんなところに宿舎があるのか〜。グローバル人材育成入試で入学した国際副専攻の学生に、ルームシェアしたりするチューターとして入ってもらったりしていると聞いていたが、日本にいながらにしてルームシェアでいろんな人と交流できるのはいい制度だと思う。自分はオーストラリア留学で初めてルームシェアしたが、若い人はもっとルームシェアしたらいいと思っている(首都大生は自宅通学の学生が多いのだが)。

2018-10-16

OB が研究室にやってくる

OB が研究室にやってくるを含むブックマーク OB が研究室にやってくるのブックマークコメント

火曜日は基本的に1日中 B4/研究生/M1 の進捗報告。

午後に1時間だけ共同研究の打ち合わせ。卒業生がこうやって戻ってきてくれる(?)のは嬉しいことである。そういえば NAIST 松本研もよく卒業生が共同研究のために訪問していたなぁと思ったりする。奈良だと出張感があっていいが、日野だとあまり出張感はないか……。

夕方はメール処理したり査読したり。そろそろ投稿しないジャーナルの査読を引き受けるのはやめたほうがいい気がしている。特にオープンアクセスではないジャーナルは……。

2018-10-15

体験にフォーカスするなら短期間

体験にフォーカスするなら短期間を含むブックマーク 体験にフォーカスするなら短期間のブックマークコメント

月曜日の午前中は授業がないので今学期は基本的にオフィスアワー。いまのところ、週3時間(6人分)設定しているオフィスアワーは全部予約で埋まっているので(そもそも予約しないで来てもいいのがオフィスアワーという定義からすると、オフィスアワーでもない気がするが)、一応ちゃんと運用されているようである。もっとも、M2/D を全員合わせるとフルタイム学生が10人いるので、もう少し枠を増やしておいたほうがいいのだろうか。

お昼は ACL 2018 読み会。

  • Anders Søgaard, Sebastian Ruder, Ivan Vulić. On the Limitations of Unsupervised Bilingual Dictionary Induction. ACL 2018. (slide)

うちの研究室でもいま教師なしニューラル機械翻訳の研究に着手していて、教師なしニューラル機械翻訳で何ができて何ができないか、なぜうまくいくのか、というようなことに興味があるので、おもしろかった。結局単語分散表現をしっかり学習するところがポイントだと思う(これ以上は書くとうちの研究のネタバレになるので書かないが)。

午後は高校生の理数研究ラボの事後報告会。みなさんいろいろ工夫されているのが分かっておもしろかった。結局のところ、内容を深く理解してもらうことを目的とするなら、2-3日の集中体験では難しくて、週に1回通ってもらうような形態でやるのがいいのだろうし、あまり研究体験に重きをおかない(雰囲気だけ体験してもらう)ならいまのような3日くらいのプログラムでちょうどよさそうである。

夕方はメール処理しつつ学部教務委員会のお仕事。教務の仕事がいろいろあって大変。

2018-10-14

学振はみんなで書くと取りやすい

学振はみんなで書くと取りやすいを含むブックマーク 学振はみんなで書くと取りやすいのブックマークコメント

午前中は娘を連れて近所の公園へ。滑り台に自分一人で登れるようになっていたり、ジャングルジムも上まで自力で上がっていたり、成長のスピードに驚く(保育園の連絡帳で、できるようになっているのは知っていたけど)。どんどん一人でできるようになっていくのだろうな。

午後は少し時間をもらってお仕事。奨学金の所見を書いたり、メール処理をしたり、原稿にコメントを入れたり。奨学金の所見も、毎年のように書くようになって、スラスラと出てくるようになってきた。あとは競争的な奨学金やフェローシップを研究室の学生がバンバン取ってくるようになることを期待したい。

そういえば、研究室で日本学術振興会特別研究員(DC2)に申請していた学生が、面接免除で採用内定したらしい。うちの研究室としては2人目である。NAIST 時代から現在に至るまで、自分が申請書を見た学生の9割が最終的には採用されているので、通る可能性は高いと思うのだが、こうやって実際に採用されると嬉しいものである。(ちなみにこの制度、博士後期課程に在学しながら月20万円のお金と、年間50〜150万円の研究費がもらえる)

こういう研究計画書の書き方にはコツがあって、通せる人はまぐれではなくコンスタントに通せるし、人というよりグループで書き方のノウハウを共有するとぐっと採択率が上がると思うので、うちの研究室でも今年から M1 の学生には研究計画書の作成を義務付けることにした。NAIST 松本研では学生たちの間で Dropbox に共有フォルダを作って各人の研究計画書を共有し、お互いにコメントし合っていたし(過半数の学生が採用されていた)、NAIST 池田研では M1 にみんな書かせているらしいし、そういう環境だとどんどん採用されるのだろうなと思って、少しずつうちも採択者を増やしていきたい(そもそも進学者がいないと意味ないけど)。

2018-10-13

最近の小学校は進んでる

最近の小学校は進んでるを含むブックマーク 最近の小学校は進んでるのブックマークコメント

昨晩は旧に娘(4歳5ヶ月)が保育園の友だちの家に泊まると話をつけて泊まってきていたので、朝に迎えに行く。うちから一番近い友だちの家で、自転車で5分くらいなのである。

娘は好きな子と一緒に寝られたということで大満足のようだった。「お手伝いしてくれたり、いい子にしていたよ〜」とママ友からも教えてもらう。確かにお手伝いはしたがる子だが、家では甘えん坊でも外にいると優等生。

1泊したのにまだ一緒にいたい、というので、上の子の土曜授業についていく。最近は月に1回土曜授業があるようで、保護者はもちろん地域の誰でも見学できるようになっているそうだ。自分の小学生のころは年に1回くらいしか授業参観がなかった気がするし(そもそも親が見にきていた記憶もないし)、昔と比べるとずいぶん変わった気がする。そもそも小学生のころは週休2日ではなく、土曜日も授業があったわけだけど……(土曜日に授業があった時代をいまの大学生は知らないかもしれない)

この小学校、外から見たことはあったが中に入ったのは初めてで、興味津々だったが、中はきれいだし、授業をしている先生方はまともっぽいし、教頭先生は気さくに話しかけてきてくれるし、公立小学校でもしっかりしているな、と思う。1学年3クラスでこじんまりしているのもいい。娘の学区、いま1学年6クラスと聞いて、さすがにそれは多すぎないか、と思ったりしているので……(学区内に分譲マンションができたので、一気に生徒数が増えている)。

3年生の教室で「主語と述語をはっきり言いましょう」という標語が書かれていて、小学生でも主語や述語を知っているのか、とびっくり。述語項構造解析の話は小中学生には難しいか、と思っていたが、実は大人の方が文法を知らないので難しいのかもしれない。

最近は公立小学校でも通う先を選択できるようなので、また日が近づいてきたら見学したりしてみたい。しかしあと2年半も先かと思うと、気の長い話(1年半くらいのイメージ)。