ゼミ、論文、研究室。
はじめに
こんにちは、ゆんらべです。今日は近況を書きました。
本編
最近、研究テーマをそろそろ考えようと思って、ボスに指示された資料や論文、謎のリンクで飛んだ動画を一通り見てたんですね。春休みから勉強を始めた自然言語処理のテーマでやりたいなって。
うちの研究室では医療関係者との連携を図っているそうで、失語症の人の助けになる研究をするらしいです。今までは自分の趣味の範囲でしか自然言語処理、機械学習を考えていなかったから、社会の役に立つ研究をするのかーって、漠然と思ったわけですね。直接社会に貢献するわけではないけど、間接的にでも社会の、人のためになることができるって良いことだなって感じちゃいました。まだ貢献してないけど。
卒業した先輩の論文を読んでみて、と指示をもらったので卒論を読んだんですけど、機械学習のモデルについての説明が大体判り、圧倒的強者感で満ち溢れましたね。ただ卒論で先輩が構築したモデルではエンコーダにBERTを使用していて、僕が春休みにBERTで実装したモデルは失敗に終わっているので、軽くトラウマが蘇りましたね。BERTはデカい。
ボスにこの前の製作発表会で出した霊夢さん対話botの記事を見てもらって、アドバイスというか発展案をもらったんですよ。サラッと言ってるけど、結構難しいことやらせようとしてません？って思いました。卒論レベルを越えている気がする。実装方法を考えてみたら面白いですね、との言葉を承ったので頑張っていきたいです。頑張りたい。しばらくはbotの拡張案を模索していくことになりました。うちのボスはBERTを推しているので、しばらくはBERTの勉強ですね。BERTは発展形が多いんじゃあ。
ボスに紹介された動画、自然言語処理の分野の最新の動向とモデルの概略が判りやすく説明されている動画だったんですね。45分は地味に長かったですが、その分内容が盛りだくさんでしたね。近年はやはりTransformerが流行りだそうで、その中でもBERTが主流なんだとか。現在はBERTの改善、拡張、軽量化が進みつつあり、それを利用できるソースコードなんかもあるらしいです。BERTからは逃げられない。BERTを信じろ。BERT is All You Need.
自然言語処理はTransformer関連が現在では最強なんですが、Transformerが出現した2017年以前の参考書って、たった3年前なのに、情報が凄く古く感じるんですね。最近買って読んでみた自然言語処理の本、Transformer出現前なので色々遠回りしている印象を受けました。まだ決定的なモデルが出ていなかった時期の本なので、色々なモデルの勉強ができたのは凄く良かったですね。数式多くて脳みそタイムブレイクしてました。
ところで、水嶋ヒロってカッコよくないですか？仮面ライダーカブトを視聴しているのですが、水嶋ヒロってカッコよくないですか？水嶋ヒロが作る和食フルコース俺も食べたい。水嶋ヒロが作る鯖の味噌煮俺も食べたい。水嶋ヒロありえんほどカッコよくないですか？水嶋ヒロ演じる天道総司も、行動・発言共にヤバい奴なのに、水嶋ヒロだから妙な説得力を感じざるを得ませんでした。というか今のところ(19話)、一回も苦戦してないのヤバイですよね。龍騎だったらナイトに何回もボコられてるし、ゼロワンだったら滅に何回もボコられてますよ。それでも、まあ天道総司だし...って説得力があるの水嶋ヒロis神って感じです。カッコよすぎる。
最後に
いかがでしたか？水嶋ヒロはカッコいい。それではまた。
