Recent Post
-
A Theoretical Analysis of Contrastive Unsupervised Representation Learning
どんな論文？1. どんなもの？同じグループの表現を近づけて、negative samplingにより異なるグループ表現を遠ざける教師なし学習が、教師あり学習の上界になっていることを示した論文。さらに、この理論解析から、CURL(Contrastive Unsupervised Representation Learning)という、同じグループの平均を使う方法を提案し、精度が向上することを示した。2. 先行研究と比べてどこがすごいの？ 教師なしの表現学習が、分類タスクで精度を向上させてき...
-
Efficient human-like semantic representations via the Information Bottleneck principle
どんな論文？1. どんなもの？色を信号として入力し、単語のような離散tokenとして出力するencoderとそれを受け取って、色信号を出力するデコーダーをinformation bottleneckを使って定式化し学習させた論文。これによって、人間の自然言語で表されている色の表現は、かなり最適値に近いことを示した。2. 先行研究と比べてどこがすごいの？ 人間の自然言語が、情報圧縮の点で、最適であることを示した。 逆に、このモデルで外界の入力信号をtokenとして離散化することができるこ...
-
Specializing Word Embeddings (for Parsing) by Information Bottleneck
どんな論文？Information Bottleneckを使用して、ELMOをparsingに特化したベクトルに変換する手法。新規性 information bottleneckを使って、embedingを特化させる点 推定方法の色々な工夫 parsingの部分だけを取り出すため、layer-０の相互情報量で、正規化結果 bottle-neckに閾値があり、ある点から急に精度が下がる。 適度に絞ると、posタグごとに分散表現が別れる(fig2) 離散的なタグをbottle-ne...
-
Specializing Word Embeddings (for Parsing) by Information Bottleneck
どんな論文？Information Bottleneckを使用して、ELMOをparsingに特化したベクトルに変換する手法。新規性 information bottleneckを使って、embedingを特化させる点 推定方法の色々な工夫 parsingの部分だけを取り出すため、layer-０の相互情報量で、正規化結果 bottle-neckに閾値があり、ある点から急に精度が下がる。 適度に絞ると、posタグごとに分散表現が別れる(fig2) 離散的なタグをbottle-ne...
-
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
どんな論文？Contextulalized Word Vectorの性質を調べた論文。単語ベクトルが層を経る毎にどの程度移動しているか、文の平均とどの程度ずれているか、ランダムサンプルしたベクトル間のcos類似度がどうなっているか、どの程度一つのベクトルで説明可能かを調査している。新規性probing taskではなく、潜在空間の性質をそのまま調べている。結果 contextualized word vectorの空間は異方性 上の層のベクトルは、下の層のベクトルとあまり似ていない。上...
-
Correlations between Word Vector Sets
どんな論文？文表現の変数を潜在空間の次元１つ１つに対してトークン数次元を持つデータのサンプリングとして捉えることで、計量に相関係数を導入した論文。poolingして文の表現を作成するアプローチとカーネルによる直接計算を行っている。新規性2pairのd次元統計と考え、poolingと計量の方法を比べた点とカーネルを使用しそのまま文を比較する方法を提案したこと。結果max-poolingとロバストな相関係数を使用することで、STSタスクの多くにおいてでのピアソン相関が向上。さらに、カーネルを使...
-
Revealing the Dark Secrets of BERT
どんな論文？BERTのself-attentionにたいして、調査を行った論文。attentionにかんして、タスクごとのパターン、言語的な特徴、タスク毎に重視するパターンの調査を行った。新規性attentionについて細かく見ている点。結果タスクによって、attentionパターンはちがう。しかし、多くのタスクでSEPが強くattentionされる。何らかの言語的特徴をattentionは捉えている。ある層のattentionを平準化したところ精度が上がるものがあるので、BERTはbas...
-
graph category test
Graph
-
nlp-category-test
NLP
-
other category test
Other