Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -27,6 +27,7 @@ VisionEncoderの出力をCLSトークンだけでなく，全てパッチ分の
|
|
| 27 |
しかし，LLMが経験するVision的な特徴量の量に差があるため，再び学習する必要があると考えられます．<br>
|
| 28 |
- 元々CLSトークン1つの画像特徴から説明文を生成するように学習
|
| 29 |
- 全てのトークン257つ画像特徴から説明文を生成するように学習
|
|
|
|
| 30 |
この違いがモデルの経験値として差に現れてしまいます．<br>
|
| 31 |
どちらがより精度が良い説明文を生成することができるのでしょうか？<br>
|
| 32 |
画像特徴が1トークンだけですと，情報量が少なすぎるような気もします．（1単語と同じ情報量）<br>
|
|
|
|
| 27 |
しかし，LLMが経験するVision的な特徴量の量に差があるため，再び学習する必要があると考えられます．<br>
|
| 28 |
- 元々CLSトークン1つの画像特徴から説明文を生成するように学習
|
| 29 |
- 全てのトークン257つ画像特徴から説明文を生成するように学習
|
| 30 |
+
|
| 31 |
この違いがモデルの経験値として差に現れてしまいます．<br>
|
| 32 |
どちらがより精度が良い説明文を生成することができるのでしょうか？<br>
|
| 33 |
画像特徴が1トークンだけですと，情報量が少なすぎるような気もします．（1単語と同じ情報量）<br>
|