Posts for: #大規模言語モデル

「Hidden in plain sight： VLMs overlook their visual representations」の論文紹介

#ディープラーニング  #NLP  #LLM  #大規模言語モデル  #VLM  #CLIP  #画像  「Hidden in plain sight： VLMs overlook their visual representations」の論文紹介

今回紹介するのは Hidden in plain sight: VLMs overlook their visual representations です.

テキストの生成というよりも画像が中心となるタスクに対し、オープンソースのVisual Language Modelの性能について調査した論文になっています. DINOやCLIPをLLMに組み込んだマルチモーダルモデルは、単体のViT系のモデルよりも性能が大きく下がることを示しています.

拡散言語モデルのLLaDA

#ディープラーニング  #NLP  #拡散モデル  #LLM  #LLaMA  #LLaDA  #BERT  #大規模言語モデル  #MLM  拡散言語モデルのLLaDA

BERTを拡張した生成モデル？拡散型LLM「LLaDA」の概要と可能性

2025年に入り、拡散モデルを用いた大規模言語モデル（LLM）が注目されています.特に「Gemini Diffusion」や「LLaDA（Large Language Diffusion with mAsking）」といった新しいアプローチは、従来の自己回帰型（autoregressive）モデルとは異なる性質を持ち、今後のLLMのあり方を変える可能性すらあります. 提案手法のLLaDAとLLaMAを比較したものが以下で、提案手法は遜色ない性能が出ています.