アリババのQwen 2.5：最大100万トークンコンテキスト長のLLM

アリババは、オープンソースの大規模言語モデルQwen 2.5のメジャーアップデートを発表しました。最大100万トークンのコンテキスト長を実現しました！これは「Dual Chunk Attention」と呼ばれる新しい技術によるものです。Hugging Faceで7Bパラメータと14Bパラメータの2つのモデルが公開されていますが、これらを実行するには膨大なVRAMが必要です。7Bモデルでは少なくとも120GB、14Bモデルでは少なくとも320GBが必要です。短いタスクにも使用できますが、アリババはカスタムvLLMフレームワークの使用を推奨しています。また、よりサイズが小さいGGUF量子化バージョンも登場していますが、完全なコンテキスト長での動作には互換性の問題がある可能性があります。ブロガーがOllamaを使ってMacでGGUFバージョンを実行しようとしましたが、いくつかの問題に遭遇し、今後のアップデートを約束しています。