コンテンツにスキップ

Qwen3.8-27BはCode Arena WebDevで総合9位、27Bモデルの強みと実務の限界

8月26日時点の採用判断

対象: ローカルで動かすオープンウェイトモデルを、コーディング用途で比較している開発者

用途現時点の判断
Web画面の生成と比較候補に入れる
補助付きの短いコーディング自分のタスクで試す
長時間の自律エージェントいきなり主力にしない
機密コードをクラウドへ出せない量子化と必要メモリを確認して試す

ローカルのWeb生成と補助コーディングでは比較候補に入れ、長時間の自律作業は反復試験後に主力採用を判断する。 Code Arena WebDevの総合9位は、多段推論とツール利用を含むWeb生成タスクでの人間の選好を示すが、リポジトリ全体を扱うエージェントの完遂率や所要時間を保証しない。15

Qwen3.8-27BのCode Arena上位評価とエージェント実務の検証不足を対比した判断図

総合9位はWeb生成の有力候補を示す

Code Arena WebDevの2026年8月21日版で、Qwen3.8-27Bは1595点の総合9位に入ったが、順位幅は8位から13位で、1595点には±13の不確実性が付くため、固定的な9位ではなく上位群に位置すると捉える。1

分野別ではConsumer Productが6位、Brand & Marketingが7位、Gamingが8位だったが、順位幅は順に2位から15位、3位から12位、6位から13位と広く、安定した専門領域優位ではなく比較候補へ入った探索シグナルになる。2

Arena順位は自律エージェントの完遂率を表さない

Code Arena WebDevは、フロントエンド開発タスクの出力を人間の選好投票で比較する。 タスクには多段推論とツール利用も含まれるが、長いリポジトリ調査、テスト修正、失敗からの復帰、総所要時間は同じ軸ではない。1

この境界は、公開された単発テストからも見える。 約60万トークンのCコードを単一HTMLへ移植する一回限りの試験で、Claude CodeとOpus 5は21分で「okay」、Qwen3.8-27Bはhermes経由で4時間18分、codehamr経由で1時間40分を要し、投稿者はいずれも「bad」と評価した。Qwen側はRTX 6000 Pro 96GBで、vLLM、FP8重み、FP8 KVキャッシュ、262,144トークンのコンテキストを使っていた。5

この結果はモデル全体の優劣を証明しない。 元ファイルがコンテキスト長を超え、追加入力なしの単発実行であり、モデルだけでなくハーネスとプロンプトの差も含むからである。また、この96GB・FP8環境の所要時間を、後述する4bit・24GB級GPUや32GB Mac miniへ移すことはできない。 それでも、Arena上位を「長時間の自律作業も速く完遂する」と読み替えられない反例にはなる。

公式ベンチマークは強さと条件をセットで読む

Qwenのモデルカードでは、Qwen3.8-27BがSWE-bench Proで61.7、LiveCodeBench v6で90.3となり、比較欄のOpus 4.6 Maxを上回る。 一方、Terminal-Bench 2.1は73.0対78.2、GPQA Diamondは89.2対91.3、Humanity's Last Examは30.8対40.0でOpus 4.6 Maxが上だった。3

比較条件は完全には統一されていない。 SWE-bench ProではOpus 4.6 Maxだけが公式報告値で、他モデルはQwen側がClaude Codeハーネスで評価している。 第三者のArtificial Analysisは、4Bから40Bの小型オープンウェイトクラスで9評価を統合するIntelligence Indexにおいて、Qwen3.8-27Bのxhigh設定を52点とした。この点数だけでは長時間エージェントの信頼性を判断できない。 同ページでは、出力速度が比較クラスの中央値を下回り、出力トークン量は中央値より多いが、この速度はAPIプロバイダ経由の測定であり、ローカル機材の実測ではない。4

したがって、採用判断では「解けるか」と「完了までの時間、再試行、生成量」を分けて測る必要がある。

順位とベンチマーク表は検証できる一方、長時間エージェントの独立した反復試験と新型Mac miniでの実測はまだない。

27BのDenseモデルはローカル実行へ収めやすい

Qwen3.8-27Bは64層のDenseモデルで、48層のGated DeltaNetと16層のGated Attentionを組み合わせる。 ネイティブコンテキストは262,144トークンで、画像と動画の入力、Thinkingの切り替え、Apache 2.0ライセンスに対応する。3

BF16の重みだけなら概算で約54GB、FP8なら約27GBになる。 4bit量子化の実ファイルは約17GBという第三者の確認があり、重みだけなら24GB級GPUの容量内へ収まる概算だが、実行時の余裕は別に必要になる。6

ただし、ファイルが入ることと長いコンテキストを快適に動かせることは別である。 OS、推論ランタイム、KVキャッシュ、MTP用モデル、同時実行分の余裕を加える必要がある。 QwenはThinkingを標準で有効にし、reasoning_effortの既定値をxhighとしているため、単純な作業では推論量も確認する。3 ただしQwenは、推論量を下げると失敗や再試行が増え、複数ターンのエージェント作業では総所要時間が短くならない場合もあると注意している。3

Simon Willison氏の環境では、MTPを使った投機的デコードがLM Studioの既定GGUF構成より約72%速かった。 これは特定ハードウェアと構成の比較であり、全環境の速度向上率ではないが、ランタイム設定が実効性能を変える例である。6

Mac miniでは容量を先に決める

Appleの現行購入ページに掲載されたM6構成は16GB、24GB、32GBで、最大掲載構成は32GB、M5 Proは最大64GBのユニファイドメモリに対応する。78 4bit量子化の約17GBをM6で扱うなら32GB構成が前提であり、開始価格の16GB構成には収まらず、24GB構成もOS、ランタイム、KVキャッシュを考えると余裕が小さい。 FP8の約27GBを継続利用するなら、64GB構成を選べるM5 Proの方が容量計画を立てやすい。

これは動作速度の実測ではなく、重みと周辺メモリの容量見積もりである。 発売前のMac miniには独立したQwen3.8-27B実測がないため、購入判断はガジェット記事「新型Mac miniは149,800円から」の構成比較と、発売後の推論テストを合わせて行う。9

採用は完了タスク当たりの結果で決める

Qwen3.8-27Bを試す価値が高いのは、コードを外部APIへ送れない、ローカル推論の固定費を受け入れられる、短いWeb生成や補助作業から評価できる場合である。 逆に、長時間タスクを無監督で完遂すること、短い納期、再試行の少なさが必須なら、Arena順位だけで主力へ切り替えない。

同じタスクを複数回実行し、次の4項目を記録する。

  1. 事前に固定した完了条件とテスト
  2. モデル、量子化、コンテキスト、Thinking、ハーネス
  3. 成功率、壁時計時間、再試行回数、GPU使用時間
  4. クラウドモデルとの差と、完了タスク当たりの費用

Code Arena上位は、Qwen3.8-27Bを試す理由になる。 主力採用の条件は、対象リポジトリで完了率と総所要時間が許容範囲に入ることである。

この記事をポスト リンクをコピー

関連記事

出典

  1. Arena, Code Arena WebDev Overall Leaderboard（2026年8月26日確認）。8月21日版の総合順位、スコア、順位幅、投票数、評価対象を確認した。 ↩↩↩

  2. Arena, Consumer Product、Brand & Marketing、Gaming（2026年8月26日確認）。分野別順位とスコアを確認した。 ↩

  3. Qwen, Qwen3.8-27B Model Card（2026年8月26日確認）。アーキテクチャ、コンテキスト、ライセンス、Thinking設定、公式ベンチマークと評価条件を確認した。 ↩↩↩↩

  4. Artificial Analysis, Qwen3.8 27B (xhigh)（2026年8月26日確認）。Intelligence Index v4.1.1、速度、出力トークン量、比較クラスを確認した。 ↩

  5. Reddit r/LocalLLaMA, New qwen3.8:27b on a 39k line C to single-file HTML / three.js port（2026年8月26日確認）。投稿者による一回限りの比較であり、一般化できるベンチマークではない。 ↩↩

  6. Simon Willison, Qwen 3.8 27B is excellent, but it defaults to wildly overthinking things（2026年8月26日確認）。約17GBの4bitファイルと、特定環境におけるMTP構成の速度差を確認した。 ↩↩

  7. Apple（日本）, Mac miniを購入（2026年8月26日確認）。M6の16GB、24GB、32GB構成を確認した。 ↩

  8. Apple Newsroom, Apple unveils a more powerful Mac mini featuring the all-new M6 and M5 Pro（2026年8月26日）。M5 Proの最大64GB構成を確認した。 ↩

  9. SmartScope Gadgets, 新型Mac miniは149,800円から（2026年8月26日）。構成比較と発売前の実測不足を参照した。 ↩