先日，dlshogiの山岡氏が将棋AIモデルの評価用データセットを公開された． 本記事では，そのデータセットを用いて，WCSC35でnshogiが使用したモデルの精度を評価した結果を報告する．

データセットに含まれる $856923$ 局面について，policyの精度とvalueの精度を評価したところ，以下の結果となった．

• Policy accuracy: $47.59\%$
• Value accuracy: $73.66\%$

なお，policyの精度はpolicyの上位1手がデータセットの次の一手と一致した割合， valueの精度はvalueの勝率予測が0.5以上の方の手番が実際の勝敗と一致した割合として測定した．

dlshogiの精度と比べ大きく劣るため，引き続きモデルの改良を進めていきたい．