3モデルとも、生データセット自体は非公開です。公表レベルには差があります。 モデル 公表状況 Qwen2.5-7B-Instruct Technical Reportあり。事前学習18兆トークン(知識・コード・数学重視)、事後学習100万例(SFT/DPO/GRPO)という規模・構成カテゴリは「事前学習データは7兆トークンから18兆トークンに増加し、知識・コーディング・数学に重点を置いている」「事後学習データは100万例に及び、教師ありファインチューニング(SFT)・直接選好最適化(DPO)・グループ...段階にわたる」と公表。ただし具体的なデータソース(どのウェブサイト・どのコーパスか)は非…