佐藤（泰）研では， 計算と学習の統合による柔らかな人工知能の実現を目指して， 以下の研究を進めています． 知能の重要な機能として， 記憶や連想以外に推論の機能があり， また推論の形態としては， 公理から定理を導く演繹的推論， 観察結果から一般則を導く帰納的推論， および観察結果から原因を推定するアブダクションがありますが， 我々はこの中で推論結果に不確定性を含む帰納とアブダクションに着目し， 述語論理による論理計算に， 統計的手法による学習や不確定さの評価を融合する事により， 環境に適応する事の出来る知的システムの枠組を研究しています． 発表文献の全リストはこちらをご覧下さい．

• 記号的統計モデリング/統計的アブダクション
  • モデル記述言語
    • 論理プログラムに基づくモデル記述言語 (PRISM)
  • 確率的言語モデリング
    • 確率文脈自由文法の高速パラメータ学習 (Gemini)
    • 確率文脈自由文法の変分ベイズ学習
  • ベイジアンネットワーク
  • クラスター BP/CCCP
  • ユーザモデリング
• 知識の自動獲得/学習
  • 帰納論理プログラミング
    • 限量化決定木 (QDT)
  • 進化論的手法による知識獲得
  • 文法学習
  • 学習オートマトン
• 論理プログラミング
  • 一階コンパイラ
  • プログラム変換
• 強化学習
  • マルチエージェント強化学習
  • 関係強化学習

記号的な知識を含む統計モデルの記述言語 (プログラミング言語) およびその処理系である PRISM の研究と 開発を行っています． PRISM は統計的アブダクションと呼ばれるアブダクションと 統計推論を融合した枠組として位置づけることが出来ます． PRISM は論理プログラムを基礎として， ベイジアンネットや隠れマルコフモデル， 確率的オートマトンなどの構造モデルを包含する汎用の統計モデル 記述言語で，その処理系は EM (Expectation-Maximization) アルゴリズムに基づくデータからのパラメータ学習機能を備えています． 近年，論理プログラムにおけるテーブル探索手法と動的計画法 (dynamic programming) に基づいた効率的なEM学習方式を提案 しており，最新版の処理系にも導入しています． ユーザモデリングなどへの応用が見込まれています．

関連文献

1. Sato, T.: Inside-outside probability computation for belief propagation. Proceedings of the 20th International Joint Conference on Artificial Intelligence (IJCAI-2007), pp.2605-2610, 2007.
   PDF
2. Sato, T.: A Generic Approach to EM Learning for Symbolic-Statistical Models. Proeedings of the 4th Learning Language in Logic Workshop (LLL05), 2005.
   PDF
3. Sato, T., Kameya, Y. and Zhou, N.-F.: Generative modeling with failure in PRISM. Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI2005), pp.847-852, 2005.
   PDF
4. Sato, T. and Kameya, Y.: A dynamic programming approach to parameter learning of generative models with failure. Proceedings of ICML Workshop on Statistical Relational Learning and its Connection to the Other Fields (SRL2004), 2004.
   PS, PDF
5. Sato, T. and Kameya, Y.: Parameter Learning of Logic Programs for Symbolic-Statistical Modeling. Journal of Artificial Intelligence Research (JAIR), Vol.15, pp.391-454, 2001.
   PS, PS + compress(.Z), PDF
6. Sato, T. and Kameya, Y.: PRISM: A symbolic-statistical modeling language. Proceedings of the 15th International Joint Conference on Artificial Intelligence (IJCAI97), pp.1330-1335, 1997.
   PS, PS + gz, PDF
7. Sato, T.: A statistical learning method for logic programs with distribution semantics. Proceedings of the 12th International Conference on Logic Programming (ICLP95), Tokyo, pp.715-729, 1995.
   extended version: PS, PS + gz, PDF

近年，確率的言語モデルに基づく記号列の解析が自然言語処理や 遺伝子情報処 理といった分野で注目されています． また，そのような確率的言語モデルとし て，隠れマルコフモデル，確率文脈自由文法とその拡張モデル(文脈履歴を考慮 したモデル) などが知られています．当研究室では以下のような研究が行われ ています．

• 曖昧性がそれ程高くない文脈自由文法 (CFG) をベースとする確率文脈 自由文法のEM学習において，CFGパーザと当研究室の記号的統計モデル記述言語 の研究から派生し た効率的な EM アルゴリズムの連結により，Inside-Outsideアルゴリズ ム(従来法)に比べ大幅な高速化が得られることを実験的に確認しました． Earley パーザに基づく実装としてGemini が開発されています．
• 階層隠れマルコフモデルという確率的言語モデルの EM 学習法に対して， 従来より簡潔なアルゴリズムを提案しています．
• 確率文脈自由文法に対する変分ベイズ法アルゴリズムを導出するととも に，アルゴリズムの計算量がInside-Outsideアルゴリズムと同じである ことを示しました．また，実験的にInside-Outsideアルゴリズムよりも 学習精度がよいことを示しました．

関連文献

1. Kurihara, K. and Sato, T.: An Application of the Variational Bayesian Approach to Probabilistic Context-Free Grammars. IJCNLP-04 Workshop Beyond shallow analyses, 2004.
   PDF
2. Sato, T. and Zhou, N.-F.: A New Perspective of PRISM Relational Modeling. Proceedings of IJCAI-03 workshop on Learning Statistical Models from Relational Data (SRL2003), pp.133-139, 2003.
   PS, PS + gz, PDF
3. 上田展久，佐藤泰介， 階層隠れマルコフモデルに対する簡単な訓練アルゴリズム， 電子情報通信学会論文誌，Vol.J85-D-I，No.6，pp.538-548，June，2002．
4. Ueda, N., Sato, T.: Simplified training algorithms for hierarchical hidden Markov models. Proceedings of the 4th International Conference on Discovery Science (DS2001), LNCS Vol.2226, pp.401-415, Springer, 2001.
5. Sato, T., Abe, S., Kameya, Y., and Shirai, K.: A separate-and-learn approach to EM learning of PCFGs. Proceedings of the 6th Natural Language Processing Pacific Rim Symposium (NLPRS-2001), pp. 255-262, 2001.
   Revised version: PS, PS + gz, PDF
6. 亀谷由隆，森高志，佐藤泰介， WFST に基づく確率文脈自由文法およびその拡張文法の高速 EM 学習， 自然言語処理 Vol.8 No.1，pp.49-84，2001．
   PS, PS + gz, PDF
7. 上田展久，亀谷由隆，佐藤泰介， 括弧付けなしの文に対する確率文脈自由文法の効率的訓練法， 電子情報通信学会論文誌，Vol.J83-D-I，No.11，pp.1178-1186，November，2000．
8. Ueda, N., Kameya, Y., and Sato, T.: A parameter updating of stochastic context-free grammars in linear time on the number of productions. Proceedings of the 1st IMC workshop, 1999.

文脈自由文法の学習（以下，文法学習）はコーパスの作成支援やより良い言語 モデルの作成に利用できると考えられています．しかし，文法学習の計算量は 本質的に大きく，実際の計算は困難です．Inside-Outsideアルゴリズムに 代わって，本研究ではPRISMの研究において開発されたグラフィカルEMアルゴリズム を用いています．我々は実験により文法の規模に対してほぼ一定の時間で文法を 学習できることを示しました．文法規模に対して学習が一定の時間で可能という 性質はより大規模な文法の学習において有効であると考えられます．

関連文献

1. 栗原賢一，亀谷由隆，佐藤泰介， 構文森を用いた実コーパスからの大規模な確率自由文脈文法の高速学習法， 人工知能学会論文誌，Vol.19，No.5，pp.360-367，2004．
   PDF (JSAI J-STAGE)
2. 栗原賢一，佐藤泰介， 構造なしコーパスからの大規模な文脈自由文法の高速学習法， 情報処理学会 自然言語処理研究会 (NL) 155-3，pp.13-18，2003．
   PDF

決定木や相関ルールなどデータから規則性を取り出す いわゆるデータマイニングでは，変数を含んだ規則を抽出しません． 一方，帰納論理プログラミング (Inductive Logic Programming; ILP) という分野では， 変数を含んだ規則をデータから論理式の形で取り出すことにより， 非常に一般的規則を発見しますが，それでも「全て」や「ある」などの 論理学でいうところの限量子を含んだ規則の抽出は全くお手上げです． 新たに提案された限量化決定木 (quantified decision tree; QDT）は， 論理的な正確さを保ちつつ，そのような限量子を含んだ決定木を抽出する手法です． データからのプログラムの自動合成に使います．

関連文献

1. Sato, T.: Program extraction from quantified decision trees, Proceedings of Machine Intelligence 17, Bury St Edmunds, pp.78-80, 2000.
   PS, PS + gz, PDF
2. 草間隆人，佐藤泰介， 否定情報に関する決定木の拡張， 第13回人工知能全国大会予稿集，pp.310-311，1999．

人間のような高度な知能は， 今のところ脳が唯一の実現されたアーキテクチュアですが， 蟻などの集団が見せる知的とも言うべき振る舞いは何も脳の実現を経由する事なく， GA や GP などの進化論的手法により獲得可能である事が示されています． ここでは，特に協調作業の実現に的を絞り， 並行プログラミングや交通制御への応用を研究しています． また，最近ではデータマイニングで用いられる頻出部分木発見手法を用いて 優良部分木を保護することにより進化を促進させる手法を提案しています．

関連文献

1. 熊谷潤一, 小島康夫, 高重聡一, 亀谷由隆, 佐藤泰介: 頻出部分木発見手法を用いた遺伝的プログラミングの交通信号制御問題への適用, 人工知能学会論文誌, Vol. 22, No. 2, pp.127-139, 2007.
   PDF (JSAI J-STAGE)
2. 栗山盛行，佐藤泰介: 遺伝的プログラミングを用いたスレッドの協調実験， 第13回人工知能学会全国大会予稿集，pp.565-568，1999．
3. 原章，佐藤泰介: 遺伝的アルゴリズムを用いたスレッドの協調実験， 電子情報通信学会技術研究報告 Vol.97 No.63，pp.63-70，1997．
   PS, PS + gz
4. 伊庭斉志，佐藤泰介: システム同定アプローチに基づく遺伝的プログラミング， 人工知能学会誌 Vol.10 No.4，pp.100-110，1995．