gemini Homepage

Copyright (C) 2001-2002, SATO Lab.

gemini チュートリアル

お知らせ

gemini のダウンロード

更新履歴 (history.txt)

gemini 1.3.4 にはバグが発見されています。
複雑な括弧付けの文を渡さなければ使用できるはずです。

gemini 2.0 (2003/1/15)

ダウンロード (gemini-2.0.zip, 183KB) for Windows (CR/LF)
ダウンロード (gemini-2.0.tar.bz2, 120KB) for UNIX (LF)
ダウンロード (gemini-2.0.tar.gz, 164KB) for UNIX (LF)

gemini 1.3.4 (2002/4/8)

ダウンロード (gemini-1.3.4.zip, 90.9KB) for Windows (CR/LF)
ダウンロード (gemini-1.3.4.tar.bz2, 57.9KB) for UNIX (LF)

gemini 1.2.1 (2002/2/8)

ダウンロード (gemini-1.2.1.zip, 92.6KB) for Windows (CR/LF)
ダウンロード (gemini-1.2.1.tar.bz2, 62.4KB) for UNIX (LF)

gemini 1.1 (2002/1/30)

ダウンロード (gemini-1.1.zip, 78.4KB)

gemini 使用上の注意

gemini はフリーソフトです。
なお、gemini を使って発生した障害や事故に関して、佐藤研究室は一切の責任を負いかねます。使用する際は自己責任でお願いします。
また、β版は開発中のスナップショットに近い状態のものとなりますので、まったく安定していません。なるべく正式公開版を使うよう、お願いします。

gemini とは

gemini (Graphical EM Implementation of Natural language processIng) は、グラフィカル EM アルゴリズムを使った PCFG パラメータの学習プログラムです。Inside-Outside アルゴリズムよりも高速なグラフィカル EM アルゴリズムによって、これまで扱うのが現実的でなかった大規模な文法に対してもパラメータ学習を行うことが可能になります。

gemini は主に以下のプログラムによって構成されます。

• Earley パーザ (eparser.rb)
  • 1.2.1 までは earleyparser.rb
• 支持グラフ生成 (mksg.rb)
• グラフィカル EM (gem.rb)
• 確率化 Earley パーザ (sparser.rb) (Stolcke のアルゴリズム)

これらの他に、コーパス操作やデータ解析の補助に使われるスクリプトも含まれます。

現在、以下の機能が実装されています。

1. Earley パーザによる CFG での構文解析
   • 括弧付きコーパスも構文解析可能
2. 構文解析結果から支持グラフへの変換
   • CYK 型と Earley 型の支持グラフ出力をサポート
3. gEM と支持グラフによる PCFG パラメータ学習
4. Stolcke のアルゴリズムによる PCFG パラメータ学習
   • "An Efficient Probabilistic Context-Free Parsing Algorithm that Computes Prefix Probabilities",
     Stolcke, Computational Linguistics 21 (2), 1995
5. コーパス操作のユーティリティ
   • 文長ごとでの分割
   • 特定位置などでの抽出
6. 文法操作のユーティリティ
   • FIRST 集合の計算
   • 簡単なチェック
7. PCFG による構文木予測 (1.3 以降)
   • Viterbi のアルゴリズムによる予測
8. 予測精度の測定 (1.3 以降)
   • Labeled Tree, Precision, Recall, Bracketed Tree, Precision, Recall

gemini を使用するためには、オブジェクト指向スクリプト言語 Ruby のインタプリタが必要になります。また、C 言語で書かれた拡張モジュールをコンパイルするために gcc と GNU make が必要になります。

現在、以下の環境で動作確認 (gemini-2.0) が行われています。

• WindowsXP Professional Service Pack 1
  • Cygwin 1.3.17-1
  • Ruby 1.8.0 (2002-12-24) [i386-cygwin]
  • gcc 3.2
  • GNU make 3.79.1
• VineLinux 2.1.5/2.5
  • Linux 2.4.18-0vl3
  • ruby 1.6.7 (2002-03-19) [i386-linux]
  • gcc 2.95.3
  • GNU make 3.79.1
• FreeBSD 4.3-RELEASE
  • ruby 1.6.7 (2002-03-01) [i386-freebsd4.3]
  • gcc 2.95.3

改行コードの扱いにより、環境によってはコンパイルなどできない場合があ るかもしれません。そのような場合は、お使いのOS を明記の上、

までお知らせください。

gemini のインストール

　まずは、圧縮されたアーカイブを展開します。

    $ unzip gemini-*

次に、作成された gemini ディレクトリで拡張モジュールのコンパイルを行います。

    $ cd gemini
    $ make

これで準備は完了です。
　具体的な使い方に関しては、チュートリアルのページを参照するようにお願いします。

佐藤研究室ホームページ｜東京工業大学ホームページ