機械学習コミュのdirected graphical model

Clustering 系の Bayesian Methods

HLT の Tutorial が非常に面白かったので紹介します。

http://bayes.hal3.name
http://www.isi.edu/~hdaume/bayes/hlt-slides.pdf

これらのモデルで、何が難しいかというと、Hidden Variableがふたつ以上隣にあり、関連があるために、推定しにくいのが問題で、だから分布が指定してあっても簡単に計算できないそうです。

少し前の HLT 2004 の tutorial はここにあります。
https://ssli.ee.washington.edu/~bilmes/bilmes_hlt04_tutorial/bilmes_tutorial.pdf

KDD 2005 のtutorial
http://www.ics.uci.edu/~smyth/talks/

non-parametric bayesは、これらのtutorialの延長線上にあります。　分布のパラメータが、データが増えるに従って増えるように直し、クラスタの数などをあらかじめ指定しなくてもすむようにすると、次のような話になります。

http://www.cs.berkeley.edu/~jordan/nips-tutorial05.ps

Graphical Modelで、non-parametric priorをつかって、いろいろな相関関係を考慮しながらクラスタリングする話です。 Hidden Variableがクラスターを表しています。　

A reading list on Bayesian methods
http://cocosci.berkeley.edu/tom/bayes.html
いろいろな文献がまとめてあります。

まとめトピックということで、
もう少し使いかたの具体例がある tutorial がここらへんです。

http://www.milab.is.tsukuba.ac.jp/~myama/pdf/topic2006.pdf
http://www.stanford.edu/~grenager/papers/dp_2005_02_24.ppt

他の presentations

http://l2r.cs.uiuc.edu/~cogcomp/AIML/ARCHIVE/2004-FALL/papers/braz.ppt
http://www.cs.columbia.edu/~risi/talks/chinese.pdf
http://www.cs.huji.ac.il/course/2004/learns/LatentDirichletAlloc.ppt
http://courses.ece.uiuc.edu/ece598/ffl/paper_presentations/NicolasLoeff_LDA.pdf

class lectures
http://www-inst.eecs.berkeley.edu/~cs281a/fa05/lectures/lectures.html
http://www.cs.berkeley.edu/~jordan/courses/slt/
http://www.cs.berkeley.edu/~jordan/courses/281B-spring04/
http://www.cs.ubc.ca/~murphyk/Teaching/CS532c_Fall04/Papers/index.html

もうすこし細かい論文。

Variational Bayesian EM
http://www.cse.buffalo.edu/faculty/mbeal/papers/bayana05.pdf

中華料理店プロセスと、中華料理チェーン店プロセス
(Chinese Restaurant Process　& Chinese Restaurant Franchise Process)
http://www.cog.brown.edu/~gruffydd/papers/ncrp.pdf
http://www.cs.berkeley.edu/~ywteh/research/npbayes/nips2004a.pdf
http://www.cs.princeton.edu/~blei/papers/TehJordanBealBlei2004.pdf
http://en.wikipedia.org/wiki/Chinese_restaurant_process

インド料理食べ放題プロセス
(Indian Buffet Process)
http://www.cog.brown.edu/~gruffydd/papers/ibpnips.pdf
http://www.cog.brown.edu/~gruffydd/papers/ibptr.pdf
http://www.icml2006.org/icml_documents/camera-ready/046_A_Choice_Model_with.pdf
このChoice Modelでは、MCMCのやり方できちんとExchangabilityを使えば、サンプリングがもっと正しくできる、という話が出ていました。

Latent Dirichlet Allocation
http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf
http://www.cs.princeton.edu/~blei/papers/BleiNgJordan2003.pdf
http://chasen.org/~daiti-m/dist/lda/

LDAよりも新しい、David M. BleiさんのTopic Model
http://www.cs.princeton.edu/~blei/

パチンコ Allocation
http://www.cs.umass.edu/~mccallum/papers/pam-icml06.pdf

Clustering Documents with an Exponential-Family Approximation of the Dirichlet Compound Multinomial Distribution
http://www.icml2006.org/icml_documents/camera-ready/037_Clustering_Documents.pdf

UnigramではないTopic Model。
Topic Modeling: Beyond Bag-of-Words
http://www.icml2006.org/icml_documents/camera-ready/123_Topic_Modeling_Beyon.pdf


ここからは Topic Model 以外の Graphical Modelです。

次は機械翻訳に出てくる問題の、Word Alignmentを、言語A -> Bへのモデルと、B -> A へのモデルをjoint graphical modelで統合して、Unsupervisedで発見する方法です。　綺麗です。
Alignment by Agreement
http://www.cs.berkeley.edu/~pliang/papers/alignment-naacl2006.pdf
http://www.cs.berkeley.edu/~pliang/papers/alignment-naacl2006-talk.pdf

Segmentation & LabelingをUnsupervised Graphical Modelでやる話です。
Unsupervised Topic Modelling for Multi-Party Spoken Discourse
http://acl.ldc.upenn.edu/P/P06/P06-1003.pdf

Kneser-Ney という、効果的な smoothing methodを Graphical Modelと関連づけた論文です。
A Hierarchical Bayesian Language Model based on Pitman-Yor Processes
http://acl.ldc.upenn.edu/P/P06/P06-1124.pdf

Contextual Dependencies in Unsupervised Word Segmentation
http://acl.ldc.upenn.edu/P/P06/P06-1085.pdf