使ってみた。
日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。
http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html
とりあえず動けばいいや、という版。
#!/usr/bin/perl use strict; use LWP::UserAgent; use XML::Simple; use YAML qw/ Dump /; use Encode qw/ encode_utf8 /; my $ua = LWP::UserAgent->new(); $ua->env_proxy(); my $text; while (<>) { $text .= $_; } my $uri = q{http://api.jlp.yahoo.co.jp/MAService/V1/parse}; my $res = $ua->post( $uri, { appid => '******', sentence => $text, }, ); my $xml = $res->content; my $ref = XMLin( $res->content ); print Dump $ref; for my $w ( @{ $ref->{ma_result}->{word_list}->{word} } ) { print encode_utf8( sprintf "%s\t%s,%s\n", $w->{surface}, $w->{pos}, $w->{reading} ); }
入力文書。
日本語形態素解析Webサービスは、24時間以内で1つのIPアドレスにつき50000件のリクエストが 上限となっています。 また、1リクエストの最大サイズを100KBに制限しています。 詳しくは「利用制限」をご参照ください。
出力結果。
日本語 名詞,にっぽんご 形態素 名詞,けいたいそ 解析 名詞,かいせき Web 名詞,Web サービス 名詞,さーびす は 助詞,は 、 特殊,、 24 名詞,24 時間 接尾辞,じかん 以内 接尾辞,いない で 助詞,で 1 名詞,1 つ 接尾辞,つ の 助詞,の IP 名詞,IP アドレス 名詞,あどれす に 助詞,に つき 動詞,つき 50000 名詞,50000 件 接尾辞,けん の 助詞,の リクエスト 名詞,りくえすと が 助詞,が 上限 名詞,じょうげん と 助詞,と なっ 動詞,なっ て 助詞,て い 助動詞,い ます 助動詞,ます 。 特殊,。 また 副詞,また 、 特殊,、 1 名詞,1 リクエスト 名詞,りくえすと の 助詞,の 最大 名詞,さいだい サイズ 名詞,さいず を 助詞,を 100 名詞,100 KB 名詞,KB に 助詞,に 制限 名詞,せいげん し 助動詞,し て 助詞,て い 助動詞,い ます 助動詞,ます 。 特殊,。 詳しく 形容詞,くわしく は 助詞,は 「 特殊,「 利用 名詞,りよう 制限 名詞,せいげん 」 特殊,」 を 助詞,を ご参照 名詞,ごさんしょう ください 助動詞,ください 。 特殊,。
ちなみに Mecab だとこうなる。
日本語 名詞,一般,*,*,*,*,日本語,ニホンゴ,ニホンゴ 形態素 名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ Web 名詞,固有名詞,組織,*,*,*,* サービス 名詞,サ変接続,*,*,*,*,サービス,サービス,サービス は 助詞,係助詞,*,*,*,*,は,ハ,ワ 、 記号,読点,*,*,*,*,、,、,、 24 名詞,数,*,*,*,*,* 時間 名詞,接尾,助数詞,*,*,*,時間,ジカン,ジカン 以内 名詞,非自立,副詞可能,*,*,*,以内,イナイ,イナイ で 助詞,格助詞,一般,*,*,*,で,デ,デ 1 名詞,数,*,*,*,*,* つ 助動詞,*,*,*,下二・タ行,基本形,つ,ツ,ツ の 助詞,連体化,*,*,*,*,の,ノ,ノ IP 名詞,固有名詞,組織,*,*,*,* アドレス 名詞,一般,*,*,*,*,アドレス,アドレス,アドレス に 助詞,格助詞,一般,*,*,*,に,ニ,ニ つき 動詞,自立,*,*,五段・カ行イ音便,連用形,つく,ツキ,ツキ 50000 名詞,数,*,*,*,*,* 件 名詞,接尾,助数詞,*,*,*,件,ケン,ケン の 助詞,連体化,*,*,*,*,の,ノ,ノ リクエスト 名詞,一般,*,*,*,*,リクエスト,リクエスト,リクエスト が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 上限 名詞,一般,*,*,*,*,上限,ジョウゲン,ジョーゲン と 助詞,格助詞,一般,*,*,*,と,ト,ト なっ 動詞,自立,*,*,五段・ラ行,連用タ接続,なる,ナッ,ナッ て 助詞,接続助詞,*,*,*,*,て,テ,テ い 動詞,非自立,*,*,一段,連用形,いる,イ,イ ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス 。 記号,句点,*,*,*,*,。,。,。 また 接続詞,*,*,*,*,*,また,マタ,マタ 、 記号,読点,*,*,*,*,、,、,、 1 名詞,数,*,*,*,*,* リクエスト 名詞,一般,*,*,*,*,リクエスト,リクエスト,リクエスト の 助詞,連体化,*,*,*,*,の,ノ,ノ 最大 名詞,一般,*,*,*,*,最大,サイダイ,サイダイ サイズ 名詞,一般,*,*,*,*,サイズ,サイズ,サイズ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 100 名詞,数,*,*,*,*,* KB 名詞,固有名詞,組織,*,*,*,* に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 制限 名詞,サ変接続,*,*,*,*,制限,セイゲン,セイゲン し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ て 助詞,接続助詞,*,*,*,*,て,テ,テ い 動詞,非自立,*,*,一段,連用形,いる,イ,イ ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス 。 記号,句点,*,*,*,*,。,。,。 詳しく 形容詞,自立,*,*,形容詞・イ段,連用テ接続,詳しい,クワシク,クワシク は 助詞,係助詞,*,*,*,*,は,ハ,ワ 「 記号,括弧開,*,*,*,*,「,「,「 利用 名詞,サ変接続,*,*,*,*,利用,リヨウ,リヨー 制限 名詞,サ変接続,*,*,*,*,制限,セイゲン,セイゲン 」 記号,括弧閉,*,*,*,*,」,」,」 を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ ご 接頭詞,名詞接続,*,*,*,*,ご,ゴ,ゴ 参照 名詞,サ変接続,*,*,*,*,参照,サンショウ,サンショー ください 動詞,非自立,*,*,五段・ラ行特殊,命令ｉ,くださる,クダサイ,クダサイ 。 記号,句点,*,*,*,*,。,。,。
最後のほうの「ご参照」が、Yahoo では「ご参照」だが Mecab では
ご 接頭詞,名詞接続 参照 名詞,サ変接続
となるのが違うな……
