青空文庫コーパスの利用

[tokuhirom]

Wikipedia は口語文に弱いので、青空文庫を対象にする。
青空文庫はその性質からとても古い文章も多いので、得に旧仮名遣いのものは除外した上で、処理を実施する必要がある。

[tokuhirom]

#78 で実装したが、ボリュームが少なくて微妙かもしれない。大きな影響は与えられなさそう。