CodeZine(コードジン)

特集ページ一覧

AWS、日本語自然言語処理の語彙データ「SudachiDict」と単語ベクトル「chiVe」をOpen Dataに追加

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
2020/10/16 08:00

 アマゾンウェブサービスジャパンは、日本語自然言語処理の形態素解析器である「Sudachi」の語彙「SudachiDict」と、単語ベクトル「chiVe」のデータが、「Open Dataset」に追加されたことを、10月9日に発表した。

 「Sudachi」は、オープンソースの形態素解析器で、主に文章のテキスト分割、品詞の付与、そして正規化処理を行う。従来の形態素解析器と比較して、複数のテキスト分割単位を併用することが可能で、UniDicやNEologdをベースとした多数の語彙を収録しており、プラグインによりさまざまな機能を追加できる。

 その語彙データである「SudachiDict」は、UniDicの収録語とその正規化表記、分割単位を収録した「Small」、基本的な語彙を収録した「Core」、雑多な固有名詞まで収録した「Full」の3種類が提供されており、用途に合わせて利用することができる。

 「chiVe」は大規模コーパスと複数粒度分割に基づく、日本語単語ベクトル。オープンソースの日本語自然言語処理ライブラリであるGiNZAと組み合わせて利用することで、より高精度なモデル開発が可能。

 データはAmazon S3上でホストされているので、AWSで日本語自然言語処理モデルの開発を行う際に、すばやくデータをダウンロードして、利用が可能になっている。

関連リンク

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
All contents copyright © 2005-2020 Shoeisha Co., Ltd. All rights reserved. ver.1.5