CodeZine(コードジン)

特集ページ一覧

PythonとCythonによる自然言語処理ライブラリ「spaCy 3.2」がリリース

  • LINEで送る
  • このエントリーをはてなブックマークに追加
2021/11/09 08:00

 PythonとCythonによって実装された、自然言語処理のためのライブラリspaCy開発チームは、最新バージョンとなる「spaCy 3.2」をリリースしている。

 「spaCy 3.2」では、スコアリングをカスタマイズするために、各コンポーネントのスコアリング関数を指定できるようになったほか、ほとんどのパイプラインコンポーネントにおいて、設定の上書きがサポートされた。

 また、nlpとnlp.pipeではDocによる入力が可能になり、文字列の代わりにDocが提供される場合にはトークナイザがスキップされ、カスタムトークナイザによるDocの作成や、処理前のカスタム拡張機能の設定が容易になっているほか、サブワードとBloom組み込みによって、コンパクトでフルカバーのベクトルを実現するfastTextの拡張版であるfloretのサポートが追加されている。

 さらに、spacy-transformersがシリアル化を改善し、インライントランスフォーマーコンポーネントとリスナの置き換えをサポートするようリファクタリングされたほか、transformer_config設定もサポートされたバージョン1.1にアップデートされるとともに、日本語用のTransformerパイプラインパッケージの追加なども行われた。

関連リンク

  • LINEで送る
  • このエントリーをはてなブックマークに追加

あなたにオススメ

All contents copyright © 2005-2022 Shoeisha Co., Ltd. All rights reserved. ver.1.5