自然言語処理ライブラリ「Camphr」（カンファー）をオープンソースとして公開
株式会社PKSHA Technologyは、自然言語処理ライブラリ「Camphr」（カンファー）をオープンソースとして公開したと発表しました。 Camphrは最先端のディープラーニングの手法から従来の手法まで、 幅広い自然言語処理手法を簡単に組み合わせられるライブラリです。
私たちが日常的に使用している自然言語をコンピュータで扱う自然言語処理技術は、 文書検索や機械翻訳など、 私たちの身の回りのさまざまなサービスで広く利用されています。
▼自然言語処理について詳しくはこちら
近年では、ディープラーニング技術の発展に伴ってディープラーニング技術を活用した自然言語処理手法が数多く生み出されており、 高性能な検索、 機械翻訳、 自動応答などの技術が実用化されてきています。
▼ディープラーニング技術を活用した自然言語処理手法について詳しくはこちら
通常、 産業用途の自然言語処理を利用したサービス開発においては、 最先端の手法を1つ使えば全ての問題を解決できるというようなことはほとんどありません。従来手法も含めた多種多様な処理の組み合わせを検討し、 試行錯誤を繰り返す必要があります。
ところが、 自然言語処理システムを構成する各手法は、 通常、 ライブラリや参照実装の形で個別に公開・提供されているため、 それらを組み合わせて実験やサービス開発をおこなうには、 その都度煩雑なプログラミングが必要となり、 開発者にとって大きな負担となっていました。
以上の背景から、PKSHA Technologyは、 研究者やエンジニアによる自然言語処理システムの研究・サービス開発の効率化・高度化と、 それによる自然言語処理技術の社会実装の加速を目的として、「Camphr」を開発し公開に至りました。
Camphrは、 さまざまな手法を統一的に扱い、 パイプライン化できるフレームワーク「spaCy」のプラグインとして実装されています。 Camphrを利用すると、 開発者はspaCyの枠組みの上で、 最先端の深層学習手法から従来のパターン・辞書等を用いたアルゴリズムまでを簡単に組み合わせて使用できます。
Camphrは、 最先端のディープラーニングの手法から従来のパターン・辞書等を用いたアルゴリズムまでを自由に組み合わせられる、 自然言語処理のためのオープンソース・ソフトウェア。 自然言語処理のフレームワークであるspaCyのプラグインとして実装されており、 一連の処理をパイプラインとして組み立てて扱うことを容易にする。
Camphrの機能は主に以下です。
- BERT、 XLNetなどのディープラーニングモデルを用いた言語解析・学習機能
- 多言語対応（75言語に対応したBERTベースの解析を提供するUdify）
- キーワード抽出、 ELMoなどの埋め込みベクトル演算機能など
- KNPを利用した構文解析機能
GitHubリポジトリはこちら。
■AI専門メディア AINOW編集長 ■カメラマン ■Twitterでも発信しています。@ozaken_AI ■AINOWのTwitterもぜひ！ @ainow_AI ┃
AIが人間と共存していく社会を作りたい。活用の視点でAIの情報を発信します。
