はじめに 本記事では，spaCyを用いて英文をトークナイズする方法を紹介します． トークナイズに関する情報を比較的詳しく解説するとともに，公式ドキュメントやソースコードへの導線を張ることを目的にしています． 本記事に書いてあることは，公式ドキュメ…