はじめに 本記事では，argparseを用いてコマンドライン引数を便利に使う方法を紹介します． 公式ドキュメントはこちら：argparse --- コマンドラインオプション、引数、サブコマンドのパーサー — Python 3.10.6 ドキュメント 目次 はじめに 目次 argparseは…

はじめに 本記事では，spaCyを用いて英文をトークナイズする方法を紹介します． トークナイズに関する情報を比較的詳しく解説するとともに，公式ドキュメントやソースコードへの導線を張ることを目的にしています． 本記事に書いてあることは，公式ドキュメ…

はじめに 本記事では多クラス分類（マルチクラス分類）における評価値の考え方・計算方法について説明します．具体的には，最も重要な混同行列の作成方法から始まり，適合率（Precision），再現率（Recall），F1スコア，マクロ平均，およびマイクロ平均を扱…

はじめに 本記事ではnltkに収録されているコーパスの利用方法を紹介します． 公式ドキュメント： www.nltk.org 以下では，まずは収録コーパスを扱うためのメソッドを紹介した後，収録されている主なコーパスの紹介を行います．なお，メソッドの紹介のサンプ…

はじめに 本記事では[sklearn.feature_extraction.text.TfidfVectorizerについて丁寧に説明します． 公式ドキュメント： scikit-learn.org はじめに tfとidf TfidfVectorizerの役割 TfidfVectorizerの入出力 TfidfVectorizerの宣言 主なメソッド・属性 fit()…

はじめに 本記事ではsklearn.metrics.classification_reportについて丁寧に説明します． 公式ドキュメント： scikit-learn.org はじめに classification_reportの役割 classification_reportの入出力 classification_reportの宣言 出力の説明 列ラベルの説明…

はじめに 本記事ではsklearn.preprocessing.LabelEncoder()について丁寧に説明します． 公式ドキュメント： scikit-learn.org はじめに LabelEncoderの役割 LabelEncoderの基本的な入出力 LabelEncoderの宣言 fit() transform() (ラベル→ラベルID) fit_trans…

はじめに 本記事では，Pytorchの埋め込み層を実現するnn.Embedding()について，入門の立ち位置で解説します． ただし，結局公式ドキュメントが最強なので，まずはこちらを読むのをお勧めします． pytorch.org 対象読者は， 他のモデルの実装記事見ても，全人…