gotutiyan’s blog

プログラミング関連の話題を中心に

機械学習・深層学習

spaCyで英語の文をトークナイズする方法を丁寧に

はじめに 本記事では,spaCyを用いて英文をトークナイズする方法を紹介します. トークナイズに関する情報を比較的詳しく解説するとともに,公式ドキュメントやソースコードへの導線を張ることを目的にしています. 本記事に書いてあることは,公式ドキュメ…

多クラス分類における混同行列と評価指標を丁寧に

はじめに 本記事では多クラス分類(マルチクラス分類)における評価値の考え方・計算方法について説明します.具体的には,最も重要な混同行列の作成方法から始まり,適合率(Precision),再現率(Recall),F1スコア,マクロ平均,およびマイクロ平均を扱…

【NLTK】NLTKに収録されているコーパスの利用方法

はじめに 本記事ではnltkに収録されているコーパスの利用方法を紹介します. ただし,結局公式ドキュメントが最強なので,まずは,公式ドキュメントを読むことをお勧めします. www.nltk.org 以下では,まずは収録コーパスを扱うためのメソッドを紹介した後…

【sklearn】TfidfVectorizerの使い方を丁寧に

はじめに 本記事では[sklearn.feature_extraction.text.TfidfVectorizerについて丁寧に説明します. ただし,結局公式ドキュメントが最強なので,まずは,公式ドキュメントを読むことをお勧めします. scikit-learn.org はじめに tfとidf TfidfVectorizerの…

【sklearn】LabelEncoderの使い方を丁寧に

はじめに 本記事ではsklearn.preprocessing.LabelEncoder()について丁寧に説明します. ただし,結局公式ドキュメントが最強なので,まずは,公式ドキュメントを見ましょう. scikit-learn.org はじめに LabelEncoderの役割 LabelEncoderの基本的な入出力 La…

【Pytorch】nn.Embeddingの使い方を丁寧に

はじめに 本記事では,Pytorchの埋め込み層を実現するnn.Embedding()について,入門の立ち位置で解説します. ただし,結局公式ドキュメントが最強なので,まずはこちらを読むのをお勧めします. pytorch.org 対象読者は, 他のモデルの実装記事見ても,全人…

【Pytorch】ミニバッチ学習に便利なDataSet・DataLoaderの使い方

はじめに 深層学習によって学習を行う際には,ミニバッチ化して学習させることが一般的です.本記事では,pytorchで提供されているDataSetとDataLoaderという機能を用いてミニバッチ化を実現する方法について書きます. はじめに ミニバッチ化とは DataSetと…