gotutiyan’s blog

プログラミング関連の話題を中心に

python

spaCyで英語の文をトークナイズする方法を丁寧に

はじめに 本記事では,spaCyを用いて英文をトークナイズする方法を紹介します. トークナイズに関する情報を比較的詳しく解説するとともに,公式ドキュメントやソースコードへの導線を張ることを目的にしています. 本記事に書いてあることは,公式ドキュメ…

【NLTK】NLTKに収録されているコーパスの利用方法

はじめに 本記事ではnltkに収録されているコーパスの利用方法を紹介します. ただし,結局公式ドキュメントが最強なので,まずは,公式ドキュメントを読むことをお勧めします. www.nltk.org 以下では,まずは収録コーパスを扱うためのメソッドを紹介した後…

【sklearn】TfidfVectorizerの使い方を丁寧に

はじめに 本記事では[sklearn.feature_extraction.text.TfidfVectorizerについて丁寧に説明します. ただし,結局公式ドキュメントが最強なので,まずは,公式ドキュメントを読むことをお勧めします. scikit-learn.org はじめに tfとidf TfidfVectorizerの…

【sklearn】LabelEncoderの使い方を丁寧に

はじめに 本記事ではsklearn.preprocessing.LabelEncoder()について丁寧に説明します. ただし,結局公式ドキュメントが最強なので,まずは,公式ドキュメントを見ましょう. scikit-learn.org はじめに LabelEncoderの役割 LabelEncoderの基本的な入出力 La…

【Pytorch】nn.Embeddingの使い方を丁寧に

はじめに 本記事では,Pytorchの埋め込み層を実現するnn.Embedding()について,入門の立ち位置で解説します. ただし,結局公式ドキュメントが最強なので,まずはこちらを読むのをお勧めします. pytorch.org 対象読者は, 他のモデルの実装記事見ても,全人…

【Pytorch】ミニバッチ学習に便利なDataSet・DataLoaderの使い方

はじめに 深層学習によって学習を行う際には,ミニバッチ化して学習させることが一般的です.本記事では,pytorchで提供されているDataSetとDataLoaderという機能を用いてミニバッチ化を実現する方法について書きます. はじめに ミニバッチ化とは DataSetと…

【python3.x】 練習問題55本ノック【問題と解答】

はじめに ここではpythonの練習問題を掲載しています. データを処理する際には,必ず「データの格納」と「データの取り出し」を行うことになるので,その方法を知ることを目的としています.問題は暗算で解けるものや,頭の中で答えが分かるものが多数あり…

【python3.x】 練習問題55本ノック【問題のみ】

はじめに ここではpythonの練習問題を掲載しています. データを処理する際には,必ず「データの格納」と「データの取り出し」を行うことになるので,その方法を知ることを目的としています.問題は暗算で解けるものや,頭の中で答えが分かるものが多数あり…

requestsとbeautifulSoup4でスクレイピングをしてみた

スクレイピングとは webサイトから必要な情報を抜き出してくることです。 requestsとは pythonのモジュールの一つで、httpの通信ができます pip install requests beautifulSoupとは pythonのモジュールの一つで、webサイトのデータを入力して、それを解析し…