はじめに 本記事では，gensimモジュールを用いてWord2Vecで分散表現を獲得・保存・読み込む方法を紹介します． 公式リファレンス: radimrehurek.com 目次 はじめに 目次 分散表現の学習 各種オプション 学習済み分散表現の機能 分散表現の保存 分散表現の読…

はじめに 本記事では，xlsxwriterでエクセルに数値や文字列を書き込む方法を紹介します．また，文字列の一部を色付けする，セルを結合後に書き込む，リスト形式のデータを書き込む，列の幅を調整するようなことも記載しています． 目次 はじめに 目次 xlsxwr…

はじめに 本記事では，argparseを用いてコマンドライン引数を便利に使う方法を紹介します． 公式ドキュメントはこちら：argparse --- コマンドラインオプション、引数、サブコマンドのパーサー — Python 3.10.6 ドキュメント 目次 はじめに 目次 argparseは…

はじめに 本記事では，spaCyを用いて英文をトークナイズする方法を紹介します． トークナイズに関する情報を比較的詳しく解説するとともに，公式ドキュメントやソースコードへの導線を張ることを目的にしています． 本記事に書いてあることは，公式ドキュメ…

はじめに 本記事ではnltkに収録されているコーパスの利用方法を紹介します． 公式ドキュメント： www.nltk.org 以下では，まずは収録コーパスを扱うためのメソッドを紹介した後，収録されている主なコーパスの紹介を行います．なお，メソッドの紹介のサンプ…

はじめに 本記事では[sklearn.feature_extraction.text.TfidfVectorizerについて丁寧に説明します． 公式ドキュメント： scikit-learn.org はじめに tfとidf TfidfVectorizerの役割 TfidfVectorizerの入出力 TfidfVectorizerの宣言 主なメソッド・属性 fit()…

はじめに 本記事ではsklearn.metrics.classification_reportについて丁寧に説明します． 公式ドキュメント： scikit-learn.org はじめに classification_reportの役割 classification_reportの入出力 classification_reportの宣言 出力の説明 列ラベルの説明…

はじめに 本記事ではsklearn.preprocessing.LabelEncoder()について丁寧に説明します． 公式ドキュメント： scikit-learn.org はじめに LabelEncoderの役割 LabelEncoderの基本的な入出力 LabelEncoderの宣言 fit() transform() (ラベル→ラベルID) fit_trans…

はじめに 本記事では，Pytorchの埋め込み層を実現するnn.Embedding()について，入門の立ち位置で解説します． ただし，結局公式ドキュメントが最強なので，まずはこちらを読むのをお勧めします． pytorch.org 対象読者は， 他のモデルの実装記事見ても，全人…

はじめに 深層学習によって学習を行う際には，ミニバッチ化して学習させることが一般的です．本記事では，pytorchで提供されているDataSetとDataLoaderという機能を用いてミニバッチ化を実現する方法について書きます． はじめに ミニバッチ化とは DataSetと…

はじめに ここではpythonの練習問題を掲載しています． データを処理する際には，必ず「データの格納」と「データの取り出し」を行うことになるので，その方法を知ることを目的としています．問題は暗算で解けるものや，頭の中で答えが分かるものが多数あり…

はじめに ここではpythonの練習問題を掲載しています． データを処理する際には，必ず「データの格納」と「データの取り出し」を行うことになるので，その方法を知ることを目的としています．問題は暗算で解けるものや，頭の中で答えが分かるものが多数あり…

スクレイピングとは webサイトから必要な情報を抜き出してくることです。 requestsとは pythonのモジュールの一つで、httpの通信ができます pip install requests beautifulSoupとは pythonのモジュールの一つで、webサイトのデータを入力して、それを解析し…