変数を使用してPandas.DataFrameの列名を動的に設定する方法についてまとめます。 Pythonにはフォーマット済み文字列リテラル（f-strings）という記法が存在するのですが、今回はそれを使用します。 １．フォーマット済み文字列リテラル（f-strings）とは 文…
Pandas Dataframeに対して、locで抽出した方が良いのか、queryで抽出した方が良いのか。 可読性はqueryの方が良さそうですが、今回は性能面で比較してみようと思います。 1．データダウンロード データはsklearnの「カリフォルニア住宅価格」を使用しました…
１．概要 Pythonの地図ライブラリ「folium」を使ってハザードマップを重ね合わせたいと思います。 ハザードマップは国土交通省国土地理院が公開しているのですが、APIも公開しているので、色々自分でカスタマイズすることもできます。ハザードマップAPIにつ…
pandas-datareaderというpythonライブラリを使用して株価データや金融データを取得する方法についてまとめます。pandas-datareaderとはウェブ上の様々なデータソースにアクセスするライブラリです。今回は以下にアクセスします。 アクセス先 概要 Stooq ポー…
Selenium使用時に「Element is not clickable at point (xxx, xxx)」というエラーが出て色々調べたので、その内容についてまとめます。 １．結論 ２．事象再現 ３．解決方法 ４．ソース一式 １．結論 最初に結論だけ述べると、、 エラー原因：画面外のelemen…
タスクスケジューラ関連で個人的に躓いたポイントとその解決策についてまとめておきたいと思います。 １．予定時刻になってもタスクが実行されない問題 ① 事象 以下のように繰り返し実行のタスクを作成するが、予定時刻になってもタスクが実行されないという…
netkeibaから競馬データをスクレイピングする方法についてまとめます。既に同様の記事は世にたくさん出回ってますが、少し改良して効率化してみました。 １．既出のスクレイピング方法の問題点 ２．どうやって効率化するか ２．１．開催レース一覧ページから…
shapライブラリを使用して、回帰問題を解いた機械学習モデルの大局的解釈を行う。 １．SHAPとは SHAP（SHapley Additive exPlanations）は、機械学習モデルの局所的な解釈可能性を提供するためのフレームワークです。SHAPは、個々の特徴量が予測にどのように…
pdpboxライブラリを使用して、回帰問題を解いた機械学習モデルの大局的解釈を行う。 １．データセット 今回はsklearnのボストン住宅価格データセットを例に実装してみる。データセットの概要は以下の通り。 目的変数：ボストンの地域別住宅価格 説明変数：以…
PythonのPandasを用いて、任意のカラム毎にグルーピングして、過去データを集約する方法についてまとめます。調べても意外と情報が少なくて苦戦しました。見つけても、複数カラムでグルーピングできなかったり、自信のデータを除外できなかったりと。これら…
前回はGlicko2 Rating Systemを使用してレーティングを行いましたが、今回はElo Ratingを使用してみました。今回は競走馬だけではなくジョッキーやトレイナーについてもレーティングを行っています。Elo Ratingは通常チェス等の1対1の対戦において使用される…
競走馬の強さを評価するために競走馬のレーティングをしてみました。レーティングはGlicko2 Rating Systemというのを使用してみました。Glicko2の概要やPythonでの実装方法については以下の記事にまとめたので、良ければ見てください。 book-read-yoshi.hate…
競走馬の強さをレーティングをしたくて、レーティングシステムについて調べたところ、glicko-2 rating systemというのが良さそうでした。本記事ではこれの直感的な理解やPythonによる実装方法についてまとめます。Glicko-2 rating systemの計算式について知…
前々から気になってたGrad-CAMを実装してみました。実装に当たって以下を参考としてます。 EfficientNet-Keras-GradCam-Visualization/inference_example.ipynb at master · lvisdd/EfficientNet-Keras-GradCam-Visualization · GitHub上記は訓練済みのEffic…
ImageDataGeneratorを使って画像拡張を色々試してみます。使う画像は実家のワンコ（小次郎君）の写真です。 １．画像の水増し ① 回転（rotation_range） ② 横にずらす（width_shift_range） ③ 縦にずらす（height_shift_range） ④ 明るさを変える（brightnes…
tensorflow.kerasの画像拡張用モジュールImageDataGeneratorを使ってデータ拡張する際に、featurewise系のオプションの使用方法で躓いていたのですが、解決策が分かったのでまとめます。結論は至極シンプルで、しかも公式ドキュメントにちゃんと書かれている…
機械学習における不均衡データへの対処方法としてアンダーサンプリングやオーバーサンプリングについてまとめます。不均衡データとは目的変数のクラスの度数が極端に偏っているデータのことです。今回はKaggleで公開されている「Credit Card Fraud Detection…
※2021/11/4現在において「日付を指定できない問題」が解消していることを確認しました。 ※同様の事象が再発した場合の参考になるかもしれないので、本記事は残しておきます。株価データを取得する際に、多くの人がpandas-datareaderを使ってStooq（各種経済…
Optunaとはハイパーパラメータチューニングを自動で実施してくれる大変便利なフレームワークで、LightGBMを使う人は良く使うんじゃないかなと思います。今回はそんなOptunaを使用するときの再現性の確保方法についてまとめます。私が使用しているパッケージ…
本記事では以下についてまとめます。 TensorFlowとPytorchにおける画像のデータ構造の違いについて解説 データ構造の相互に変換する方法について解説 １．TensorFlowとPytorchの画像のデータ構造の違い １．１．概要 １．２．具体例を使ってデータ構造の違い…
Python上で銘柄コード一覧を取得して、Pandas.DataFrameに格納する方法についてまとめます。手っ取り早くソースコードを見たい方は本記事最下段の参考まで飛んでください。 １．概要 ２．JPXから銘柄コード一覧をダウンロード ３．ダウンロードしたExcelをPa…
2019年にGoogle Brainから発表された画像認識モデルBiT（Big Transfer）をファインチューニングする方法についてまとめます。BiTにかかわる解説は以下が良くまとまっていました。 パラメータ数10億！最新の巨大画像認識モデル「BiT」爆誕 & 解説 - Qiita簡単…
PythonのPandasで横持ちデータを縦持ちにデータに変換する方法についてまとめます。 縦持ちデータを横持ちデータに変換する方法については過去記事にまとめています。 １．実施内容（概要） Pandasの以下のような横持ちデータを 氏名 数学 国語 英語 ドイツ…
SQLで横持ちデータを縦持ちにデータに変換する方法についてまとめます。 縦持ちデータを横持ちデータに変換する方法については過去記事にまとめています。 １．実施内容（概要） SQLで以下のような横持ちデータを 氏名 数学 国語 英語 ドイツ語 アラビア語 A…
LightGBMを使用して株価予測をしていきたいと思います。ソースの全文は本記事の末尾に載せました。忙しい人は１．概要と末尾のソースで十分かもしれません。 １．概要 １．１．予測対象 １．２．説明変数 １．３．分析期間 １．４．予測結果 ２．株価データ…
前回はPythonのPandasで縦持ちデータを横持ちにする方法についてまとめましたが、今回はSQLです。PostgreSQLで実行した方法ですが、たぶんOracleやMySQLでも動くと思います。動かったなかったらごめんなさい。 縦持ちデータを横持ちデータに変換する方法につ…
データを縦持ちから横持ちに変換する方法について解説します。 横持ちデータを縦持ちデータに変換する方法についてはこちらでまとめています。 １．そもそも縦持ちと横持ちとは 縦持ちとは縦に長いデータで以下のようなデータのことです。 氏名 科目 点数 A…
ViT（Vision Transformer）を使用して学習したモデルをロードしようとしたところ、（ValueError: Unknown layer: ClassToken）というエラーが出ました。本記事ではこのエラーに対する対処方法についてまとめました。
ViT（Vision Transformer）とEfficientnetをCIFAR-10で試してみて、分類精度や処理速度の違い等を比較しました。
EfficientNetの概要を紹介するとともに、TensorflowによるEfficientNetの実装方法についてまとめました。qubvel/efficientnet（tfkeras）を使用しています。
