過去記事一覧

過去の記事についてまとめます。

１．画像データ分析

① 画像分析モデルの紹介

画像分析モデルの実装方法について。モデルの概要も記載しています。

• TensorflowによるEfficientnetの実装
• TensorflowによるViT（Vision Transformer）の実装
• TensorflowによるBiT（Big Transfer）の実装

② モデルの比較

画像分類モデルを試してみた結果。

• CIFAR-10を使ってViTとEfficientnetを試してみた

③ 前処理

• TensorFlowとPytorchにおける画像のデータ構造の違いと変換方法（Channel first ⇔ Channel last）
• ImageDataGeneratorでデータ拡張してみた

④ XAI（説明可能AI） 

• Tensorflow-EfficientnetでGradCAMを実装してみた

２．テーブルデータ

① 前処理

• 機械学習における不均衡データへの対処方法（Over Sampling, Under Sampling等）
• 縦持ちデータを横持ちデータに変換する方法（Pandas）
• 横持ちデータを縦持ちデータに変換する方法（Pandas）
• 縦持ちデータを横持ちデータに変換する方法（SQL）
• 横持ちデータを縦持ちデータに変換する方法（SQL）
• Pandasでグループ毎に過去データを集約する方法

② XAI（説明可能AI） 

• PDP／ICEを使用した回帰問題の機械学習モデルの大局的解釈方法
• SHAPを使用した回帰問題の機械学習モデルの局所解釈方法

 ３．株価予測

① LightGBMを使用した株価分析

• 機械学習による株価予測（LightGBM）

② 前処理

• Pythonで株の銘柄コード一覧を取得する方法
• Pythonで株価データや金融データを取得する方法（pandas_datareader）

 ３．競馬予測

① データ入手

• 競馬データのスクレイピング

② 過去戦績に基づくレーティング

• 競馬のレーティングをしてみた（Elo Rating）
• 多人数対戦におけるレーティング方法（glicko2 rating systemを用いて）
• 競走馬をレーティングしてみた（Glicko2 Rating System）

４．分析環境の構築

• AWSでJupyter Notebookサーバを起動してクライアントPC（Windows）からアクセスする方法

５．再現性確保

• Tensorflowによる再現性の確保について（GPUを使用する場合）
• LightGBMでOptunaを使用するときの再現性確保について

６．マルチGPU学習

• マルチGPUによるTensorFlowの学習

７．エラー対処

• ViTモデルロード時のエラー（ValueError: Unknown layer: ClassToken）について
• "Blas GEMM launch failed"の対処法
• KerasのCallback：ModelCheckpoint使用時のエラー「Error! hdf5file is not UTF-8 encoded」について
• pandas-datareaderで株価データを取得する際に日付を指定できない問題
• ImageDataGeneratorにおいてfeaturewise系のオプションがうまく機能しない問題
• タスクスケジューラで陥りやすいトラブル集
• Seleniumエラー：Element is not clickable at point (xxx, xxx)について