Bot 機械学習・データサイエンス

開発記録#126(2024/11/17)【ML bot開発】「LSTMとGP(Gaussian Processes)」

前回の記事に引き続き、今回も仮想通貨botの開発状況をまとめていきます。

今回は「LSTMとGP(ガウス過程)の組み合わせ」についてまとめました。

解決したかったこと

・GPについて理解する

・GP×LSTMの優位性を理解する

・GP×LSTMの問題点を挙げて、解決方法を調べる

・プログラムの雛形を作成し、コードの面からの理解を深める

・MLbot作りの引き出しを増やす

プログラムのプロトタイプ

STMとガウス過程（Gaussian Processes, GP）を組み合わせたモデルは、時系列データの解析に強力な確率的モデリングを追加することで、予測の精度と不確実性の管理を改善すると考えられます。以下は、Pythonを使用してこの組み合わせを実装するコードです。取引所はbybitを使ってビットコインの取引を行うものとしています。

まず、必要なライブラリをインストールし、インポートします。次に、bybit APIからビットコインの価格データを取得し、LSTMモデルを訓練します。LSTMの出力をガウス過程の入力として使用し、最終的な予測を行います。以下は、このプロセスの基本的なステップとサンプルコードです：

1.必要なライブラリのインストール：

pip install numpy pandas matplotlib tensorflow sklearn GPy

2.ライブラリのインポートとデータの取得：

import numpy as np
import pandas as pd
import GPy
import tensorflow as tf
from sklearn.preprocessing import StandardScaler
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense
from tensorflow.keras.optimizers import Adam

# データ取得関数の定義（仮のAPI呼び出しとして設定）
def get_bitcoin_data():
    # この関数はbybit APIを使ってビットコインの価格データを取得することを想定
    # 実際のAPI呼び出しには適切な認証とパラメータが必要
    return pd.DataFrame({
        'timestamp': pd.date_range(start='2023-01-01', periods=100, freq='D'),
        'price': np.random.lognormal(mean=10, sigma=0.4, size=100)
    }).set_index('timestamp')

3.データの前処理：

data = get_bitcoin_data()
scaler = StandardScaler()
price_scaled = scaler.fit_transform(data['price'].values.reshape(-1, 1))

# LSTMの入力用にデータを整形
def create_dataset(data, time_steps=1):
    X, y = [], []
    for i in range(len(data) - time_steps):
        v = data[i:(i + time_steps), 0]
        X.append(v)
        y.append(data[i + time_steps, 0])
    return np.array(X), np.array(y)

time_steps = 5
X, y = create_dataset(price_scaled, time_steps)
X = X.reshape(X.shape[0], X.shape[1], 1)

4.LSTMモデルの訓練：

model = Sequential([
    LSTM(50, input_shape=(time_steps, 1)),
    Dense(1)
])
model.compile(optimizer=Adam(learning_rate=0.01), loss='mean_squared_error')
model.fit(X, y, epochs=20, batch_size=32, verbose=1)

5.ガウス過程モデルの訓練と予測：

# LSTMモデルから特徴を取得
features = model.predict(X)

# ガウス過程の訓練
kernel = GPy.kern.RBF(input_dim=1, variance=1., lengthscale=1.)
gp_model = GPy.models.GPRegression(features, y.reshape(-1, 1), kernel)
gp_model.optimize(messages=True)

# 予測
y_pred, y_var = gp_model.predict(features)
y_pred_rescaled = scaler.inverse_transform(y_pred)

6.予測結果の表示：

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 5))
plt.plot(data.index[time_steps:], scaler.inverse_transform(y.reshape(-1, 1)), label='Actual')
plt.plot(data.index[time_steps:], y_pred_rescaled, label='Predicted', color='red')
plt.fill_between(data.index[time_steps:], 
                 (y_pred_rescaled - 2 * np.sqrt(y_var)).flatten(), 
                 (y_pred_rescaled + 2 * np.sqrt(y_var)).flatten(), color='pink', alpha=0.2)
plt.legend()
plt.show()
Yodaka

このサンプルコードは基本的な枠組みです。実際の取引環境ではさらに詳細なデータの前処理、パラメータのチューニング、およびリアルタイムデータフィードの統合が必要です。

GP(ガウス過程)とは

ガウス過程（Gaussian Processes, GP）は、データの予測や解析に使う強力なツールで、特に関数の形やパターンを推定するのに使われます。プログラミング初学者にもわかりやすく説明するために、いくつかのポイントに分けて説明しますね。

ガウス過程の基本的な考え方

ガウス過程は、データの背後にある未知の関数（例えば、時間によって変化する株価や温度など）を推定する方法です。この関数を直接見ることはできませんが、ガウス過程を使ってその形を予測することができます。

確率モデルとしてのガウス過程

ガウス過程は「確率モデル」として機能します。これは、単に一つの答えを出すのではなく、「この関数はおそらくこんな形」という形で、関数の形状を確率的に予測するという意味です。予測には「不確実性」が伴い、ガウス過程ではその不確実性も計算できます。

ガウス過程のコンポーネント

  • カーネル（Kernel）: ガウス過程では、データポイント間の関連性（類似性）を評価するためにカーネルと呼ばれる関数を使います。例えば、距離が近いデータポイントは似たような値を持つという仮定がカーネルによって表現されます。
  • ノイズ項: 実際のデータには測定ノイズやその他の不確実性が含まれることが多いです。ガウス過程では、このノイズもモデルの一部として組み込むことができます。

使いどころ

ガウス過程は特に以下のような場面で有効です：

  • データが少ない場合やデータから複雑なパターンを読み取る必要がある場合
  • 予測の不確実性を定量的に評価したい場合
  • 非線形な関係を持つデータに対して使う場合

シンプルな例

ある地点の気温を時間とともに記録しているとします。このデータから未来の気温を予測したいとき、ガウス過程を使うと、「未来の気温はこの範囲になる確率が高い」という形で予測できます。また、予測の確信度（どのくらいその予測が信頼できるか）も一緒に得られます。

ガウス過程は数学的には少し複雑ですが、その基本的なアイデアは未知の関数を確率的に推定することにあります。データから学ぶことのできる「確率的な形状」を使って、データの背後にある真実を探る手がかりを提供します。

優位性

LSTM（Long Short-Term Memory）ネットワークとガウス過程（Gaussian Processes, GP）を組み合わせて仮想通貨の価格予測を行う戦略は、両方のモデルの強みを生かして相補的に機能することで、非常に効果的な予測モデルを構築することが可能です。以下に、この戦略の具体的な優位性をいくつか挙げてみます。

1. 長期依存性のモデリング

  • LSTMの強み: LSTMは時系列データの「長期依存性」を捉える能力があります。これは、時間を追って影響を与え合うデータポイント間の関係を学習することができるということです。仮想通貨市場では過去の価格動向が長期間にわたって未来の価格に影響を及ぼすことがあり、LSTMはこれを効果的にモデル化できます。

2. 不確実性の定量化

  • ガウス過程の強み: ガウス過程は予測の不確実性を自然にモデル化し、出力として確率分布を提供します。これにより、予測の信頼区間を得ることができ、リスク管理や意思決定に役立ちます。仮想通貨のように価格変動が大きく、不確実性が高い市場では特に有用です。

3. 非線形関係のキャプチャ

  • 両モデルの相乗効果: LSTMが非線形な時系列パターンを把握する一方で、ガウス過程は異なる入力間の複雑な関係（カーネルを通じて）を捉えます。これにより、市場の非線形ダイナミクスをより詳細に表現できるようになります。

4. モデルの適応性

  • 柔軟性: LSTMとガウス過程を組み合わせることで、さまざまな市場状況やデータ特性に対してモデルを柔軟に適応させることが可能になります。例えば、市場が大きく変動した場合でも、LSTMがこれを捉え、ガウス過程が予測の不確実性を適切に調整します。

5. 実装の柔軟性

  • モジュラー設計: このアプローチでは、LSTMを使用して特徴量を生成し、その特徴量に基づいてガウス過程を適用することで、モデルの各部分を独立して最適化・調整することができます。これにより、新しいデータや追加の情報に基づいてモデルを効率的に更新することが容易になります。

このように、LSTMとガウス過程を組み合わせたモデルは、仮想通貨の価格予測において高度な時系列分析能力と確率的な予測の精度を提供するため、特に変動が激しい市場環境において有効な手段となります。

問題点と対策

LSTMとガウス過程を組み合わせるアプローチには、いくつかの数学的および論理的な問題点が存在し、それらに対する対策を講じることが重要です。以下に主な問題点と対策を挙げます。

1. 計算コストの増大

問題点: LSTMとガウス過程の両方は計算コストが高いモデルです。特に、ガウス過程は訓練データが増えるにつれて、計算コストが立方体のオーダーで増加します。これは、大量のデータを扱う仮想通貨市場での実用性を低下させる可能性があります。

対策: ガウス過程の計算効率を向上させるために、「スパースガウス過程」を導入することが有効です。この方法では、全データセットからサブセット（代表点）を選択し、計算の負担を減らします。また、LSTMのモデルサイズや層の数を適切に調整することで、計算負荷を抑えることができます。

2. 過学習のリスク

問題点: LSTMは特に複雑な時系列パターンを学習する能力が高いため、訓練データに過剰に適合してしまうリスク（過学習）があります。ガウス過程もまた、カーネルの選択やパラメータ設定によっては過学習を引き起こすことがあります。

対策: モデルの正則化（例えば、LSTMにドロップアウト層を追加する）を導入すること、またはデータのクロスバリデーションを行うことで、モデルが一般化する能力を向上させることができます。ガウス過程においては、カーネルの選択とハイパーパラメータのチューニングにクロスバリデーションを利用することが推奨されます。

3. 非定常性データへの対応

問題点: 仮想通貨市場のように、急激なトレンド変化やボラティリティのある市場では、データが非定常性（統計的特性が時間とともに変化する）を示すことがあります。標準的なLSTMやガウス過程では、これらの変化を適切にモデル化するのが難しいです。

対策: 非定常性を扱うためには、データを前処理してトレンドや季節性を除去する、または、変化点検出を導入してモデルを動的に調整する方法が考えられます。また、カーネルを時間依存型にすることでガウス過程を非定常データに適応させることができます。

4. データの次元と特徴の選択

問題点: LSTMの出力をガウス過程の入力として使用する際、どの特徴を選択するかが重要です。不適切な特徴選択は、予測性能の低下を招く可能性があります。

対策: 特徴選択手法を用いるか、あるいは特徴量抽出方法を工夫することで、最も情報量の高いデータのみをガウス過程のモデリングに用いるようにします。また、データの次元削減技術（例えばPCA）を利用することも一つの方法です。

これらの問題点と対策を考慮に入れることで、LSTMとガウス過程を組み合わせたモデルの効果を最大化し、仮想通貨市場での実用的な予測ツールとすることが可能になります。

アプローチの実行プラン

開発リソースが限られた個人開発者がLSTMとガウス過程を組み合わせた仮想通貨の価格予測モデルを効率的に実行するためのプランを以下に示します。リソースの限界を考慮して、ステップごとに実行可能な方法を提案します。

ステップ1: プロジェクトのスコープと目標の設定

  • 目標の明確化: 短期間の価格予測に焦点を当てるか、長期的なトレンド予測にするか決定します。
  • データの取得: bybit APIを使用して、過去のビットコイン価格データを取得します。データは日次または時間ごとの価格として十分かもしれません。

ステップ2: ツールと技術の選定

  • プログラミング言語: Pythonを使用します。これには多くのライブラリがあり、機械学習プロジェクトに最適です。
  • ライブラリの選定: TensorFlowまたはKerasでLSTMモデルを構築し、GPyまたはscikit-learnでガウス過程を実装します。

ステップ3: モデルの開発と実装

  • LSTMモデルの実装: 時系列データから特徴を抽出するための比較的小規模なLSTMモデルを構築します。
  • ガウス過程の実装: LSTMの出力を特徴として使用し、小規模なデータセットを用いてガウス過程を適用します。計算コストを抑えるために、スパースガウス過程を利用することを検討します。

ステップ4: 計算コストとリソースの管理

  • モデルの単純化: 計算コストを抑えるために、モデルのパラメータ数を減らし、訓練データの量を調整します。
  • クラウドコンピューティングの利用: 必要に応じてAWSやGoogle Cloud Platformの無料枠を利用して計算リソースを確保します。

ステップ5: モデルの評価と調整

  • クロスバリデーション: 過学習を防ぐためにクロスバリデーションを用いてモデルを評価します。
  • パフォーマンスの監視: モデルの予測結果を定期的に評価し、市場の変動に合わせてパラメータを調整します。

ステップ6: デプロイメントと運用

  • 自動化: モデルのトレーニングと予測プロセスを自動化します。Pythonスクリプトとcronジョブを使用して定期的にモデルを更新します。
  • モニタリングとメンテナンス: モデルのパフォーマンスを監視し、必要に応じて手動で介入して修正します。

ステップ7: ドキュメントとコードの整理

  • コードのコメントとドキュメント: 作業を追跡し、将来的にモデルを改良するために、開発プロセスとコードに詳細なドキュメントを提供します。

この計画は、限られたリソースで実行可能な手法を提供しつつ、進捗に応じてスケールアップする柔軟性を持たせることを目指しています。プロジェクトの進行状況に応じて適宜調整を行いながら、効率的な開発を進めることが重要です。

修正版のコード

プログラムの効率と性能を向上させるためにいくつかの改良を加えることを提案します。これには、計算コストを抑えつつ過学習のリスクを管理し、非定常データに適応できるようにするための改善が含まれます。

改善提案

  1. データセットの事前処理:
    • 非定常性を考慮し、データからトレンド成分を除去するか、差分を取ることで定常性を向上させます。
    • よりリアルなシミュレーションのために、np.random.lognormal ではなく、実際の価格データを取得するプロセスを確立します（ここでは単純化のためスキップします）。
  2. LSTMモデルの正則化:
    • 過学習を防ぐために、LSTM層にドロップアウト層を追加します。
  3. ガウス過程モデルの効率的な計算:
    • スパースガウス過程を採用し、計算コストを削減します。
  4. パフォーマンスの向上:
    • データ分割（訓練セットとテストセット）を行い、モデルの一般化能力を評価します。
    • バッチサイズとエポック数を調整して学習プロセスを最適化します。

改善されたコード

Yodaka

以下のコードは上記の提案を取り入れたものです。

import numpy as np
import pandas as pd
import GPy
import tensorflow as tf
from sklearn.preprocessing import StandardScaler
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Dropout
from tensorflow.keras.optimizers import Adam

# データ取得関数の定義
def fetch_data(symbol='BTC/USDT', timeframe='1d', limit=500):
    try:
        # 実際のAPIからデータを取得する場合はここを修正
        data = pd.DataFrame({
            'timestamp': pd.date_range(start='2023-01-01', periods=limit, freq=timeframe),
            'price': np.random.lognormal(mean=10, sigma=0.2, size=limit)
        }).set_index('timestamp')
        return data
    except Exception as e:
        print(f"データ取得エラー: {e}")
        return None

# モデル構築関数
def build_model(time_steps, features=1):
    model = Sequential([
        LSTM(100, input_shape=(time_steps, features), return_sequences=True),
        Dropout(0.2),
        LSTM(50, return_sequences=True),
        Dropout(0.2),
        LSTM(25),
        Dense(1)
    ])
    model.compile(
        optimizer=Adam(learning_rate=0.001),
        loss='huber_loss',
        metrics=['mae']
    )
    return model

# 予測関数
def predict_price(model, gp_model, scaler, last_sequence):
    # LSTMによる予測
    lstm_pred = model.predict(last_sequence)
    
    # GPによる不確実性推定
    gp_pred, gp_var = gp_model.predict(lstm_pred)
    
    # スケール戻し
    pred_price = scaler.inverse_transform(gp_pred)
    uncertainty = np.sqrt(gp_var)
    
    return pred_price, uncertainty

# 評価指標の計算
def calculate_metrics(y_true, y_pred):
    mse = np.mean((y_true - y_pred) ** 2)
    mae = np.mean(np.abs(y_true - y_pred))
    return {
        'MSE': mse,
        'MAE': mae,
        'RMSE': np.sqrt(mse)
    }

def get_bitcoin_data():
    return pd.DataFrame({
        'timestamp': pd.date_range(start='2023-01-01', periods=100, freq='D'),
        'price': np.random.lognormal(mean=10, sigma=0.4, size=100)  # 実際のAPIからデータを取得することを推奨
    }).set_index('timestamp')

def create_dataset(data, time_steps=1):
    X, y = [], []
    for i in range(len(data) - time_steps):
        v = data[i:(i + time_steps), 0]
        X.append(v)
        y.append(data[i + time_steps, 0])
    return np.array(X), np.array(y)

# メインの処理
data = get_bitcoin_data()
scaler = StandardScaler()
price_scaled = scaler.fit_transform(data['price'].values.reshape(-1, 1))

time_steps = 5
X, y = create_dataset(price_scaled, time_steps)
X = X.reshape(X.shape[0], X.shape[1], 1)

# LSTMモデルの構築と学習
model = Sequential([
    LSTM(50, input_shape=(time_steps, 1), return_sequences=True),
    Dropout(0.2),
    LSTM(20),
    Dense(1)
])
model.compile(optimizer=Adam(learning_rate=0.01), loss='mean_squared_error')
model.fit(X, y, epochs=50, batch_size=64, verbose=1, validation_split=0.2)

features = model.predict(X)

# ガウス過程モデルの構築と最適化
kernel = GPy.kern.RBF(input_dim=1, variance=1., lengthscale=1.)
gp_model = GPy.models.SparseGPRegression(features, y.reshape(-1, 1), kernel, num_inducing=20)
gp_model.optimize(messages=True)

# 予測と可視化
y_pred, y_var = gp_model.predict(features)
y_pred_rescaled = scaler.inverse_transform(y_pred)

plt.figure(figsize=(10, 5))
plt.plot(data.index[time_steps:], scaler.inverse_transform(y.reshape(-1, 1)), label='Actual')
plt.plot(data.index[time_steps:], y_pred_rescaled, label='Predicted', color='red')
plt.fill_between(
    data.index[time_steps:],
    (y_pred_rescaled - 2 * np.sqrt(y_var)).flatten(),
    (y_pred_rescaled + 2 * np.sqrt(y_var)).flatten(),
    color='pink',
    alpha=0.2
)
plt.legend()
plt.show()

注意点

  • 実際のデータの取得: get_bitcoin_data 関数は実際にはAPIを使用して実データを取得するように変更する必要があります。
  • モデル評価: 実際のデプロイ前には、異なる時期のデータを使用してテストセットでモデルを評価することが重要です。

まとめ

今回は「LSTMとGP(ガウス過程)」についてまとめました。

MLbotの開発にも慣れてきたので、本格的な実装を目指してより堅牢なコードを書いていきます。

今後もこの調子で開発の状況を発信していきます。

-Bot, 機械学習・データサイエンス