<p data-line="1" class="code-line">以前LangChainを利用しPickleファイルを操作している際に、「ValueError: The de-serialization relies loading a pickle file」というエラーに遭遇しました。</p>
<p data-line="3" class="code-line">このエラーに対処したので備忘録を残します。</p>
<h2 id="%E3%82%A8%E3%83%A9%E3%83%BC%E3%81%AE%E5%8E%9F%E5%9B%A0" data-line="5" class="code-line"><a class="header-anchor-link" href="#%E3%82%A8%E3%83%A9%E3%83%BC%E3%81%AE%E5%8E%9F%E5%9B%A0" aria-hidden="true"></a> エラーの原因</h2>
<p data-line="6" class="code-line">このエラーは、Pickleファイルを安全でない方法で読み込もうとしたときに発生します。</p>
<p data-line="8" class="code-line">PickleはPythonでオブジェクトをシリアライズ（保存可能な形式に変換）してファイルに保存したり、その逆の操作をするためのモジュールです。</p>
<p data-line="10" class="code-line">しかし、信頼できないソースからのPickleファイルを読み込むことは、コードの実行や任意のコードの実行を引き起こす可能性があり、セキュリティリスクが伴います。</p>
<h2 id="%E8%A7%A3%E6%B1%BA%E6%B3%95" data-line="12" class="code-line"><a class="header-anchor-link" href="#%E8%A7%A3%E6%B1%BA%E6%B3%95" aria-hidden="true"></a> 解決法</h2>
<p data-line="13" class="code-line">この問題の解決法は、<code>allow_dangerous_deserialization</code>オプションを<code>True</code>に設定することです。</p>
<p data-line="15" class="code-line">これにより、Pickleファイルの読み込み時のセキュリティチェックが緩和されますが、信頼できるソースからのファイルのみこの方法を使うようにしてください。</p>
<p data-line="17" class="code-line">例えば、私はLangChainのFAISSを使用していたのですが、ベクトルストアをロードする際に以下のように記述することでエラーを回避できます。</p>
<div class="code-block-container"><pre class="language-python"><code class="language-python code-line" data-line="19">FAISS<span class="token punctuation">.</span>load_local<span class="token punctuation">(</span><span class="token string">"vectorstore"</span><span class="token punctuation">,</span> embeddings<span class="token punctuation">,</span> allow_dangerous_deserialization<span class="token operator">=</span><span class="token boolean">True</span><span class="token punctuation">)</span>
</code></pre></div><p data-line="23" class="code-line">このコードは、<code>vectorstore</code>という名前のベクトルストアを読み込み、<code>embeddings</code>という埋め込みモデルを使用して、<code>allow_dangerous_deserialization</code>を<code>True</code>に設定することで、Pickleファイルの読み込みに関するセキュリティ制限を緩和します。</p>
<h2 id="%E6%B3%A8%E6%84%8F%E7%82%B9" data-line="25" class="code-line"><a class="header-anchor-link" href="#%E6%B3%A8%E6%84%8F%E7%82%B9" aria-hidden="true"></a> 注意点</h2>
<p data-line="26" class="code-line"><code>allow_dangerous_deserialization</code>を<code>True</code>に設定することで、問題は解決しますが、安全でないデシリアライゼーションを許可することになるため、使用するファイルの出所が信頼できることを確認してください。</p>
<p data-line="28" class="code-line">不明なソースからのファイルは、このオプションを使わずに開かないようにしましょう。</p>
<h2 id="%E5%8F%82%E8%80%83" data-line="30" class="code-line"><a class="header-anchor-link" href="#%E5%8F%82%E8%80%83" aria-hidden="true"></a> 参考</h2>
<p data-line="31" class="code-line">
    <iframe 
      class="hatenablogcard" 
      style="width:100%;height:155px;max-width:680px;" 
      src="https://hatenablog-parts.com/embed?url=https://stackoverflow.com/questions/78120202/the-de-serialization-relies-loading-a-pickle-file" 
      width="300" 
      height="150" 
      frameborder="0" 
      scrolling="no">
    </iframe>       
    </p>


LangChainでPickleファイルの読み込みエラー「ValueError: The de-serialization relies loading a pickle file」の解決法