さて、新年一発目の記事はAIを使ったソフトウェア開発の本を3冊読んだのでまとめて紹介しようと思います。

2024年はAIの実応用が様々な分野で出始めてきた印象を持っています。その中でもソフトウェア開発は、使い方のノウハウや各種ツールがいろいろリリースされて、これからどんどんAIを使ってソフトウェア開発がされていくんだろうなと誰もが思っているかと思います。

ただ、みなさん、実際にAIを使ってソフトウェア開発をどれくらいしているでしょうか？私も昨年末までは簡単にはGitHub Copilotを仕事や趣味で簡単に使っている程度でAIを使いこなしてソフトウェア開発をしている！と自信を持っていえる状態ではありませんでした。

このため、年末年始の休みはいい機会ということで、AIを活用したソフトウェア開発について学べる本をいくつか読みました。今回は読んだ本のうち３冊をまとめて紹介しようと思います。

生成AI時代の新プログラミング実践ガイド Pythonで学ぶGPTとCopilotの活用ベストプラクティス

生成AI時代の新プログラミング実践ガイド Pythonで学ぶGPTとCopilotの活用ベストプラクティス

著:松本直樹

Amazon

楽天市場

ポチップ

GitHub Copilot以外にもChatGPTやOpenAI API、LangChainなど、幅広いAI活用法について紹介している本で、GitHub Copilot部分に関しては実際にwebアプリケーション開発の例なんかも載っていてわりと活用イメージをすぐに持てる本です。

この本の特徴を簡単にまとめると以下の通りです。

• GitHub Copilot以外の内容も充実
  ChatGPTやOpenAI API、LangChainなどの使い方も説明されていて、AI全般に関する知識を獲得できます。ただ、GitHub Copilotだけを詳しく知りたいと思っている場合は思っていたものと違うという印象をもつかもしれません。
• GitHub CopilotとChatGPTを使った開発例がいい
  例としてGitHub Copilotの簡単な機能紹介だけではなく、ChatGPTを使った要件定義から、実際にCopilotでコードを書き上げる流れまで一連のプロセスが１章分かけて分かりやすく紹介されていました。この部分は読めばすぐにでもChatGPTとGitHub Copilotを使った開発の手順がイメージできたので、個人的に非常に良かったです。

コード×AI ー ソフトウェア開発者のための生成AI実践入門

コード×AIーソフトウェア開発者のための生成AI実践入門

著:服部 佑樹

Amazon

楽天市場

ポチップ

先ほどの本（「生成AI時代の新プログラミング実践ガイド」）が「ChatGPTとGitHub Copilotを使ってすぐに開発する手順」が分かりやすくまとまっていたのに対して、こちらの本は「AIとは何か」「ソフトウェア開発にどう活かすか」という 概念的な解説 が多い印象でした。

この本の特徴を簡単にまとめると以下の通りです。

• 特定のツールに依存しない汎用的な説明
  Promptの改善の仕方など、概念ベースの解説が多いため、すぐに知識が陳腐化してしまうリスクは少なそうです。一方で、具体的なツールの使い方に重点を置いていないため、「これを読んですぐにAI開発ができる！」という即効性はあまり感じませんでした。
• 実践するには練習が必要
  提示されているPrompt例はあくまでベースであり、こういう時どうすればいいのかについての深い言及は少なめな印象でした。このため、ただ読むだけでは活かせない知識が多く、この本で得た知識を使いこなすにはしばらくいろいろ手を動かしてみる必要があると思いました。

AIエディタCursor完全ガイド　やりたいことを伝えるだけでできる新世代プログラミング

AIエディタCursor完全ガイド ―やりたいことを伝えるだけでできる新世代プログラミング―

著:木下雄一朗

Amazon

楽天市場

ポチップ

普段VSCodeを使っている身として、「最近よくきくCursorって、使い心地はどうなんだろう？」と気になり手に取った一冊です。この本は初心者でも分かりやすく、実践的な使い方が豊富に紹介されているので、「こんなことまでできるのか！」を体感しながら読める内容でした。

この本の特徴を簡単にまとめると以下の通りです。

• エディタとしてのCursor活用例が充実
  単純な画像変換やPDF結合など、ちょっとしたスクリプトでできそうな作業から、iOSアプリ開発にまで踏み込んだ事例が取り上げられており、やりたいことに合わせてCursorを使いこなすイメージがつかみやすかったです。
• すぐに試してみたくなる
  手順が丁寧かつ実用的なため、読みながら「すぐにでもこれを試してみたい！」と思えるものが多く、Cursorでいろいろ試しながら読み進めていました。

こういう人にお勧め

今回読んだ3冊は、意図せず全然違う３冊でした。それぞれどういう人にお勧めかを簡単にまとめると

1. すぐに開発に導入してみたいなら
   「生成AI時代の新プログラミング実践ガイド」が、ChatGPTとGitHub Copilotを連携させてコード生成まで行う流れを具体的に解説してくれるので、実践的な入門書として最適に感じました。
2. 概念から学びたいなら
   「コード×AI ー ソフトウェア開発者のための生成AI実践入門」は、AI全般の仕組みやPromptの考え方など基礎がしっかり学べます。ただし、即戦力というよりは理解を深めるための本といった印象です。
3. 新しいAIエディタを試してみたいなら
   「AIエディタCursor完全ガイド」は、Cursorというエディタの便利機能を豊富な事例とともに紹介してくれるので、今までVSCodeなどを使っていた方にも新鮮な発見がありそうです。

終わりに

それぞれの本を読んだことで、AIを開発に取り入れる際のイメージが具体的になりました。ツールやフレームワークの選択肢は多く、一長一短がありますが、まずは自分が取り組んでいるプロジェクトや学習スタイルに合ったものを試してみるのが大切だと思いました。これからもAIを活用したソフトウェア開発の動向や事例を追いかけつつ、積極的に活用していきたいと考えています。

またこれまでもいろいろ本の紹介記事を書いていますので、他にも興味がある本がありましたら是非読んで見てください。

The post AIを使ったソフトウェア開発の書籍まとめ(2025/1版) first appeared on まったり勉強ノート.

LangChainについてご存じないという方のために一言で説明するとLangChainはChatGPTの内部で使われているLLMを扱いやすい形でwarpしたライブラリになります。紹介記事を以前書きましたので、詳しく知りたい方はこちらをご覧ください。

LangChainのexampleを見ると多くの場合OpenAIのAPIを使うことが多いように感じます。ただ、OpenAIのモデルは精度が良いのですが、一方で長文の生成をしようとするとかなりの額のお金が必要になります。このため、遊びで使うには勇気がいるケースがあります。

このため、懐に優しい形でLangChainを扱えないか？ということで、有名どころのモデルが大体おいてあるHugging Faceを利用してLangChainで使う方法を調べました。

調べるにあたって作ったコードはここに置いてあります。コード全体が見たいかたはこちらをご覧ください。

https://github.com/shu65/langchain_examples/blob/main/langchain_hugging_face_example.ipynb

Hugging Faceとは？

ここ最近、Hugging Faceは良く目にしますが、念のため説明しておきます。Hugging Faceは様々な機械学習のライブラリを開発している企業で、モデルやデータセットなどを共有するプラットフォームも提供しています。

たとえば、こちらの紹介記事を書いたTransformersはHugging Faceが作っているものになります。

ここ最近の公開されている有名どころのモデルは大体Hugging Faceからダウンロードできるようになっているので、既存のモデルを試したいというときは非常に便利です。

今回はHugging Faceが運営しているプラットフォームにおいてあるモデルをLangChainで使う方法について説明します。

Hugging FaceにおいてあるモデルをLangChainで使う

Hugging FaceのモデルをLangChainで使う方法としていくつか用意されています。今回はこの中の以下の二つについて紹介します。

1. Hugging Face APIを利用する方法
2. Hugging Faceからモデルをダウンロードしてきて手元の計算機でLLMを動かす方法

それぞれ順番に説明していきます。

Hugging Face APIを利用する方法

Hugging Face上においてあるモデルは制約はありますが、API経由で利用することができます。

APIのトークンの取得に関しては公式のチュートリアルを参考にしてください。

https://huggingface.co/docs/api-inference/quicktour

LangChainで利用する場合はHUGGINGFACEHUB_API_TOKENという環境変数に上で取得したトークンを入れておく必要があります。

今回のコードではnotebookを公開する都合上、トークンの中身がコードにでてこないようにdotenv を利用して環境変数の設定をしています。手元で動かす際は以下のようにすれば十分です

export HUGGINGFACEHUB_API_TOKEN=XXXX

あとは以下のようにHugging Face APIを利用したLLMのインスタンスを用意します。

from langchain import HuggingFaceHub

repo_id = "google/flan-t5-xl" 

llm = HuggingFaceHub(repo_id=repo_id, model_kwargs={"temperature":0, "max_length":64})

ここではモデルとしてGoogleのFlan-T5のXLというサイズのモデルを利用しています。model_kwargs はモデルごとに指定できるものが違うので注意してください。ここではtemperature と max_length を指定しています。

LLMが用意できればあとはOpenAIのモデルのときと同じ感覚で利用することができます。ここでは簡単にLangChainを使って以下のように質問して答えてもらいます

Who won the FIFA World Cup in the year 1994? 

コードとしては以下の通りです。

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate(template=template, input_variables=["question"])
llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "Who won the FIFA World Cup in the year 1994? "

llm_chain.run(question)

このコードは以下のように出力されました。

The FIFA World Cup is a football tournament that is played every 4 years. The year 1994 was the 44th FIFA World Cup. The final answer: Brazil.

調べてみると1994年は確かにブラジルが優勝しているので正しい回答が得られているようです。

Hugging Faceからモデルをダウンロードしてきて手元の計算機でLLMを動かす方法

次にHugging Faceのモデルを手元にダウンロードしてきてLangChainで利用する方法を説明していきます。

まず、LLMの準備ですが以下のようにします。

from langchain.llms import HuggingFacePipeline
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_id = "gpt2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
pipe = pipeline(
    "text-generation", model=model, tokenizer=tokenizer, max_new_tokens=64
)
llm = HuggingFacePipeline(pipeline=pipe)

Google Colabで動かす都合上、小さめのモデルということでここではGPT-2を利用しています。

基本的な使い方としては良くあるHugging Faceの使い方である AutoTokenizer と AutoModelForCausalLM を利用してtokenizerとmodelを用意します。その後LangChainが用意している HuggingFacePipeline を使ってLangChainで使えるLLMのインスタンスを作ります。

あとは先ほどと同様にすればLangChainでHugging Faceのモデルを利用することができます。コードはAPIのときと同じため省略します。またGPT-2ということもあり、結果はめちゃくちゃなので、出力結果も省略します。

終わりに

今回はLangChainでHugging Faceのモデルを利用する方法について調べたのでそのまとめを書きました。

LangChainのほうで思った以上に簡単に使えるように整備されている印象で、どの関数を使えばわかっていればすぐに使うことはできました。今回は紹介しませんでしたが他にもHugging Faceのモデルを動かす方法は用意されているようなので興味のある方は調べてみてください。

この記事が他の方の参考になれば幸いです。

The post Hugging FaceのモデルをLangChainで使う方法を調べた first appeared on まったり勉強ノート.

https://blog.langchain.dev/improving-document-retrieval-with-contextual-compression/

ちょうどこういう機能があったらいいなぁと思っていたところだったので、この機能について調べてみました。今回はそのまとめ記事になります。

今回の記事を書くにあたり、動作チェックをした際のnotebookはここにあげておきました。コードを見たい方はこちらをご覧ください。

https://github.com/shu65/langchain_examples/blob/main/LangChain_Contextual_Compression.ipynb

また、LangChainがどういうものかご存じない方は以前LangChainの紹介記事を書きましたので、こちらをご覧ください。

Contextual Compressionとは？

LLMを使ったQAシステムでは関連するドキュメントを見つけてきて、質問と関連ドキュメントをLLMに入れて質問に答えるという形のものがあります。この際、以下のような問題点があります。

1. 質問と関連してないドキュメントが含まれるケースがある
2. 関連ドキュメントの文字数が多いとLLMに入力できる文字数を圧迫する

この問題を解決する方法の手段の一つとしてこの「Contextual Compression」があります。

このContextual Compressionでは関連ドキュメントを見つけたあと、質問により関連している情報だけを抽出します。この抽出された情報と質問をLLMに入れてより的確な質問に答えられるようにするというものです。

LangChainではContextual Compressionの機能としていくつか用意されています。その中でもぱっと見て動作が分かりずらいLLMを使ったものに関して今回はどういうpromptになっているのかを調べたので順番に紹介していきます。

LLMChainExtractor

まず一つ目が「LLMChainExtractor」です。これは関連するドキュメントを見つけたあとLLMによって質問に関連する部分だけを抽出するものになっています。

LLMChainExtractorを使う前の以下のコードは以下の通りです。

from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.document_loaders import TextLoader
from langchain.vectorstores import FAISS

documents = TextLoader('./state_of_the_union.txt').load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
retriever = FAISS.from_documents(texts, OpenAIEmbeddings()).as_retriever()

docs = retriever.get_relevant_documents("What did the president say about Ketanji Brown Jackson")

このコードの出力は以下のようになります。

Document 1:

Tonight. I call on the Senate to: Pass the Freedom to Vote Act. Pass the John Lewis Voting Rights Act. And while you’re at it, pass the Disclose Act so Americans can know who is funding our elections. 

Tonight, I’d like to honor someone who has dedicated his life to serve this country: Justice Stephen Breyer—an Army veteran, Constitutional scholar, and retiring Justice of the United States Supreme Court. Justice Breyer, thank you for your service. 

One of the most serious constitutional responsibilities a President has is nominating someone to serve on the United States Supreme Court. 

And I did that 4 days ago, when I nominated Circuit Court of Appeals Judge Ketanji Brown Jackson. One of our nation’s top legal minds, who will continue Justice Breyer’s legacy of excellence.
----------------------------------------------------------------------------------------------------
Document 2:

A former top litigator in private practice. A former federal public defender. And from a family of public school educators and police officers. A consensus builder. Since she’s been nominated, she’s received a broad range of support—from the Fraternal Order of Police to former judges appointed by Democrats and Republicans. 

And if we are to advance liberty and justice, we need to secure the Border and fix the immigration system. 

We can do both. At our border, we’ve installed new technology like cutting-edge scanners to better detect drug smuggling.  

We’ve set up joint patrols with Mexico and Guatemala to catch more human traffickers.  

We’re putting in place dedicated immigration judges so families fleeing persecution and violence can have their cases heard faster. 

We’re securing commitments and supporting partners in South and Central America to host more refugees and secure their own borders.
----------------------------------------------------------------------------------------------------
Document 3:

And for our LGBTQ+ Americans, let’s finally get the bipartisan Equality Act to my desk. The onslaught of state laws targeting transgender Americans and their families is wrong. 

As I said last year, especially to our younger transgender Americans, I will always have your back as your President, so you can be yourself and reach your God-given potential. 

While it often appears that we never agree, that isn’t true. I signed 80 bipartisan bills into law last year. From preventing government shutdowns to protecting Asian-Americans from still-too-common hate crimes to reforming military justice. 

And soon, we’ll strengthen the Violence Against Women Act that I first wrote three decades ago. It is important for us to show the nation that we can come together and do big things. 

So tonight I’m offering a Unity Agenda for the Nation. Four big things we can do together.  

First, beat the opioid epidemic.
----------------------------------------------------------------------------------------------------
Document 4:

Tonight, I’m announcing a crackdown on these companies overcharging American businesses and consumers. 

And as Wall Street firms take over more nursing homes, quality in those homes has gone down and costs have gone up.  

That ends on my watch. 

Medicare is going to set higher standards for nursing homes and make sure your loved ones get the care they deserve and expect. 

We’ll also cut costs and keep the economy going strong by giving workers a fair shot, provide more training and apprenticeships, hire them based on their skills not degrees. 

Let’s pass the Paycheck Fairness Act and paid leave.  

Raise the minimum wage to $15 an hour and extend the Child Tax Credit, so no one has to raise a family in poverty. 

Let’s increase Pell Grants and increase our historic support of HBCUs, and invest in what Jill—our First Lady who teaches full-time—calls America’s best-kept secret: community colleges.

それでは次にLLMChainExtractorを使った場合の結果を見てみます。コードとしては以下の通りです。

from langchain.llms import OpenAI
from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor

llm = OpenAI(temperature=0)
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(base_compressor=compressor, base_retriever=retriever)

compressed_docs = compression_retriever.get_relevant_documents("What did the president say about Ketanji Jackson Brown")

compressed_docsの中身を見てみると以下の通りです。

Document 1:

"One of the most serious constitutional responsibilities a President has is nominating someone to serve on the United States Supreme Court. 

And I did that 4 days ago, when I nominated Circuit Court of Appeals Judge Ketanji Brown Jackson. One of our nation’s top legal minds, who will continue Justice Breyer’s legacy of excellence."
----------------------------------------------------------------------------------------------------
Document 2:

"A former top litigator in private practice. A former federal public defender. And from a family of public school educators and police officers. A consensus builder. Since she’s been nominated, she’s received a broad range of support—from the Fraternal Order of Police to former judges appointed by Democrats and Republicans."

先ほど変わってドキュメント数が減っているのと、Document 1のほうを見ると出力されている内容もたしかに関連したところだけ残っている感じがしています。この時、どのようなpromtpでLLMを実行されていたかというと、以下のようなテンプレートを使ってpromptを作ってLLMに入力していました。

"""Given the following question and context, extract any part of the context *AS IS* that is relevant to answer the question. If none of the context is relevant return {no_output_str}. 

Remember, *DO NOT* edit the extracted parts of the context.

> Question: {{question}}
> Context:
>>>
{{context}}
>>>
Extracted relevant parts:"""

{{question}}と{{context}}がそれぞれ入力した質問と関連ドキュメントとして見つけたドキュメントの内容を入れる部分です。

templateを見ると、関連ドキュメントの中から質問に回答と関連すると思われるところを抜き出してくるというものになっています。また、関連していなければ{no_output_str}、実際にはNO_OUTPUTという文字列を返すようになっています。

これにより、見つけてきたドキュメントが関係ないものであればはじくということができるようになっています。

LLMChainFilter

次に「LLMChainFilter」です。これは先ほどの「LLMChainExtractor」と同じようにLLMを使うものになっていますが、見つけたドキュメントが質問に関連するものかどうかだけを判断し、関連しないものであればはじくということだけをするものになっています。つまり、「LLMChainExtractor」であった質問に関連する部分を抽出するという処理がなくなったバージョンという感じかと思います。

LLMChainFilterを利用するコードは以下のようになっています。

from langchain.retrievers.document_compressors import LLMChainFilter

_filter = LLMChainFilter.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(base_compressor=_filter, base_retriever=retriever)

compressed_docs = compression_retriever.get_relevant_documents("What did the president say about Ketanji Jackson Brown")

このコードの出力結果は以下のようになります。

Document 1:

Tonight. I call on the Senate to: Pass the Freedom to Vote Act. Pass the John Lewis Voting Rights Act. And while you’re at it, pass the Disclose Act so Americans can know who is funding our elections. 

Tonight, I’d like to honor someone who has dedicated his life to serve this country: Justice Stephen Breyer—an Army veteran, Constitutional scholar, and retiring Justice of the United States Supreme Court. Justice Breyer, thank you for your service. 

One of the most serious constitutional responsibilities a President has is nominating someone to serve on the United States Supreme Court. 

And I did that 4 days ago, when I nominated Circuit Court of Appeals Judge Ketanji Brown Jackson. One of our nation’s top legal minds, who will continue Justice Breyer’s legacy of excellence.

オリジナルのコードでは4つ関連ドキュメントがでていましたが、今回は一つだけになっています。

これを実現するためにLLMChainFilterはLLMには以下のようなテンプレートのpromptをLLMに入力しています。

"""Given the following question and context, return YES if the context is relevant to the question and NO if it isn't.

> Question: {question}
> Context:
>>>
{context}
>>>
> Relevant (YES / NO):"""

{question}と{context}がそれぞれ入力した質問と関連ドキュメントとして見つけたドキュメントの内容を入れる部分です。

テンプレートを見ればわかる通り、質問と関連するドキュメントかどうかを聞き、YESかNOを返すようにLLMにお願いするpromptになっていることがわかります。

それ以外のContextual Compressionの機能

今回はLLMを利用しているContextual Compressionのみに注目して紹介しましたが、これ以外にも以下のようなものがあります。

1. EmbeddingsFilter: Embeddingによって質問と関連するドキュメントかどうかを判断してフィルタリングするもの。LLMを利用しないので、高速に動作する
2. DocumentCompressorPipeline: 複数の前処理との組み合わせることができるContextual Compressionの仕組み

実際にこれらを使った例は公式のこちらのnotebookにありますので気になる方はご覧ください。

https://python.langchain.com/en/latest/modules/indexes/retrievers/examples/contextual-compression.html

終わりに

今回はContextual Compressionについて調べたのでまとめを書きました。LangChainを使った例としてQAシステムはよく見るのですが、自分でやってみると関連ドキュメントを見つけてくるドキュメントが微妙ということがよくあるので、このような仕組みがあったらいいな、と思っていました。このため、今回は個人的には非常に勉強になりました。

今後もまたLLMをどう扱えばいいのか？の勉強でいろいろ調べたらまとめようと思います。

この記事が皆様のお役に立てれば幸いです。

The post LangChainのContextual Compressionのいくつかの機能がどのように実現されているかを確認してみた first appeared on まったり勉強ノート.

今回のコードは以下のところにあるので、全体としてどうなっているのか見たい方はこちらをご覧ください。

https://github.com/shu65/langchain_examples/blob/main/LangChain_Pandas_Dataframe_Agent.ipynb

LangChainのPandas Dataframe Agentとは

LLMを使いやすくwrapしてくれるLangChainにはいくつかAgentというLLMとToolと呼ばれるものを組み合わせて実行する仕組みが用意されています。この中でもPandas Dataframe Agentは名前の通りpandasのDataframeに対する操作をLLMにやらせるための仕組みです。

どういうことができるかはこちらのnotebookをご覧ください。

https://python.langchain.com/en/latest/modules/agents/toolkits/examples/pandas.html

この記事では、上のnotebookの実行例の一つを取り上げてどのようにLLMなどと連携しているのかを説明していきたいと思います。

実行例

今回は機械学習でお馴染みのタイタニックのデータを使います。データはここから持ってきました。

https://web.stanford.edu/class/archive/cs/cs109/cs109.1166/problem12.html

どういうデータか詳しく知りたい方は上のページの説明をご覧ください。

また、今回は以下のことをLLMに聞いたときのLLMなどを含めた一連の流れがどうなっているのかを説明していきます。

from langchain.llms import OpenAI
from langchain.agents import create_pandas_dataframe_agent
import pandas as pd

df = pd.read_csv('titanic.csv')
agent = create_pandas_dataframe_agent(OpenAI(temperature=0), df, verbose=True)
agent.run("whats the square root of the average age?")

最後の行がLLMでpandasのDataFrameを操作する部分になっています。やらせたいことは読んで分かる通り、年齢の平均を取って、それのルートを取るという計算をした結果を得るということです。

それではこの後これがどのように実行されるかを見ていきます。

実行の流れ

Pandas Dataframe Agentの大まかな実行の流れは以下の通りです。

1. zero-shot-react-description と同じAgentクラスに対し、promptを少し変えたAgentを作成
2. できたAgentがどのようなコードを実行するかを考える
3. 考えに従ってコードを生成
4. 生成されたコードを実行
5. 実行した結果に基づいて再度考える。以降はこの繰り返して最終結果を得る

このような「考える」と「行動」（LangChain的にはTool）を交互に繰り返すやり方はReActと呼ばれる方法で、以下の論文で提案されています。

Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. ArXiv, abs/2210.03629.

zero-shot-react-description に関しては以前記事を書きましたので、動作について詳しく知りたい方はこちらも併せてご覧ください。

ここからはさきほどの例の場合、LLMと連携してどのような手順で処理をしていくかを見ていきます。

一番最初のpromptに関して

一番最初のpromptは以下のようになっています。

You are working with a pandas dataframe in Python. The name of the dataframe is `df`.
You should use the tools below to answer the question posed of you:

python_repl_ast: A Python shell. Use this to execute python commands. Input should be a valid python command. When using this tool, sometimes output is abbreviated - make sure it does not look abbreviated before using it in your answer.

Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [python_repl_ast]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question


This is the result of `print(df.head())`:
   Survived  Pclass                                               Name  \
0         0       3                             Mr. Owen Harris Braund   
1         1       1  Mrs. John Bradley (Florence Briggs Thayer) Cum...   
2         1       3                              Miss. Laina Heikkinen   
3         1       1        Mrs. Jacques Heath (Lily May Peel) Futrelle   
4         0       3                            Mr. William Henry Allen   

      Sex   Age  Siblings/Spouses Aboard  Parents/Children Aboard     Fare  
0    male  22.0                        1                        0   7.2500  
1  female  38.0                        1                        0  71.2833  
2  female  26.0                        0                        0   7.9250  
3  female  35.0                        1                        0  53.1000  
4    male  35.0                        0                        0   8.0500  

Begin!
Question: whats the square root of the average age?

一番最初のpromptが一番大事な部分なので、丁寧に説明していきます。

You are working with a pandas dataframe in Python. The name of the dataframe is `df`.

この部分はzero-shot-react-description とは違う部分の一つです。最初にpandasのDataFrameを使うことと、その変数名がdfであることをLLMに伝えます。

次にこの部分についてです。

You should use the tools below to answer the question posed of you:

python_repl_ast: A Python shell. Use this to execute python commands. Input should be a valid python command. When using this tool, sometimes output is abbreviated - make sure it does not look abbreviated before using it in your answer.

この部分はToolの説明です。Pandas Dataframe Agentの場合はpython_repl_astを使うため、このToolがどういうものかをLLMに伝えています。

次にこの部分です。

Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [python_repl_ast]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question

この部分はzero-shot-react-descriptionと同じでLLMにReAct的な動きをしてもらうための説明のところです。

そして次はこの部分です。

This is the result of `print(df.head())`:
   Survived  Pclass                                               Name  \
0         0       3                             Mr. Owen Harris Braund   
1         1       1  Mrs. John Bradley (Florence Briggs Thayer) Cum...   
2         1       3                              Miss. Laina Heikkinen   
3         1       1        Mrs. Jacques Heath (Lily May Peel) Futrelle   
4         0       3                            Mr. William Henry Allen   

      Sex   Age  Siblings/Spouses Aboard  Parents/Children Aboard     Fare  
0    male  22.0                        1                        0   7.2500  
1  female  38.0                        1                        0  71.2833  
2  female  26.0                        0                        0   7.9250  
3  female  35.0                        1                        0  53.1000  
4    male  35.0                        0                        0   8.0500  

ここではDataFrameの一部を出力させてどういうデータであるかをLLMに伝えている部分です。

最後にこの部分です。

Begin!
Question: whats the square root of the average age?
Thought: 

動作の開始の合図と、「Question:」から先が実際にAgentを使ってやりたいことをLLMに伝えます。そして、「Thought:」までLLMに入力させて、LLMに何をするべきか考えさせます。

ここから先はLLMの出力と出力されたPythonコードを実行して得られた結果を受け取ってさらにLLMに考えさせるという動作を繰り返していきます。これを順番に説明していきます。

LLMが考えて、Pythonのコードを生成する部分(1回目)

先ほどのpromptをLLMに入力すると以下のような出力が返ってきます。これを順番に見ていきます。

I need to calculate the average age first
Action: python_repl_ast
Action Input: df['Age'].mean()

1行目が先ほどの「Thought:」の続きで、LLMがどのようなことをするべきか考えた部分です。最初は年齢の平均を計算しようと考えて、それを行うためのコードを「Action Input:」から先に出力しています。

このコードを今度は実際に実行します。

Pythonコードの実行

先ほどのPythonのコードをどのように実行するかを説明していきます。実際に実行している部分は、この記事を書いている現在のバージョンではLangChainのここになります。

https://github.com/hwchase17/langchain/blob/72b7d76d79b0e187426787616d96257b64292119/langchain/tools/python/tool.py#L67-L92

これは以下のような手順でPythonコードを実行しています。

1. LLMの生成したPythonコードを受け取りきれいに整える
2. Pythonコードの抽象構文木を生成
3. Pythonコードの最後から一つ手前までのコードを実行
4. Pythonコードの最後の部分を実行して出力結果、もしくはエラーを得る

3と4でなぜ分けて実行しているかというとToolの説明にある通り、途中の出力は省略して最後だけ得るためであると考えています。

このような流れでPythonコードを実行すると以下の結果が得られえます。

Observation: 29.471443066516347

ここから次に何をするべきかさらに考えて実行していきます。

LLMが考えてPythonのコードを生成し、実行する部分(2回目)

次にLLMの出力とPythonコードの実行は以下のようになります。

 I now need to calculate the square root of the average age
Action: python_repl_ast
Action Input: math.sqrt(df['Age'].mean())
Observation: name 'math' is not defined

1行目は先ほどと同じように次に何をするべきかLLMに考えさせた結果の部分です。ここでは年齢の平均のルートを計算するということを考えてコードを生成しています。

このコードを実行すると以下のようなエラーが出力されます。

name 'math' is not defined

まだmath がインポートされてないので、その部分でエラーがでています。たしかに現状のコードではどこもmath をインポートしてないので、このエラーがでるのは当然です。

ここからさらにLLMに考えさせます。

LLMが考えてPythonのコードを生成し、実行する部分(3回目)

次にLLMの出力とPythonのコードを実行した結果は以下のようになります。

 I need to import the math library
Action: python_repl_ast
Action Input: import math
Observation: 

1行目は先ほどと同じように次に何をするべきかLLMに考えさせた結果の部分です。今度はちゃんとmath をインポートするように考えて、その通りのコードを生成しています。

このコードはインポートだけなので出力はなしです。

LLMが考えてPythonのコードを生成し、実行する部分(4回目)

ここからさらにLLMに考えさせます。

 I now need to calculate the square root of the average age
Action: python_repl_ast
Action Input: math.sqrt(df['Age'].mean())
Observation: 5.42876073026951

LLMの考えていることは1行目にでていて、これは2回目のときと同じものになっています。コードも2回目と同じです。

一方、先ほどmathをインポートしたので、今度はエラーが出ずに正しい計算ができています。

以上がPandas Dataframe Agentの中身になります。

終わりに

今回はLangChainのPandas Dataframe Agentの中身がどうなっているのかを調べたのでまとめを書きました。DataFrameの中の情報をどうやって教えているのか疑問だったのですが、その辺もわかってよかったです。

また、Pythonのastまわりを知らなかったのでそれについてもいい勉強になりました。

この記事が少しでも他の方の役にたったら幸いです。

The post LLMに表データの解析を手伝ってもらえるLangChainのPandas Dataframe Agentの中身がどうなっているのか調べた first appeared on まったり勉強ノート.

今回はLangChainのテキストをまとめるSummarizationまわりについて調べたのでそのまとめになります。

LangChainって何？ってなった方はこちらに紹介の記事がありますので、ご覧ください。

LangChainのSummarizationとは？

LangChainのSummarizationとは与えられたテキストデータから要約されたテキストを作る機能になります。

LangChainにはChatGPTのようなサンプル以外にも様々な例が紹介されています。その中の一つがSummarizationです。

Summarizationは他の機能よりも説明が少なく、また、少し長い論文の要約をさせようとすると動かないことがあるので、どのような処理をさせているのか？を理解したくて調査しました。

ちなみに参考にしたのはこのnotebookです。

https://python.langchain.com/en/latest/modules/chains/index_examples/summarize.html

ここから基本的には要約したいDocumentのリストを引数にとるload_summarize_chain()を使って実行した場合の例について説明していきます。

load_summarize_chainによるSummarizationの３つの方法

load_summarize_chain()Summarizationとして以下の３つがあります。

1. stuff
2. map_reduce
3. refine 

それぞれについて説明していきます。

stuff

おそらくSummarizationという機能から一番最初に想像するのがこれです。与えられたDocumentのリストを受け取って、すべてつなげた一つのテキストにします。それをLLMに投げて要約させます。defaultのPromptのテンプレートとしては以下のようなものになっています。

"""Write a concise summary of the following:


"{text}"


CONCISE SUMMARY:"""

ここで、{text}のところに１つにつなげたテキストに置き換えてLLMに入力します。LLMはCONCISE SUMMARY:の続きを生成するので、{text}の部分に基づいて要約した文章を生成することになります。

CONCISE SUMMARY: から先はLLMに生成させるようにすることで要約をえることができるようになっています。

ただ、これの問題点としては与えrるDocumentのリストの合計のテキストの長さが長すぎるとLLMのコンテキストサイズを超えて実行できないケースが発生するので注意してください。

map_reduce

次にmap_reduce に関してです。名前の通りで、リストで与えられたDocumentを一度要約し、その要約されたものを組み合わせてさらに要約するというのを繰り返し行い、最終的な要約を得るものになります。

最初の要約の部分とその後の要約されたものからさらに要約をする部分の２種類のステップがありますが、どちらもデフォルトでは以下のpromptのテンプレートを使います。

"""Write a concise summary of the following:


"{text}"


CONCISE SUMMARY:"""

いろいろ試しましたが、特に論文のような長い文章の場合はこれが一番まともな要約をしてくれる印象でした。

refine

最後にrefine です。これも名前の通りですが、与えられたDocumentのリストの最初の要約を作り、そのごその要約と次のDocumentの要約を作ります。これを繰り返して最終的な要約を得ます。

これは二種類のプロンプトを使い分けて実行されます。まず最初の要約を作る部分は今までと同じように以下のプロンプトが使われます。

"""Write a concise summary of the following:


"{text}"


CONCISE SUMMARY:"""

そして、それまでの要約と新しいDocumentを組み合わせて新しい要約を作る部分のプロンプトは以下のようになります。

    "Your job is to produce a final summary\n"
    "We have provided an existing summary up to a certain point: {existing_answer}\n"
    "We have the opportunity to refine the existing summary"
    "(only if needed) with some more context below.\n"
    "------------\n"
    "{text}\n"
    "------------\n"
    "Given the new context, refine the original summary"
    "If the context isn't useful, return the original summary."

refine を使ってみた感想としては最後のほうのDocumentに影響されて、それほど情報量のないにも関わらず、最後のほうのDocumentの内容が要約に含まれていました。このため、要約の品質としてはmap_reduce のほうがよいかもしれないと思っています。

終わりに

今回はLangChainのSummarizationについて調べたのでまとめを書きました。

長い文章の要約に使えないか？と思って調べたのですが、実際にやってみると期待したほどすごい要約がでてくるという感じではない印象です。

このため、個人的には使いどころが悩ましいなぁというと思っています。

ただ、いろいろ工夫すればいいものができそうな気もするので、少し文章の要約というかまとめは工夫できないかチャレンジしようと思います。

The post LangChainのSummarizationについて調べたまとめ first appeared on まったり勉強ノート.

今回のコードは以下のところに置いてあります。コードが気になる方はこちらをご覧ください

https://github.com/shu65/langchain_examples/blob/main/Make_Mind_Map_with_LangChain_v1.ipynb

Mindmapとは？

Mindmapとしてはmain topicからアイディアや思考を分岐させて可視化する手法になります。様々な場所で利用されている方法で、私もちゃんと理解した本の場合は、読んだまとめをMindmapにするということをよくやります。

そんなMindmapですが、文章の内容を理解するのに結構役立つと思っていて、もしかしたら論文のMindmapをLLMに作ってもらってそれを読めば、論文の理解スピードがあがるのではということを思っています。今回はこの仮説を確かめてみる一環で、LLMでMindmapを作らせてみよう！ということでやってみました。

LLMからMindmapを作る取り組み

LLMでMindmapを作る例はいくつかあります。今回はその中でもこれを参考にしました。

https://xmind.app/blog/chatgpt-and-xmind-how-to-create-a-mind-map-with-chatgpt/

これはXmindというMindmapツールのblog記事で、ChatGPTを使ってトピックに沿ったMindmapをChatGPTに作らせてそれをXmindに取り込んで修正するまでの流れが示されています。

使ったpromptの例もちゃんと書いてあって参考にしやすそうだったので、この記事の例を利用して今回は試作しました。

今回作ったものを次に説明していきます。

どうやって論文のMindmapを作るか？

いろいろ工夫できる部分はあると思いますが、今回はひとまず一番手っ取り早くやるならどうやるか？というのを考えて実装したものを紹介します。

手順としては以下の手順で作ることにします。

1. PDFからページごとにテキストを抽出
2. ページの量が大きすぎる場合LLMの入力できるトークン数の上限を超える可能性があるので、分割する
3. 分割されたテキスト毎にMindmapを生成
4. できたMindmapをLLMにマージさせて最終的なMindmapを作る

今回は例としてちょうど最近読んだ以下の論文で試してみた例を示します。

Dao, T., Fu, D.Y., Ermon, S., Rudra, A., & R’e, C. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. ArXiv, abs/2205.14135.

また実装に関してはLangChainを使ってやりました。LangChainについてご存じない方は以前書いた紹介記事もありますので興味があれば見てください。

次に各ステップに関して簡単に説明していきます。

PDFからページごとにテキストを抽出とページの分割

LangChainにはPDFを読み込む機能とページを分割する機能があるので、今回はこれをそのまま使います。コード的には以下の通りです。

from langchain.document_loaders.pdf import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

file_path = "./reserch_paper.pdf"
loader = PyPDFLoader(file_path)
pages = loader.load()
pages = pages[:11]
text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(
    encoding_name="p50k_base",
    chunk_size=1000,
    chunk_overlap=100,
)
sub_pages = text_splitter.split_documents(pages)

まず、PyPDFLoaderで指定されたPDFを読み込みます。その後、Referenceよりも手前のページまでを取り出します。今回は11ページ目からReferenceが始まっているので、その手前のページまで取り出します。

その後、RecursiveCharacterTextSplitterでテキストを分割します。

分割されたテキスト毎にMindmapを生成

分割されたテキストごとにMindmapを作らせます。ここではXmindのblogを参考にして以下のようなpromptのテンプレートを利用しました。

MAKE_MIND_MAP_PROMPT_TEMPLATE_STR = """I would like to create a mind map using the Xmind tool about following text.
Can you provide me with some text in Markdown format that is compatible with Xmind? 
Please include a Central Topic with Main Topics and any additional information goes to Subtopics that will help create an effective mind map."

The mindmap format is follow:

# Central Tpoic Title

## Main Topic Title 1

### Subtopic Title 1

- Subtopic Title 1

  - Subtopic Title 1
  - Subtopic Title 2

### Subtopic Title 2

- Subtopic Title 1

  - Subtopic Title 1
  - Subtopic Title 2

## Main Topic Title 2

- Subtopic Title 1

  - Subtopic Title 1
  - Subtopic Title 2


Text:


{text}


Mind map in Markdown format:"""

これをLangChainのLLMChainを使ってLLMに渡します。

これでうまくいくの？と疑問に思う方もいると思うので、最初の分割（AbstractとIntroductionの最初の部分）の結果を以下に示します。

# FlashAttention : Fast and Memory-Efficient Exact Attention with IO-Awareness

## Introduction

### FLOP Reduction

- Sparse-Approximation
- Low-Rank Approximation
- Combinations

### IO-Awareness

- Reads and Writes
- Fast and Slow Memory
- GPU On-Chip SRAM and HBM

## Proposed Method

### FlashAttention

- Tiling
- Reduce Memory Reads/Writes
- Analyze IO Complexity

### Block-Sparse FlashAttention

- Faster than Existing Approximate Attention
- End-to-End Wall-Clock Speedup
- Longer Context in Transformers
- Higher Quality Models
- New Capabilities

可もなく不可もなくという感じのMindmapができているかなと思います。ちなみにXmindでimportできるフォーマットで出力されているので、画像にすることも可能です。

MindmapをLLMにマージさせて最終的なMindmapを作る

ここまでで各ページのMindmapができました。ここから1つのMindmapにまとめていく作業をさせます。

MindmapをLLMにマージしてもらうために、今回はLLMに入力できるトークン数までMindmapを連結して、以下のpromptのテンプレートに流し込んでLLMに入力しました。

"""Compact the following mind map into one mind maps. 
The format should be Xmind compatible Markdwon format.
The mind map format is follow:

# Central Tpoic Title

## Main Topic Title 1

### Subtopic Title 1

- Subtopic Title 1

  - Subtopic Title 1
  - Subtopic Title 2

### Subtopic Title 2

- Subtopic Title 1

  - Subtopic Title 1
  - Subtopic Title 2

## Main Topic Title 2

- Subtopic Title 1

  - Subtopic Title 1
  - Subtopic Title 2


{text}


Output mind map in Markdown format:"""

今回の例では全部同時に1つにマージしようとするとトークン数の限界を超えるので、Mindmapをマージしたあと、できたもの同士をまたマージするという多段階のマージを繰り返し、最終的な結果をえるようにしました。ただ、これは現状ではあまりうまくいってません。結果としては以下の通りです。

# FlashAttention : Fast and Memory-Efficient Exact Attention with IO-Awareness

## Introduction

### FLOP Reduction

- Sparse-Approximation
- Low-Rank Approximation
- Combinations
- IO-Awareness
  - Reads and Writes
  - Fast and Slow Memory
  - GPU On-Chip SRAM and HBM

## Proposed Method

### FlashAttention

- Tiling
- Reduce Memory Reads/Writes
- Analyze IO Complexity
- Bandwidth & Memory Size
- Attention on GPT-2
  - FlashAttention PyTorch
    - Time (ms)
    - Matmul
    - Mask
    - Softmax
    - Dropout
    - Matmul
    - Fused Kernel
    - Q: N x d
    - V: N X d
    - KT: d x N
    - QKT: N x N
    - sm(Q KT)V: N x d
- Outer Loop
  - Copy Block to SRAM
  - Copy
    - Outer Loop
    - Inner Loop
  - Compute Block on SRAM
  - Output to HBM
- Inner Loop
  - Outer Loop
  - GPU
    - SRAM
    - GPU
    - HBM
    - Main Memory (CPU DRAM)
  - SRAM : 19 TB/s (20 MB)
  - HBM: 1.5 TB/s (40 GB)
  - DRAM : 12.8 GB/s (>1 TB)
- Fewer HBM Accesses
  - Fig. 2
  - Lower Bound
- Memory Access Overhead
  - Block-Sparse FlashAttention
    - 2-4x Faster
    - Sequence Length of 64k
    - IO Complexity Better than FlashAttention
- Softmax Decomposition
  - Vectors 𝑥¹1º–𝑥¹2º2R𝐵
    - Softmax of Concatenated 𝑥
      - Decomposition
        - 𝑚¹𝑥º
        - 𝑓¹𝑥º
        - ℓ¹𝑥º
- Text

ぱっと見ただけで後半が変なことになっていることが分かります。これに関しては次で考察します。

現状の方法の何がまずいのか？

うまくいっていない原因としては以下のものがあります。

1. PDFからテキスト抽出する時点で、数式や図、テーブルが含まれる部分はそもそもテキストが変
2. Mindmapが大きいと出力できるトークン数の制限にひっかかるため変なところで止まる

１に関してはPDFを使っている限り常について回る問題だと思いますが、PDFのパースはちゃんとやろうとするとかなり大変です。この結果、どうしても一部変なテキストになります。LLMならもしかしたらそれでもちゃんとMindmapにできるんじゃないか？と思ってためしましたが、やはり、変なテキストの部分で作ったMindmapはクオリティがかなり低い印象です。これが最後まで響いて最終的なMindmapが変なことになっていると考えられます。

ただ、この部分に関してはpromptを工夫すればもう少しましになるかもしれないので、また今度改良しようと思っています。

また、もう一つ変なところで止まっている原因として出力できるトークン数の限界の問題があります。お金の関係もあり現在は512トークンまでで制限しています。この結果、変なところで出力がとまってしまうという問題がでています。解決方法としてはもっとたくさんトークンを出力できるようにすればいいだけではありまがすが、その場合お金がすごいことになります。そうなってくると気軽にMindmapが作れなくなってしまって微妙だなぁという感じがするので、この方法以外にいい方法がないか現在模索中です。

終わりに

今回はLLMを使ってMindmapを作る取り組みをはじめしたのでそのまとめを書きました。まだまだ微妙なところは多いですが、ちょっとずつ改良できればと思っています。

進展がありましたらまた記事にまとめようと思います。

この記事が少しでもみなさんのお役に立てば幸いです。

The post LLMを使って論文のMindmapを作りたい ver.1 first appeared on まったり勉強ノート.

今回はこの中で紹介した例で出てきた「zero-shot-react-description」というAgentを使って以下の質問をしたときに内部でLLMとどういう連携をしているのか？を調べたのでそのまとめになります。

"Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"

今回動作検証に用いたコードは以下の通りです。

import langchain
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.llms import OpenAI


langchain.verbose = True

llm = OpenAI(temperature=0, verbose=True)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True)
agent.run("Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?")

zero-shot-react-descriptionとは

zero-shot-react-descriptionはReActベースのLangChainのAgentになります。ReActとは以下で提案されている手法です。

Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. ArXiv, abs/2210.03629.

ReActがやっていることを簡単に説明すると以下の二つの行動を繰り返していき、最終的な結果を得るということをしています。

1. 次に何をすべきか？を考える
2. 考えに基づいてアクションを実行し、アクションの結果を得る

ここでアクションというのはinitialize_agentで指定したtoolになります。先ほどのコードではserpapi、 llm-mathです。serpapiはSerpApiというGoolgeの検索結果をパースして返してくれるサービスを実行するツール、llm-math はLLMを使ってPythonコードを生成して実行するツールになります。

zero-shot-react-descriptionではこのような動きをLLMにさせるために入力のテキストの前にいろいろ追加で文章を付け加えてLLMに投げています。

この追加でつけている文章がどんなものか気になったので、今回詳しくzero-shot-react-descriptionの動作を調べました。動作チェックには先ほども示した以下の質問を使いました。

"Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"

動作チェックをするための下準備

頑張ってPythonのデバッガーを使って1行ごとに何が起きているか？を見てもいいのですが、実はLangChainは以下のようにすると、それ以降の実行に関して細かい出力をするようになります。

import langchain
langchain.verbose = True

今回は上の設定によって出てきたログに基づいて動作を説明していきます。

zero-shot-react-descriptionの動作例

先ほど示した質問に対してzero-shot-react-descriptionはまとめると、この記事を書いている時点では以下の手順で問題に対する回答をしようとします。

1. 「Leo DiCaprio’s girlfriend」が誰なのか調べる
2. 「Leo DiCaprio’s girlfriend」が「Camila Morrone」であることがわかったので、次は「Camila Morrone」の年齢を調べる。
3. 25歳であることがわかったので、次は25^0.43を計算する
4. 最終的な結果を出力する

ちなみに実行したタイミングによっては1を調べたらついでに年齢もわかってしまって2がスキップされるという挙動をするタイミングもありました。このため、上の例とは違う動作をするケースもありますので注意してください。

それではLangChainで細かい出力をさせてそれぞれのステップでLLMをどのように動作させているか？を細かく見ていきます。

最初の質問時点の入力に関して

まず、そもそも最初の問のときにどのような入力になっているかを見てみます。入力では先ほど示したように以下のものを入れています。

"Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"

しかし、これだけだとReAct的な動作をしてくれないので、ReAct的な動作をしてくれるように質問の前にいろいろ追加します。実はLLMに投げている文章としては以下のものになっています。

Answer the following questions as best you can. You have access to the following tools:

Search: A search engine. Useful for when you need to answer questions about current events. Input should be a search query.
Calculator: Useful for when you need to answer questions about math.

Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [Search, Calculator]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question

Begin!

Question: Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?
Thought:

「Question: 」のところに入力した質問があって、その前後にいろいろついていることがわかります。

これに関して順番に見ていきます。まず以下の部分です。

Answer the following questions as best you can. You have access to the following tools:

Search: A search engine. Useful for when you need to answer questions about current events. Input should be a search query.
Calculator: Useful for when you need to answer questions about math.

最初に、質問にできるだけこたえるように頼み、使えるツールとしてどんなものがあるかを説明しています。

それぞれSearchがserpapi, Calculatorがllm-math のことを言っています。このツールの説明の部分はinitialize_agent で指定されたツールのname とdescriptionをから自動生成されて加えられています。このため、もし使用するツールを増やすとこの部分に新しく追加されたツールの説明が付け加わることになります。

次にこの部分に関してです。

Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [Search, Calculator]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question

この部分はこの後、LLMが生成するテキストのフォーマットの指定に関しての説明です。これを加えることで、この後、Agentの中でLLMがこのフォーマットに従って出力してくれるようになります。そのおかげでLLMの出力を簡単にパースすることができ、LLMの出力から次にどのようなアクションをすればよいかを自動で判断し、実行することができます。

そして最後のこの部分です。

Begin!

Question: Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?
Thought:

この部分はLLMにここから開始することと、質問、そして最初にLLMに何をするべきか考えてもらうために「Thought:」までテキストで与えます。「Thought:」があることでLLMはちゃんと考えることから初めてくれます。

この入力に加えて「Observation:」という文字列を出力したら出力を止めるようにしてLLMを実行させます。

「Observation:」はアクションの結果を示すところです。このため、「Observation:」より先はLLMでは生成できないので、これを出力したらLLMを止めるようにしています。

「Leo DiCaprio’s girlfriend」が誰なのか調べる

先ほどの文章をLLMに入力するとLLMは次のように出力してきます。

I need to find out who Leo DiCaprio's girlfriend is and then calculate her age raised to the 0.43 power.
Action: Search
Action Input: "Leo DiCaprio girlfriend"

1行目の「Thought:」の続きなので、LLMが何をするべきか考えたところです。そしてその次は質問に答えるために何をするべきかを出力しています。ここでは「”Leo DiCaprio girlfriend”」という入力で「Search」を実行することを選択しています。

この出力から”Leo DiCaprio girlfriend”を入力としてSerpApiを使います。このSerpApiは以下のURLの説明にあるような形で検索結果を返してきます。

https://serpapi.com/organic-results

このJSONの一部を取り出して「Observation:」のあとに追加します。どこの部分を取り出すかはSerpAPIWrapper というクラスの_process_response という関数で決めています。私が実行した際はtopヒットのsnippet の部分を取り出していました。書かれている内容としては以下の通りです。

Leonardo DiCaprio seemed to prove a long-held theory about his love life right after splitting from girlfriend Camila Morrone just months …

この文章を見ると「Camila Morrone」が「Leo DiCaprio’s girlfriend」だったようですが別れているようですね。ただ、LLMはこの後、「Leo DiCaprio’s girlfriend」が「Camila Morrone」として処理を進めていきます。質問が若干曖昧なので、過去の彼女でも質問の回答としては成り立ちそうなので、OKとしてこのあとも説明していきます。

「Leo DiCaprio’s girlfriend」が「Camila Morrone」であることがわかったので、次は「Camila Morrone」の年齢を調べる。

先ほどの検索結果を合わせてLLMに以下の文章を入力して次にどうするかを考えさせます。

Answer the following questions as best you can. You have access to the following tools:

...

Begin!

Question: Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?
Thought: I need to find out who Leo DiCaprio's girlfriend is and then calculate her age raised to the 0.43 power.
Action: Search
Action Input: "Leo DiCaprio girlfriend"
Observation: Leonardo DiCaprio seemed to prove a long-held theory about his love life right after splitting from girlfriend Camila Morrone just months …
Thought:

前半部分は全く同じで、最後に先ほどの検索結果と「Thought:」をつけています。こうすることで検索結果を受けて次にどうするべきかをLLMに出力させています。

この入力を受けてLLMは以下のような出力をしてきます。

I need to find out Camila Morrone's age
Action: Search
Action Input: "Camila Morrone age"

最初の行は「Thought:」の出力です。なので、「Camila Morrone」の年齢を調べる必要があると考えています。そして「”Camila Morrone age”」を入力として「Search」を実行することを選択しています。この先は先ほどと同じようにSerpApiを利用して検索して結果を得ます。この部分の結果では以下のような内容を検索結果から抽出してきました。

25 years

これで年齢もわかりました。

25歳であることがわかったので、次は25^0.43を計算する

先ほど、「Camila Morrone」25歳であることがわかったのでLLMに次にどうするか出力させます。これを行うために以下のような入力をいれます。

Answer the following questions as best you can. You have access to the following tools:

...

Thought: I need to find out Camila Morrone's age
Action: Search
Action Input: "Camila Morrone age"
Observation: 25 years
Thought:

こちらも先ほどと同様にそれまでの文章にさらに検索結果を追加して「Thought:」をつけて次に何をするかLLMに考えさせています。この入力に対してLLMは以下の出力をしてきます。

I need to calculate 25 raised to the 0.43 power
Action: Calculator
Action Input: 25^0.43

LLMとしては25^0.43を計算するために「Calculator」に対して「25^0.43」という入力を渡して実行するということをします。

Calculatorは先ほど説明した通り、llm-math を指しています。これはPythonコードを生成させて、生成されたPythonコードを実行して答えを得るということをしています。

具体的には以下のような入力をLLMに渡しています。

Translate a math problem into Python code that can be executed in Python 3 REPL. Use the output of running this code to answer the question.

Question: ${Question with math problem.}
```python
${Code that solves the problem and prints the solution}
```
```output
${Output of running the code}
```
Answer: ${Answer}

Begin.

Question: What is 37593 * 67?

```python
print(37593 * 67)
```
```output
2518731
```
Answer: 2518731

Question: 25^0.43

これは何をしているかというとPythonコードを生成するように説明し、その後フォーマットを示しています。そして、そのあとフォーマットに従った簡単なexampleを1つ示してそれにまねてPythonコードを生成させるように指示しています。これはLLMにおけるone-shot learningをしていることになります。この結果、LLMが賢ければちゃんと以下のように出力してきます。

 ```python
import math
print(math.pow(25, 0.43))
```

Answer: 3.991298452658078

ここでAnswerで計算結果も出力していますが、これは使わずにPythonコードの部分を取り出してPythonで実行させ結果を得ています。これでほしかった計算結果を得ることができました。

最終的な結果を出力する

さきほどの計算結果を加えた文章をLLMに入力して文章を生成させます。

LLMへの入力は以下の通りです。

Answer the following questions as best you can. You have access to the following tools:
...
Thought: I need to calculate 25 raised to the 0.43 power
Action: Calculator
Action Input: 25^0.43
Observation: Answer: 3.991298452658078
Thought:

これに対するLLMの出力は以下の通りです。

I now know the final answer
Final Answer: Camila Morrone is Leo DiCaprio's girlfriend and her current age raised to the 0.43 power is 3.991298452658078.

ここまでで最終的な結果がわかったので「Final Answer: 」のあとに最終的な結果を出力しています。

終わりに

今回zero-shot-react-descriptionのログを追ってみてだいぶ何をやっているか理解することができました。

感想としては検索結果のチェックが若干甘い感じがしています。この結果、先ほどみたような「Leo DiCaprio’s girlfriend」として別れていそうな「Camila Morrone」をあげてくるということをしています。このあたりより精度の高い結果を得るためには、そもそも最初の質問をより明確にするか事実確認の仕組みをもう少し工夫していれる必要がありそうだなと思っています。

また、llm-math のLLMの出力したPythonコードをそのまま実行するという仕組みは若干怖いなぁということを思いました。今回のようにどのようなコードを生成されるかわかっているケースはいいのですが、誤って変なコード、例えばhome以下のファイル削除みたいなコードがでてきて実行されたら大変なことになります。このあたりはもうちょっとセキュアにコードを実行する仕組みがほしいところです。

ただ、LLMに入力する文章を工夫することで想像よりもはるかにすごいことができると分かったので、いい勉強になりました。

個人的にはかなり興味がわいてきたので、いろいろLLMの入力を工夫するやり方などを勉強していければと思っています。

The post LangChainのAgent「zero-shot-react-description」はLLMとどう連携しているのか？調べた first appeared on まったり勉強ノート.

実際に使ってみたら想像よりもはるかに「どうなってるの！？」と思うことが多々あるすごいライブラリだったので、紹介したくて使い方をまとめてみました。

今回はLangChainのドキュメントの中で一番衝撃だった以下の質問に対する答えを出すコードをGoogle Colabで実行する手順を示します。

"Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"

コード全体としては以下のURLにあります。

https://github.com/shu65/langchain_examples/blob/main/lang_chain_zero_shot_react_description_example.ipynb

LangChainとは？

ChatGPTをはじめとした最近話題のbotのサービスの裏側にはLarge Language Model(LLM)と呼ばれる深層学習のモデルがいます。このLLMの性能がすごくなりすぎて今までできなかったとされるようなタスクが現在できるようになってきました。そして、実際何ができるのか？をいろいろな人が試して毎日いろいろなすごい使い方が編み出されている印象です。

このLLM、こんなにすごいなら自分の困っているタスクをやらせたいと思うのが普通かと思いますが、いざやってみようと思うとどうやればいいのかわからない時があります。

例えばこれから紹介するLangChainのexampleで使われていた例では以下のタスクをやらせる例がでてきます。

"Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"

ちなみにこれをそのまChatGPTで聞くと以下のような返答になりました。

I'm sorry, but as an AI language model, I don't have access to up-to-date personal information about celebrities or their romantic partners. Moreover, it's not appropriate to speculate about someone's age or personal life without their consent. It's important to respect everyone's privacy and focus on topics that are respectful and informative. Is there anything else I can assist you with?

プライバシーにちゃんと配慮していて偉いですね。ですが、人がやるなら以下の手順でできると思います。

1. 「Leo DiCaprio’s girlfriend」を検索して誰なのか調べる
2. 出てきた人の年齢を調べる
3. 年齢の0.43乗を計算する

実際、この記事を書くにあたって私が人手でできるかをGoogle検索を使って確認したところ、ちゃんとできました。さて、これをLLMにやらせるとしたらどうやればいいのでしょうか？

このような「LLMを使ってやるのどうやればいいんだ？」に答えてくれるのがLangChainです。

ちなみにこのタスクをするためのコードはGoogle Colab周りの環境構築を除けば10行以下で実行できます。

すごすぎないですか？

これをGoogle Colabでやる手順をこれから紹介していきます。

コードをGoogle Colab上で動かす準備

ここではGoogle Colabでコードを動かすために必要な準備方法について紹介していきます。

今回はGoogle Colabで動かして他の人にも共有したりすることを想定しています。このため、セキュリティーの観点からnotebookの中にAPI Keyが含まれないような形にするために、pythonのdotenvを利用します。

基本的な流れとしては、最初に今回のサンプルで必要なサービスのAPI Keyを取得し、それを書いたファイルをGoogle Driveに置き、Google Driveのファイルをdotenvでロードするということをします。

それでは順番に説明していきます。

OpenAI API Keyの取得

まずはOpenAIのAPI Keyの取得方法です。まだOpenAIのアカウントをお持ちでない方はまずは「Sign up」をクリックしてアカウントを作ってください。

https://platform.openai.com/

料金に関してはこちらを参照してください。

https://openai.com/pricing

このブログを執筆時は最初の3か月は5ドル分無料で使えるようです。ちなみに私がLangChainのexampleを一通り動かしても1，2ドルでした。

アカウントを作ったらAPI Keyを取得します。こちらのAPI Keyの取得に関してはこちらのブログが分かりやすかったので参照してください。

取得したAPI Keyはメモ帳などにメモしておくのを忘れないようにしてください。

SerpApiのAPI Keyの取得

次にSerpApiのAPI Keyの取得に関してです。SerpApiはGoogle Search などの検索エンジンの結果をリアルタイムで取得してパースしてくれるサービスです。LangChainを使うために必須というわけではないのですが、今回動かすコードには必要なので、API Keyを取得します。

まずは以下のサイトにアクセスします。

https://serpapi.com/

まだ、アカウントを持ってない方は「Register」をクリックしてアカウントを作ります。

料金に関しては以下をご覧ください。

https://serpapi.com/pricing

今回のコードでは数回APIを叩く程度なので無料の範囲で十分できます。

次にアカウントを作ったらdashboardで左のメニューから「API Key」を選択するとSerpAPI のAPI Keyを見ることができます。

こちらもOpenAIのAPI Keyと同様にメモ超などにメモしておいてください。

Google DriveにAPI Keyの情報を書いたファイルを用意

最後にGoogle DriveにAPI Keyの情報を書いたファイルを置きます。まずは以下のようなフォーマットのファイルを作ります。

OPENAI_API_KEY="{OpenAI API Key}"
SERPAPI_API_KEY="{SerpApi API Key}"

{OpenAI API Key}と{SerpApi API Key}の部分はメモしておいたご自身のAPI Keyに置き換えてください。

この作ったファイルをGoogle DriveにUploadします。保存場所はGoogle Driveなら適切にパスを指定すればGoogle Colabから読めるので、どこでもよいのです。ただし、このあとの説明は[マイドライブ] → [colab_env] の下のlang_chain_envというファイル名で保存したとして説明していきます。

Google Colab上でのLangChainの使い方

Google Colab上での環境構築

さて、準備が整ったらGoogle Colab上でコードを実行していきます。まずは必要なパッケージのインストールです。以下のようにして今回使うパッケージの中をインストールしていきます。

!pip install openai langchain python-dotenv transformers google-search-results

次に各種API Keyの情報を環境変数にいれます。ここでは先ほど準備したlang_chain_env をdotenvで読み込んで環境変数をセットします。

まずはGoogle ColabからGoogle Driveにアクセスできるようにします。コードとしては以下のものを実行します。

from google.colab import drive
drive.mount('/content/drive')

実行するとGoogle Driveへのアクセス認証を聞かれるので認証してください。

うまくGoogle Driveへのアクセスの認証ができれば以下のlsコマンドで先ほどアップロードしたファイルにアクセスできるようになります。

!ls /content/drive/MyDrive/colab_env/lang_chain_env

そして、dotevを利用して環境変数をセットします。コードとしては以下の通りです。

from dotenv import load_dotenv

load_dotenv(dotenv_path="/content/drive/MyDrive/colab_env/lang_chain_env")

これでGoogle ColabでLangChainのexampleを動かす準備が整いました。

LangChainのExampleを動かす

ここからはLangChainのExampleを実際に動かしてみます。と言っても基本的には以下のコードをそのまま動かします。

https://python.langchain.com/en/latest/modules/agents/getting_started.html

今回はLangChainの機能の中のAgentを使ったコードです。AgentとはLLMを利用して実行するアクションとその順序を決めるクラスです。

まずはLangChainの中から今回のコードで必要なものをimportします。

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.llms import OpenAI

次に、使うLLMのモデルとツールを作ってAgentを作ります。

llm = OpenAI(temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True)

ここではLLMのモデルはOpenAIのものを利用します。LangChain自体はOpenAI以外のものも選択できるようです。詳しくはこちらをご覧ください。

https://python.langchain.com/en/latest/reference/modules/llms.html

またツールとはAgentがアクションの中で使う関数みたいなものです。今回はSerpApiと数学に関する質問をするときに答えてくれるツールであるllm-mathを指定します。
他にもいろいろあります。詳しくはこちらをごらんください。

https://python.langchain.com/en/latest/modules/agents/tools.html

最後にツールやLLMを引数にとってAgentのクラスのインスタンスを作ります。

そしていよいよやってほしいタスクの文章をAgentのインスタンスに渡して実行します。今回は最初に見せた通り、以下のタスクをやらせます。

"Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"

コードとしては以下のようになります。

agent.run("Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?")

実行結果は以下の通りです。

すごくないですか？

この質問、人が答えるならGoogle検索と簡単な計算で確かにできます。ただ、これを自動で答えられるようにするとなるとかなり面倒なコードを書かなければなりません。それが一発です。すごい時代になったものです。

終わりに

今回は「LangChain」を実際に使ってみたまとめになります。実は同僚にはこれを教えてもらった際、「全エンジニア試したほがいい」と言われて、さすがに言い過ぎでは？と一瞬思ったんのですが、使ってみてびっくり。マジで「全エンジニア試したほうがいい」って印象を受けました。

今回は説明しきれませんでしたが、LangChainは他にもすごいサンプルが以下のところにありますので、今回紹介したコードをベースにGoogle Colabで試しに実行してみてはいかがでしょうか？

https://python.langchain.com/en/latest/index.html#use-cases

この記事が少しでも皆さんの役に立てば幸いです。

参考情報

1. LangChainドキュメント https://langchain.readthedocs.io/en/latest/

The post ChatGPTみたいなアプリが簡単に作れるLangChainがすごすぎ first appeared on まったり勉強ノート.