[논문리뷰] MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization

 

1. MatPlotAgent

MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization

https://arxiv.org/pdf/2402.11453

 

1. Aim

• 과학 데이터 시각화 작업을 자동화 하기 위해 설계된 LLM Agent, ‘MatPlotAgent’
• MatPlotAgent는 과학 데이터 시각화 작업을 자동화하기 위해 설계된 LLM(Large Language Model) 기반 에이전트 시스템입니다. 사용자의 간단한 요청을 받아 데이터 전처리부터 고품질 그래프 생성까지 전 과정을 자동화하는 것이 목표이다.

2. Proposed idea

시스템 구성 요소

• MatPlotAgent는 세 가지 핵심 모듈로 구성됩니다:
  • MatPlotAgent 구성 요소
    • MatPlotAgent는 사용자 요구를 이해하는 Query Expansion 모듈, 반복적인 디버깅을 통해 코드로 데이터를 전처리하고 그림을 생성하는 코드 생성 모듈, 시각적 피드백을 통해 오류를 찾아 수정하는 시각 피드백 모듈로 구성된다.
    • 모듈 구성: Query Expansion(쿼리 확장), Code Agent, Visual Agent
  • MatplotAgent Workflow

1. 사용자 쿼리가 Query Expansion 모듈을 통해 상세한 지침으로 변환됨
2. 확장된 지침이 Code Agent에 전달되어 초기 시각화 코드 생성
3. 생성된 그래프를 Visual Agent가 분석하고 개선 피드백 제공
4. Code Agent가 피드백을 바탕으로 코드를 수정하고 그래프 개선
5. 최종 결과물 생성

이 과정에서 특히 주목할 점은 시각적 피드백 메커니즘 이다. 일반적인 코드 생성 모델과 달리, MatPlotAgent는 생성된 그래프를 시각적으로 평가하고 개선하는 능력을 갖추고 있어 더 정확하고 효과적인 데이터 시각화가 가능하다.

• 모듈 1) Query Expansion
  • 사용자 쿼리를 해석하고 세분화하여 LLM이 쉽게 따를 수 있는 명확하고 자세한 지침으로 변환한다.
  • 전체 계획 수립하며, Code LLM을 기반으로 하여 사용자의 요구를 충족시키기 위해 필요한 코드 사용 지침을 제공한다. 여기에는 라이브러리 import, 함수 호출, 함수의 매개변수 설정, 데이터 준비 및 조작 방법 등이 포함된다.
• 모듈 2) Code Agent
  • Code Generation: 그림을 플로팅하기 위한 코드를 생성하는 역할로, Query Expansion 모듈에서 받은 자세한 지침을 바탕으로, 필요한 라이브러리와 함수를 사용해 코드를 생성한다.
  • Self-Debugging: 그림을 개선하기 위해 Visual Agent 에게 시각적 피드백을 받아 self-debugging 메커니즘을 사용하여 버그를 찾아 수정한다. self-debugging은 최대 3번 반복한다.
• 모듈 3) Visual Agent
  • Principles: 1. 멀티모달 LLM을 기반으로 하며, 2. 그림이 제공된 데이터와 일치하는지 확인하고, 3. 색상이나 레이블을 개선하여 그림의 정보를 향상시키는 등의 원칙에 따라 작동한다.
  • Feedback: 그림을 개선하기 위한 제안을 생성하고, 이 제안은 코드 에이전트에 피드백으로 전달되어 코드를 수정하는데 사용된다.
  • 실험 결과, 시각적 피드백 메커니즘이 그림의 품질을 크게 향상시킬 수 있음을 보여준다

• 프롬프트
  • Query Expansion: LLM에게 사용자가 지정한 요구사항을 충족시키기 위해 Python 코드를 사용하는 방법에 대한 단계별 상세 지침을 생성
  • Code Agent - Code Generation: 사용자의 쿼리에 따라 실행 가능한 코드를 생성 후 그림을 플로팅하고 저장
  • Code Agent - Self-Debugging: Python 인터프리터의 오류 메시지를 바탕으로 버그가 있는 코드를 수정
  • Visual Agent: 멀티모달 LLM이 사용자 쿼리를 이해하고 초안 플롯을 분석한 후, 초안을 개선하기 위한 시각적 피드백을 생성

3. Feedbacks

• 그래프는 이미지이기 때문에 시각적으로 평가하고 피드백 하면 더 정확한 그래프를 그릴 수 있다는 아이디어가 좋다.
• 꼭 시각적인 평가가 없더라도 PlotAgent의 Workflow(단계별 지침 생성 → 코드 생성 → 평가 및 피드백 생성 → 셀프 디버깅으로 코드 수정)를 참고할만하다.

구현 세부 사항

GitHub 저장소(https://github.com/thunlp/MatPlotAgent)에 공개된 코드를 통해 구현 세부 사항을 확인할 수 있습니다. workflow.py 파일에서 전체 프로세스가 다음과 같이 구현되어 있습니다:

• workflow.py
  • 1. QueryExpansionAgent 생성 및 실행: 사용자 쿼리를 확장된 지침으로 변환
    2. PlotAgent 초기 실행: 확장된 지침을 바탕으로 코드 생성 및 초기 그래프 생성
    3. VisualRefineAgent 실행: 생성된 그래프를 분석하고 시각적 피드백 제공
    4. PlotAgent 최종 실행: 피드백을 반영한 코드로 최종 그래프 생성

 

시사점 및 활용 가능성

MatPlotAgent는 다음과 같은 점에서 의미가 있습니다:

1. 자동화된 데이터 시각화: 코딩 지식이 부족한 연구자들도 고품질 그래프 생성 가능
2. 시각적 피드백 활용: 이미지 기반 피드백을 통한 그래프 품질 향상
3. 단계적 접근 방식: 쿼리 확장 → 코드 생성 → 피드백 → 개선의 체계적 워크플로우

특히 시각적 피드백 메커니즘은 다른 코드 생성 시스템에도 적용 가능한 접근 방식으로, 다양한 시각화 작업에 활용될 수 있는 잠재력을 보여준다.

결론

MatPlotAgent는 LLM을 활용한 과학 데이터 시각화의 자동화 가능성을 보여주는 혁신적인 시스템이다. 특히 시각적 피드백을 통한 그래프 개선 메커니즘은 기존 시스템과 차별화되는 강점으로, 향후 데이터 시각화 분야에서의 AI 활용에 중요한 방향성을 제시한다.