Анализ данных на основе промптов с помощью PandasAI

Введение:

Pandas – это библиотека Python, предоставляющая быстрые, гибкие и эффективные структуры данных и инструменты для манипулирования данными и их анализа. Она предлагает такие интуитивно понятные структуры данных, как DataFrames и Series, что делает задачи обработки и анализа данных более удобными.

В этой статье мы рассмотрим библиотеку PandasAI, которая позволяет использовать возможности LLM для работы с Panda и создавать функции на основе промптов для получения информации из ваших данных. PandasAI также может генерировать визуализацию данных на основе промптов, хотя PandasAI не является заменой Pandas, это дополняющая библиотека, которая предоставляет супервозможности ИИ для работы с данными.

Давайте попробуем PandasAI на наборе данных Spotify Kaggle: https://www.kaggle.com/datasets/amitanshjoshi/spotify-1million-tracks

# Import Dependencies
import pandas as pd
import opendatasets as od
import pandasai as pai
from pandasai.llm.openai import OpenAI

# Get Spotify Data from kaggle
od.download("https://www.kaggle.com/datasets/amitanshjoshi/spotify-1million-tracks")
spotify_data = '<location>/spotify_data.csv'

# Read Spotify Dataset
df = pd.read_csv(spotify_data)

# Initiate OpenAI LLM model for spotify dataset.
llm = OpenAI("<OpenAI API Key>")
pandas_ai = pai.PandasAI(llm)

Теперь мы готовы использовать наш датафрейм.

# выведем топ 10 артистов 2012 года
pandas_ai(df, prompt='Which are top 10 artists in 2012?')p

Результат:

Попробуем построить график на нашем наборе данных Spotify с подсказками

pandas_ai(
    df,
    "Plot the heatmap of top 20 tracks popularity for each in 2012, using different colors for each bar",
)

Результат:

Мы также можем попробовать объединить несколько датафреймов и попробовать промпты, которые могут ответить на вопросы анализа данных на основе обоих фреймов.

Дальнейшие исследования:

Помимо OpenAI, PandasAI поддерживает несколько LLM:

• Hugging face Starcoder
• Hugging face OpenAssistant
• Hugging face Falcon
• Google Palm
• AzureOpenAI

PandasAI все еще находится в стадии доработки, мы попробовали использовать модель HF- OpenAssistant/HF-Falcon для наших данных, PandasAI действительно является хорошим дополнением к вашему набору инструментов для анализа данных в сочетании с pandas.