Как классифицировать новый текст, используя классификационную модель, построенную в другом проекте?

В первом проекте я обучил и выбрал классификационную модель, которая использует пакет слов с 2500 функциями, но в этом новом проекте я хочу фактически классифицировать новый текст.

Как мне классифицировать новый текст?

Это то, что я делаю:

import pickle

# pickled TfidfVectorizer(max_features=2500)
vectorizer_in = open("vectorizer.pkl", "rb")
vectorizer = pickle.load(vectorizer_in)

# pickled RandomForestClassifier(n_estimators = 200, criterion = 'gini', class_weight="balanced")
classifier_in = open("classifier.pkl", "rb")
classifier = pickle.load(classifier_in)

# import libraries to clean the text
import re
import nltk
nltk.download('stopwords')
from nltk.corpus import stopwords
from nltk.stem import SnowballStemmer
stemmer = SnowballStemmer('italian')
stopwords_set = set(stopwords.words('italian'))

# clean the input string
def cleanRow(row):
    row = re.sub('[
|
]', ' ', row)
    # regex here ...
    row = row.split()
    row = [stemmer.stem(word) for word in row if not word in stopwords_set]
    row = ' '.join(row)
    return row

def classify(summary, description):
    corpus = cleanRow(summary + " " + description)
    X_test = vectorizer.fit_transform([corpus]).toarray()
    print(vectorizer.get_feature_names()) # ['cas', 'computer', 'cos', 'funzion', 'part', 'pc', 'pi', 'tav']
    y_pred = classifier.predict(X_test)
    # TODO map y_pred to the right label
    return y_pred

out = classify("il computer non parte", "Stavo facendo cose a caso e non mi funziona più il pc.")
print(out)

Это сгенерированная ошибка:

X has 8 features per sample; expecting 2500

В самом деле

vectorizer.get_feature_names()
# ['cas', 'computer', 'cos', 'funzion', 'part', 'pc', 'pi', 'tav']

но я хочу, чтобы исходные метки были в том же порядке, в котором они были созданы и обучены .

Должен ли я выбрать оригинальный набор функций и вручную перестроить новую таблицу слов для нового текста, который я хочу классифицировать?

Всего 1 ответ


Как сказано в комментарии: «в функции классификации вы должны использовать fit_transform а не fit_transform ».

С помощью

X_test = vectorizer.transform([corpus]).toarray()

решает проблему, так как она не подгоняет модель снова, а только создает матрицу терминов в качестве входных данных классификации.


Есть идеи?

10000