Можно еще натренировать модельку которая будет касту индуса определять по фамилииIvanGrozniy wrote: ↑22 Apr 2020 23:32 В общем, у меня появилась идея, как сделать фильтр для фильтрации резюме товарищу 8К по имени и фамилии кандидата.
viewtopic.php?p=7289245#p7289245
Один форумчанин предложил отфильтровать резюме индусов и китайцев
Я решил накидать модельку нейронной сети для этих целей. Решил упростить задачу - фильтровать только индусов и только по фамилии. Потратил час. Построил сбор данных и тренировку модели. Аккурастность предсказания 75% всего лишь на тренировке на 178 фамилий.
Вот что было.
1. Собрал данные с сайтов 100 самых распространненных американских фамилий и 100 самых распостраненных индусских фамилий.
2. Обработал их, загнав каждую букву фамилии, как порядковое число буквы алфавита3. Затем я их перемешал и 10% отделили для тестирования:Code: Select all
def loadDataset(): df = pd.read_csv("C:\\Temp\\indians.csv") arr = [] for i, row in enumerate(df.values): arr.append([row[0].lower(), 1]) df = pd.read_csv("C:\\Temp\\none-indians.csv") for i, row in enumerate(df.values): arr.append([row[0].lower(), 0]) random.shuffle(arr) return arr def convertWordToInts(word): arr = [] for c in word.ljust(15): arr.append(ord(c) - ord('a')) return arr def getExamplesAndLabels(arr_train): examples = [] labels = [] for word in arr_train: examples.append(convertWordToInts(word[0])) labels.append(word[1]) return (np.array(examples), np.array(labels))4. Сделал модельCode: Select all
def makeModel(): arr_all = loadDataset() arr_train = arr_all[:int(len(arr_all) * 0.9)] arr_test = arr_all[int(len(arr_all) * 0.9):] (train_examples, train_labels) = getExamplesAndLabels(arr_train) (test_examples, test_labels) = getExamplesAndLabels(arr_test) train_examples =train_examples / 26. test_examples = test_examples / 26. train_labels.reshape((train_labels.shape[0], 1)) test_labels.reshape((test_labels.shape[0], 1))Собственно аккуратность предсказания получилось такаяCode: Select all
model = keras.Sequential([ keras.layers.Dense(15), #Flatten(input_shape=(train_examples.shape[0], train_examples.shape[1])), # input layer (1) keras.layers.Dense(128, activation='relu'), # hidden layer (2) keras.layers.Dense(2, activation='softmax') # output layer (3) ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.fit(train_examples, train_labels, epochs=10) test_loss, test_acc = model.evaluate(test_examples, test_labels, verbose=1) print('Test accuracy:', test_acc)Понятно, что модель шуточная. Для большей точности, нужно еще подмешать имен и взять побольше примеров. Например, тысяч 10.Code: Select all
Test accuracy: 0.75
куча менедежров привратилось в тыкву и перешло на жесткий микроменеджмент
при это можно еще добавить "сожрал все ресурсы" и улетел
Удачи.
Очередной корпоративный булщит. Они много чего неочевидного придумать могут.