Tesseract：無法從像素化字體中讀取數字

Question

我想讓我的電腦學習在虛擬機中玩游戲，使用強化學習。 不幸的是，我無法閱讀分數，這應該用於積極的獎勵。 字體也有點奇怪，這可能是原因。 這是我的代碼：

def show(img):
    plt.imshow(img, cmap="gray")
    plt.show()

image = cv2.imread('screenshot.png',0)
crop_img = image[100:140, 38:280]


ret, thresh = cv2.threshold(crop_img, 127, 255, cv2.THRESH_BINARY) 
kernel = np.ones((3,3),np.uint8)
img = cv2.erode(thresh,kernel,iterations = 1)

data = pytesseract.image_to_string(img, lang='eng',config='--psm 10 --oem 3 -c tessedit_char_whitelist=0123456789')
show(img)
print(data)

我試圖從屏幕截圖中提取分數，結果成功了，但它似乎無法識別單個字符。

我想用於負獎勵的生命數量似乎得到了認可。 那些是一種奇怪的物體，tesseract 似乎認為那些是歐元符號，所以我可以計算歐元符號的數量來確定生命的數量......

但是對於分數有什么提示嗎？

Answer 1

檢測同一 ROI 中的所有數字非常具有挑戰性。 最好在多個 ROI 中檢測。 以下是我嘗試過的。

1. 將圖像調整為更小。

2. 盡可能模糊數字。

    barroi = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) scale_percent = 50 # percent of original size width = int(barroi.shape[1] * scale_percent / 100) height = int(barroi.shape[0] * scale_percent / 100) dim = (width, height) barroi = cv2.resize(barroi, dim, interpolation = cv2.INTER_AREA) barroi = cv2.GaussianBlur(barroi,(5,5),0) barroi = cv2.medianBlur(barroi, 5) barroi = cv2.GaussianBlur(barroi,(5,5),0) barroi = cv2.medianBlur(barroi, 5) barroi = cv2.GaussianBlur(barroi,(5,5),0) barroi = cv2.medianBlur(barroi, 5) barroi = cv2.GaussianBlur(barroi,(5,5),0) barroi = cv2.medianBlur(barroi, 5) kernel = np.ones((3,3),np.uint8) barroi = cv2.erode(barroi,kernel,iterations = 1) (thresh, barroi) = cv2.threshold(barroi, 0, 255, cv2.THRESH_OTSU | cv2.THRESH_BINARY) cv2.imwrite("testing.tif", barroi) text = pytesseract.image_to_string(barroi, lang='eng', config='-- psm 10 --oem 3 -c tessedit_char_whitelist=0123456789') print(str(ROIRegion[region])+" "+str(text)) imageName = "Region"+str(region)+".tif" cv2.imwrite(imageName, roi) cv2.putText(img, "Result: "+str(text), ROIRegion[region][0], cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,0,0), 2) imageName = "Result.tif" cv2.imwrite(imageName, img) cv2.namedWindow('Result') cv2.imshow('Result',img)

結果