从数据中删除 ² 符号

Question

Helloo so I am currently cleaning my data using pandas.

I use this following code

import pandas as pd


#buat lowercase
baca = pd.read_csv('E:\coba8.csv', encoding='utf-16')
#periksa = baca.DataFrame(baca, columns = ['Comment'])

#df=baca["Comment"].str.lower()
#ilangin simbol
df1=baca["Comment"].str.replace('[^\w\s]','')
#ilangin angka
df2=df1.str.replace('\d+','')
#ilangin enter
df3=df2.str.replace('\n',' ',regex=True)
df=df3.str.lower()


df.to_csv('newcoba8_5.csv', index=False)   
print(df)

The result is already satisfying me but in some of the row this weird character appears

² 

Example of the row that contains the character

banyak orang² dari luar yang mudik di jawa timur sihmasyarakat orang² di surabaya bandel² apalagi yang nyangkruk di warkop bagi laki ato perempuan

biarkan saja jd no  biar orang² yg susah di bilangin ngerasain akibatnya  di daerahku orang² masih beraktifiras seperti biasa tarawih jumatan  waktu di masjid dll tanpa pake masker  masih berdempetan

The Row in the source file

Banyak orang² dari luar yang mudik di jawa timur sih+masyarakat orang² di Surabaya bandel² apalagi yang nyangkruk di warkop bagi laki ato perempuan

Biarkan saja jd no 1, biar orang² yg susah di bilangin ngerasain akibatnya. Di daerahku orang² masih beraktifiras seperti biasa, tarawih, jum'atan, 5 waktu di masjid, dll, tanpa pake masker & masih berdempetan.

Any solution to make that character disappear?

Answer 1

I think you are using the wrong encoding when reading the data. You should probably use the Indonesian ASCII code page.