[英]Python: classify text into the categories
我有一部分訓練
url category
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_nkw=Джинсы&_dcat=11483&Inseam=33&rt=nc&_trksid=p2045573.m1684 Онлайн-магазин
google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%BA%D0%BA%D1%83%D0%BF%D0%BE%D0%BD%D1%8B%20aliexpress%202016 Search
google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&q=%D0%BA%D1%83%D0%BF%D0%BE%D0%BD%D1%8B+aliexpress+2016 Search
google.ru/search?q=авито&oq=авито&aqs=chrome..69i57j0l5.1608j0j7&sourceid=chrome&es_sm=122&ie=UTF-8 Search
irecommend.ru/content/kogda-somnenii-byt-ne-mozhet-tolko-klear-blyu-pomozhet Форумы и отзывы
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_dcat=11483&Inseam=33&_nkw=Джинсы&_sop=15 Онлайн-магазин
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_dcat=11483&Inseam=33&_nkw=Джинсы&_sop=15 Онлайн-магазин
irecommend.ru/content/gramotnyi-razvod-na-dengi-bolshe-ne-kuplyu-vret Форумы и отзывы
google.ru/search?q=яндекс&oq=яндекс&aqs=chrome..69i57j69i61l3j69i59l2.1383j0j1&sourceid=chrome&es_sm=93&ie=UTF-8 Search
google.ru/search?q=авито&oq=авито&aqs=chrome..69i57j69i59j69i60.1095j0j1&sourceid=chrome&es_sm=93&ie=UTF-8 Search
otzovik.com/review_1399716.html#debug Форумы и отзывы
svyaznoy.ru Онлайн-магазин
mvideo.ru/smartfony-sotovye-telefony/apple-iphone-2927 Онлайн-магазин
mvideo.ru/promo/rassrochka-0-0-12-mark24197850/f/category=iphone-914?sort=priceLow&_=1453896710474&categoryId=10 Онлайн-магазин
svyaznoy.ru/catalog/phone/224/tag/windows-phone Онлайн-магазин
google.it/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%B5%D0%B2%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C Search
vk.com Social network
這是url
和category
之間的聯系,而且我有測試集,我需要獲取每個網址的類別。
url
vk.com/topic-102849764_32295213
stats.stackexchange.com/questions/19048/what-is-the-difference-between-test-set-and-validation-set
google.ru/search?q=learning+sample&oq=learning+sample&aqs=chrome..69i57.4063j0j1&sourceid=chrome&ie=UTF-8#newwindow=1&q=machine+learning+test+and+learn
facebook.com
locals.ru
tvzvezda.ru/news/vstrane_i_mire/content/201609261038-k6n1.htm
我不知道,應該使用哪種算法來解決此任務。 我需要最好的方法來獲得最高的准確性。 我認為我有多個類別是個問題。
我嘗試首先解析html標簽title
,因為我認為只能通過url
確定類別。
基本上,您將字符串分類。 因此,您將使用分類器。 但是,您不僅將使用一個分類器,還要測試多個分類器並選擇最准確的分類器。
但是首先,您必須考慮每個URL的功能。 我希望如果僅將URL作為字符串和唯一功能來輸入,那么您將不會獲得很高的准確性。
相反,您將預處理每個URL以提取功能。 相關/有用功能的選擇在很大程度上取決於領域。 一個功能可能是:
簡單的功能
直到點的第一個單詞,例如:“ facebook.com”代表“ facebook.com”
整個字符串的長度
復雜的功能
假設您為每個群集定義了關鍵字,例如將定義“促銷,購買,購物,出售,價格”的“在線購物”群集,那么您可以計算每個群集的字符串中出現的關鍵字數量特征
因此,您將必須首先繼續進行功能設計 ,其次繼續進行比較分類器性能。
附加輸入:
編輯:一個例子
url = "irecommend.ru/content/kogda-somnenii-byt-ne-mozhet-tolko-klear-blyu-pomozhet"
f1 = len(url) = 76
f2 = base = str(url).split("/",1)[0] = "irecommend.ru"
f3 = segments = str(a).count("/") = 2
從更多的解決方案在這里由Eiyrioü馮Kauyf
import string
count = lambda l1,l2: sum([1 for x in l1 if x in l2])
f4 = count_punctuation = count(a,set(string.punctuation))
f5 = count_ascii = count(a,set(string.ascii_letters))
但是,所有這些示例都是非常簡單的功能,沒有涵蓋URL的語義內容。 根據你的目標變量(集群)的深度/復雜,您可能需要使用的功能正克基功能,如在這里
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.