Reading a .csv file to Pandas Error: ',' expected after '"'

Question

I'm reading a csv dataset (82k lines) to Pandas, which contains (147) fields with integers,strings and evaluation texts. The evaluation texts begin with ," and end with ", but I think inside the quotation marks they contain whatever characters the writers decided to use (including quotation marks).

I try to read the csv like this:

data=pd.read_csv('./data.csv',index_col=0,header=0,quotechar='"',skipfooter=1)

but get the following error message:

Error: ',' expected after '"'

Would this error message be consistent with there being an evaluation text that begins with ," and ends with ", with " somewhere between the beginning and end?

If so what would be the best way of reading such evaluation texts? Would it be best to go through the csv file and replace all " without a comma before or after with '? How could this be implemented?

For reference here are the first 3 lines of the csv, where there are no problems:

id,evaluator_number,fullname,abilitato,collegiale,fullname_evaluator,evaluation,category,field,national,female_evaluator,university_evaluator,ssd_cineca_evaluator,candidate_number,fullname_applicant,birth_date,birth_city,birth_province,residence_city,residence_province,residence_country,settore,qualifica,ssd_applicant,anzianita,universita,number_of_publications,children,pages_cv,non_strutturato_applicant,order_exam,surname,firstname,pareri_pro_verita,promoted,ssd,ind1,ind2,ind3,bibliometrico,mediana1,mediana2,mediana3,satisfies1,satisfies2,satisfies3,how_many_satisfies,satisfies_0,satisfies_1,satisfies_2,satisfies_3,satisfies_weak1,satisfies_weak2,satisfies_weak3,how_many_satisfies_weak,satisfies_weak_0,satisfies_weak_1,satisfies_weak_2,satisfies_weak_3,sd_ind1,mean_ind1,z_ind1,sd_ind2,mean_ind2,z_ind2,sd_ind3,mean_ind3,z_ind3,candidate,birth_year,age,z_publ_appl,z_pages_cv,female,fascia_cineca,facolta,ssd_cineca,department,university,ordinario,faculty_university,fascia_original,same_field,sc_cineca,fixed_term_contract,junior,strutturato,expected_share_female,share_female_national,share_female_international,share_female,no_international,share_female_committee,share_female_committee_f,eligible_evaluators_university,eligible_evaluators,evaluators_university,evaluators_university_f,international_evaluators,location_exam,host,location_control,z_publications,publications,citations,h_index,z_citations,z_h_index,books,A_journals,z_books,z_A_journals,dimensions_satisfied,quality,z_quality,voto_medio,mean_quality_macro,share_eligible_evaluators,positive_votes,number_votes,male_votes,male_positive_votes,female_votes,female_positive_votes,count,tag,italian_evaluator,unanimita,quattro_a_uno,maggioranza,tre_a_due,congruence,negative_vote,positive_vote,pubblicazioni2,declared_co_authors,prova,vote,number_si,number_no,length_collegiale,length_evaluation,words_collegiale,words_evaluation,missing,colleague,colleague_in_committee,colleague_among_candidates
27140,1,MANCINI Massimo,No,"candidato massimo mancini giudizio collegiale 1. il candidato massimo mancini attualmente non risulta ricoprire alcun ruolo presso atenei italiani; risulta aver partecipato a progetti di ricerca internazionali e nazionali, ammessi al finanziamento sulla base di bandi competitivi che prevedano la revisione tra pari. 2. il candidato massimo mancini presenta n. 12 pubblicazioni, distribuite nell arco temporale dal 1995 al 2012: 1. mancini m (2012). ragione, dialettica e argomentazione giuridica - il progetto di robert alexy . p. 1-150, torino:g. giappichelli editore, isbn: 978-88-348-2954-7 monografia o trattato scientifico 2. mancini m (2012). diritto e comunicazione tra economia e filosofia . rifd. rivista internazionale di filosofia del diritto, p. 85-108, issn: 1593-7135 articolo in rivista 3. mancini m (2012). epistemologia e metodo nelle scienze giuridiche . in: metodo e processo - una riflessione filosofica . vol. 2, p. 59-116, perugia:margiacchi-galeno editrice, isbn: 978-88-96663-189 contributo in volume (capitolo o saggio) 4. mancini m (2012). topica e argomentazione giuridica . in: metodo e processo - una riflessione filosofica . vol. 2, p. 117-148, perugia:margiacchi-galeno editrice, isbn: 978-88-96663-189 contributo in volume (capitolo o saggio) 5. mancini m (2009). regole e procedure: la teoria dell argomentazione giuridica di robert alexy . teoria del diritto e dello stato, vol. 2-3, p. 443-455, issn: 1721-8098, doi: 10-4399/97885483157512 articolo in rivista 6. mancini m (2005). aspetti dell argomentazione giuridica nello stato di eccezione . in: metodo e processo - una riflessione filosofica . p. 93-145, perugia:margiacchi-galeno editrice, isbn: 88-86494-56-4 contributo in volume (capitolo o saggio) 7. mancini m (2000). democrazia, ordinamento e costituzione da j.-j. rousseau a f.p.g. guizot . rifd. rivista internazionale di filosofia del diritto, p. 161-191, issn: 1593-7135 articolo in rivista 8. mancini m (a cura di) (1999). interpretazioni novecentesche di thomas hobbes . di t. hobbes, f. tonnies, m. horkheimer, l. strauss, c. schmitt, t. parsons, n. bobbio, h. warrender. vol. 2, p. 9-139, torino:g. giappichelli editore, isbn: 88-348-9138-4 curatela 9. mancini m (1999). significato e significante: osservazioni sulla specializzazione del linguaggio politico, giuridico ed economico . rivista internazionale di filosofia del diritto, p. 165-179, issn: 0035-6727 articolo in rivista 10. mancini m (1998). della sovranita . vol. 2, p. 1-165, napoli:editoriale scientifica s.r.l., isbn: 88-87293-06-6 traduzione di libro 11. mancini m (1998). sovereignty, law and majority: f.p.g. guizot s contribution . in: law and politics between nature and history. bologna, 16th-21st june, p. 143-151, bologna:clueb cooperativa libraria universitaria editrice bologna, isbn: 88-8091-578-9 contributo in atti di convegno 12. mancini m (1995). la critica di guizot ai faits generaux e il caso sisde . rivista internazionale di filosofia del diritto, p. 621-628, issn: 0035-6727 articolo in rivista le 12 pubblicazioni presentate con allegato sono state sottoposte ad approfondito esame alla luce dei criteri e dei parametri deliberati dalla commissione e contenuti nel verbale di insediamento, valutando la metodologia, l innovativita, la collocazione editoriale e l impatto scientifico al fine di giungere alla formulazione di un analitico giudizio collegiale. tra queste pubblicazioni, la commissione ha individuato, come elementi piu rilevanti ai fini della formulazione del giudizio collegiale, le seguenti: una breve monografia sulla teoria dell argomentazione di robert alexy (n. 1), che risulta poco pertinente; un articolo accettabile su democrazia e diritto da rousseau a guizot (n. 7); la curatela di un testo di guizot (n. 10) e un contributo in inglese, di qualita discreta, sulla teoria della sovranita di guizot (n. 11); la curatela di un volume sulle interpreazioni novecentesche di hobbes (n. 8). poco o per nulla pertinenti le altre pubblicazioni: un articolo su significato e significante nella teoria del linguaggio giuridico, politico ed economico (n. 9); un articolo che indaga alcuni aspetti filosofici della comunicazione giuridica, anche in relazione al rapporto tra economia e diritto (n. 2), una nota critica su un libro di alexy (n. 5); una breve nota su un caso giudiziario, interpretato a partire da alcune tesi di guizot (n. 12); tre contributi in volume sulla teoria dell argomentazione giuridica e sullo statuto delle scienze giuridiche (nn. 3, 4, 6). la qualita della produzione scientifica complessiva appare di livello accettabile, ma la pertinenza risulta insufficiente. 3. in base ai criteri e parametri adottati, la commissione unanime giudica che il candidato massimo mancini non abbia raggiunto una adeguata maturita scientifica; pertanto delibera all unanimita che al candidato massimo mancini non venga attribuita l abilitazione scientifica nazionale alle funzioni di professore universitario di seconda fascia, settore concorsuale 14/a1. la commissione prof. luigi alfieri - presidente prof. michelangelo bovero - componente prof.ssa barbara henry - componente prof. thierry gontier - commissario ocse prof. alessandro ferrara - segretario",ALFIERI Luigi,"candidato massimo mancini giudizio individuale del commissario prof. luigi alfieri a. profilo il candidato massimo mancini a) risulta attualmente non ricoprire alcun ruolo presso atenei italiani; b) risulta aver partecipato a progetti di ricerca internazionali e nazionali, ammessi al finanziamento sulla base di bandi competitivi che prevedano la revisione tra pari. b. pubblicazioni scientifiche a) il candidato massimo mancini presenta n. 12 pubblicazioni, distribuite nell arco temporale dal 1995 al 2012: 1. mancini m (2012). ragione, dialettica e argomentazione giuridica - il progetto di robert alexy . pp. 1-150, torino: g. giappichelli editore, isbn: 978-88-348-2954-7 (monografia) 2. mancini m (2012). diritto e comunicazione tra economia e filosofia . rifd. rivista internazionale di filosofia del diritto, pp. 85-108, issn: 1593-7135 (articolo in rivista) 3. mancini m (2012). epistemologia e metodo nelle scienze giuridiche . in: metodo e processo - una riflessione filosofica . vol. 2, pp. 59-116, perugia: margiacchi-galeno editrice, isbn: 978-88-96663-189 (contributo in volume) 4. mancini m (2012). topica e argomentazione giuridica . in: metodo e processo - una riflessione filosofica . vol. 2, pp. 117-148, perugia: margiacchi-galeno editrice, isbn: 978-88-96663-189 (contributo in volume) 5. mancini m (2009). regole e procedure: la teoria dell argomentazione giuridica di robert alexy . teoria del diritto e dello stato, vol. 2-3, pp. 443-455, issn: 1721-8098, doi: 10-4399/97885483157512 (articolo in rivista) 6. mancini m (2005). aspetti dell argomentazione giuridica nello stato di eccezione . in: metodo e processo - una riflessione filosofica . pp. 93-145, perugia: margiacchi-galeno editrice, isbn: 88-86494-56-4 (contributo in volume) 7. mancini m (2000). democrazia, ordinamento e costituzione da j.-j. rousseau a f.p.g. guizot . rifd. rivista internazionale di filosofia del diritto, pp. 161-191, issn: 1593-7135 (articolo in rivista) 8. mancini m (a cura di) (1999). interpretazioni novecentesche di thomas hobbes . di t. hobbes, f. tonnies, m. horkheimer, l. strauss, c. schmitt, t. parsons, n. bobbio, h. warrender. vol. 2, pp. 9-139, torino: g. giappichelli editore, isbn: 88-348-9138-4 (curatela) 9. mancini m (1999). significato e significante: osservazioni sulla specializzazione del linguaggio politico, giuridico ed economico . rivista internazionale di filosofia del diritto, pp. 165-179, issn: 0035-6727 (articolo in rivista) 10. mancini m (1998). della sovranita . vol. 2, pp. 1-165, napoli: editoriale scientifica s.r.l., isbn: 88-87293-06-6 (traduzione di libro) 11. mancini m (1998). sovereignty, law and majority: f.p.g. guizot s contribution . in: law and politics between nature and history. bologna, 16th-21st june, pp. 143-151, bologna: clueb cooperativa libraria universitaria editrice bologna, isbn: 88-8091-578-9 (contributo in atti di convegno) 12. mancini m (1995). la critica di guizot ai faits generaux e il caso sisde . rivista internazionale di filosofia del diritto, pp. 621-628, issn: 0035-6727 (articolo in rivista). b) risultano agli atti superate 0/3 delle mediane stabilite dal ministero. c) le tematiche affrontate appaiono sufficientemente ampie e diversificate, e la loro pertinenza disciplinare risulta solo parziale. d) tra le pubblicazioni compare un numero sufficiente di monografie, quali definite nei criteri adottati dalla commissione, e la loro pertinenza disciplinare risulta scarsa. e) in particolare si segnalano: la monografia ragione, dialettica e argomentazione giuridica - il progetto di robert alexy (n. 1), di filosofia del diritto, con qualche limitato riflesso disciplinare; l articolo in rivista democrazia, ordinamento e costituzione da j.-j. rousseau a f.p.g. guizot (n. 7) e il contributo in atti di convegno sovereignty, law and majority: f.p.g. guizot s contribution , che insieme alla curatela n. 8 e alla traduzione n. 10 possono essere considerati i soli scritti del candidato dotati di sufficiente pertinenza disciplinare. la fisionomia complessiva e comunque spiccatamente giusfilosofica. f) la collocazione editoriale delle pubblicazioni appare, nel complesso, di un certo rilievo solo nazionale. g) l impatto delle pubblicazioni all interno del settore concorsuale appare scarso. h) la qualita della produzione scientifica complessiva, valutata all interno del panorama nazionale della ricerca sulla base dell originalita, del rigore metodologico e del carattere innovativo, appare di livello accettabile, ma la pertinenza risulta insufficiente. c. giudizio complessivo in base ai criteri e parametri adottati, il sottoscritto commissario prof. luigi alfieri giudica che il candidato massimo mancini non abbia raggiunto una adeguata maturita scientifica; pertanto propone che al candidato massimo mancini non venga attribuita l abilitazione scientifica nazionale alle funzioni di professore universitario di seconda fascia, settore concorsuale 14/a1. il commissario (prof. luigi alfieri)",2,14/A1,1,0,URBINO Carlo BO,SPS/01,55685,MASSIMO MANCINI,18/03/1960,ROMA,(RM),Roma,RM,Italia,,,,,,28,0,5,1,111,MANCINI,MASSIMO,0,0,,1,6,0,0,2,13.5,0,0,0,0,0-0-0,1,0,0,0,0,0,1,0-0-1,0,1,0,0,2.9800138,3.58305,-.86679131,16.427759,16.2204,-.62214208,2.1690211,1.06995,-.49328703,1,1960,52,-.13754946,-.49142754,0,Non strutturato,,,,UNKNOWN,,,,0,,0,0,0,.30400002,.375,0,.30000001,,.2,.2,0,,0,0,4,FERRARA,0,0,-.62214208,6,,,,,1,0,-.86679131,-.49328703,0,0,-.49230599,.48584783,,0,0,5,4,0,1,0,5,0,1,1,0,0,0,,1,,,,,0,0,5,5221,4987,754,703,0,0,0,0
16043,1,SPADONI Adolfo Sergio,No,"candidato adolfo sergio spadoni giudizio collegiale 1. il candidato adolfo sergio spadoni attualmente ricopre il ruolo r. u. presso l universita degli studi di milano; l esperienza didattica appare buona ma risulta di insufficiente pertinenza disciplinare; l esperienza in gruppi di ricerca appare buona, ma di insufficiente pertinenza disciplinare; risulta partecipare a comitati editoriali di riviste di riconosciuto prestigio; risulta svolgere incarichi istituzionali di particolare rilevanza in ambito accademico. 2. il candidato adolfo sergio spadoni presenta n. 12 pubblicazioni, distribuite nell arco temporale dal 1986 al 2012: 1. a.s. spadoni (2012). cani di ghiaccio : mito diritto destino. satura editrice, isbn: 978-88-7607-109-6 monografia o trattato scientifico 2. a.s. spadoni (2012). stato e sovranita : epilegomeni politico-giuridici. edizioni scientifiche italiane, isbn: 978-88-495-2420-8 monografia o trattato scientifico 3. a.s. spadoni (2009). polemologia e modernita. in: pace guerra conflitto nella societa dei diritti. p. 1-361, torino:g. giappichelli, isbn: 978-8-83489-476-7 contributo in volume (capitolo o saggio) 4. a.s. spadoni (2008). la natura polisemica del diritto. filosofia dei diritti umani, vol. 10, p. 22-29, issn: 1129-972x articolo in rivista 5. a.s. spadoni (2006). kraus, karl. in: enciclopedia filosofica. 6. p. 6114-6115, milano:bompiani - fondazione centro studi filosofici di gallarate, isbn: 8845257711 voce (in dizionario o enciclopedia) 6. a.s. spadoni (2005). il diritto e le aporie della liberta tra mundus intelligibilis e mundus sensibilis : th. w. adorno lettore di kant. in: kant e la filosofia del diritto : colloquio internazionale per il bicentenario della morte di immanuel kant (1804-2004), treviso, 1. ottobre 2004. 2004, p. 67-81, napoli:edizioni scientifiche italiane, isbn: 8849510853 contributo in atti di convegno 7. a.s. spadoni (2005). nomos e tecnica : ragion strategica e pensiero filosofico-giuridico nell ordinamento dei grandi spazi. napoli:edizioni scientifiche italiane, isbn: 88-495-0829-8 monografia o trattato scientifico 8. a.s. spadoni (2001). eurocontrol e la funzione unificatrice dello spazio aereo europeo : rafforzamento o svuotamento del principio della sovranita degli stati?. 1989. rivista di diritto pubblico e scienze politiche, vol. 11, p. 259-267, issn: 1720-4240 articolo in rivista 9. a.s. spadoni (2000). una teoria polemica della modernita. rifd. rivista internazionale di filosofia del diritto, vol. 4, p. 552-579, issn: 1593-7135 articolo in rivista 10. a.s. spadoni (2000). diritto naturale, speranza e mito in ernst bloch. critica del diritto, p. 634-644, issn: 0390-0657 articolo in rivista 11. a.s. spadoni (1997). l itinerario intellettuale di max horkheimer dalla teoria critica a la nostalgia del totalmente altro. cenobio, p. 201-220, issn: 0008-896x articolo in rivista 12. a.s. spadoni (1994). il mondo giuridico e politico di karl kraus. milano:dott. a. giuffre editore, isbn: 88-14-04377-9 monografia o trattato scientifico le 12 pubblicazioni presentate con allegato sono state sottoposte ad approfondito esame alla luce dei criteri e dei parametri deliberati dalla commissione e contenuti nel verbale di insediamento, valutando la metodologia, l innovativita, la collocazione editoriale e l impatto scientifico al fine di giungere alla formulazione di un analitico giudizio collegiale. tra queste pubblicazioni, la commissione ha individuato, come elementi piu rilevanti ai fini della formulazione di un analitico giudizio collegiale, le seguenti: il saggio lungo su sovranita e diritti (n. 1), la monografia dedicata a stato e sovranita (n. 2), il contributo su guerra e diritti (n. 3), la monografia su nomos e tecnica (n. 7), di qualita accettabile, che toccano temi di per se rilevanti per la filosofia politica, ma appaiono affrontati in un ottica prevalentemente filosofico-giuridica; la monografia il mondo giuridico e politico di karl kraus (n. 12) e la voce enciclopedica dedicata allo stesso autore (n. 5), che appaiono originali, ma scarsamente pertinenti; i saggi su adorno (n. 6), bloch (n. 10), horkheimer (n. 11), pertinenti e di livello accettabile. le pubblicazioni n. 4, 8, 9, appaiono limitatamente pertinenti o scarsamente rilevanti. 3. in base ai criteri e parametri adottati, la commissione unanime giudica che il candidato adolfo sergio spadoni non abbia raggiunto una adeguata maturita scientifica nell ambito del settore disciplinare; pertanto delibera all unanimita che al candidato adolfo sergio spadoni non venga attribuita l abilitazione scientifica nazionale alle funzioni di professore universitario di seconda fascia, settore concorsuale 14/a1. la commissione prof. luigi alfieri - presidente prof. michelangelo bovero - componente prof.ssa barbara henry - componente prof. thierry gontier - commissario ocse prof. alessandro ferrara - segretario",ALFIERI Luigi,"candidato adolfo sergio spadoni giudizio individuale del commissario prof. luigi alfieri a. profilo il candidato adolfo sergio spadoni a) risulta attualmente ricoprire attualmente il ruolo di r. u. presso l universita degli studi di milano; b) l esperienza didattica appare buona ma risulta di insufficiente pertinenza disciplinare; c) risulta aver partecipato a progetti di ricerca internazionali e nazionali, ammessi al finanziamento sulla base di bandi competitivi che prevedano la revisione tra pari; d) risulta partecipare a comitati editoriali di riviste di riconosciuto prestigio: filosofia dei diritti umani philosophy of human rights; e) risulta svolgere incarichi istituzionali di particolare rilevanza in ambito accademico. b. pubblicazioni scientifiche a) il candidato adolfo sergio spadoni presenta n. 12 pubblicazioni, distribuite nell arco temporale dal 1994 al 2012: 1. a.s. spadoni (2012). cani di ghiaccio: mito diritto destino. satura editrice, isbn: 978-88-7607-109-6 (monografia) 2. a.s. spadoni (2012). stato e sovranita: epilegomeni politico-giuridici. edizioni scientifiche italiane, isbn: 978-88-495-2420-8 (monografia) 3. a.s. spadoni (2009). polemologia e modernita. in: pace guerra conflitto nella societa dei diritti. pp. 1-361, torino: g. giappichelli, isbn: 978-8-83489-476-7 (contributo in volume) 4. a.s. spadoni (2008). la natura polisemica del diritto. filosofia dei diritti umani, vol. 10, pp. 22-29, issn: 1129-972x (articolo in rivista) 5. a.s. spadoni (2006). kraus, karl. in: enciclopedia filosofica. 6. pp. 6114-6115, milano: bompiani - fondazione centro studi filosofici di gallarate, isbn: 8845257711 (voce in enciclopedia) 6. a.s. spadoni (2005). il diritto e le aporie della liberta tra mundus intelligibilis e mundus sensibilis: th. w. adorno lettore di kant. in: kant e la filosofia del diritto: colloquio internazionale per il bicentenario della morte di immanuel kant (1804-2004), treviso, 1. ottobre 2004. 2004, pp. 67-81, napoli: edizioni scientifiche italiane, isbn: 8849510853 (contributo in atti di convegno) 7. a.s. spadoni (2005). nomos e tecnica: ragion strategica e pensiero filosofico-giuridico nell ordinamento dei grandi spazi. napoli: edizioni scientifiche italiane, isbn: 88-495-0829-8 (monografia) 8. a.s. spadoni (2001). eurocontrol e la funzione unificatrice dello spazio aereo europeo : rafforzamento o svuotamento del principio della sovranita degli stati?, 1989. rivista di diritto pubblico e scienze politiche, vol. 11, pp. 259-267, issn: 1720-4240 (articolo in rivista) 9. a.s. spadoni (2000). una teoria polemica della modernita. rifd. rivista internazionale di filosofia del diritto, vol. 4, pp. 552-579, issn: 1593-7135 (articolo in rivista) 10. a.s. spadoni (2000). diritto naturale, speranza e mito in ernst bloch. critica del diritto, pp. 634-644, issn: 0390-0657 (articolo in rivista) 11. a.s. spadoni (1997). l itinerario intellettuale di max horkheimer dalla teoria critica a la nostalgia del totalmente altro. cenobio, pp. 201-220, issn: 0008-896x (articolo in rivista) 12. a.s. spadoni (1994). il mondo giuridico e politico di karl kraus. milano: dott. a. giuffre editore, isbn: 88-14-04377-9 (monografia). b) risultano agli atti superate 1/3 delle mediane stabilite dal ministero. c) le tematiche affrontate appaiono sufficientemente ampie e diversificate, ma la loro pertinenza disciplinare risulta limitata. d) tra le pubblicazioni compare un numero sufficiente di monografie, quali definite nei criteri adottati dalla commissione, ma la loro pertinenza disciplinare risulta limitata. e) in particolare si segnalano: la monografia il mondo giuridico e politico di karl kraus (n. 12), tematicamente originale ma interpretativamente alquanto forzata; la monografia schmittiana nomos e tecnica: ragion strategica e pensiero filosofico-giuridico nell ordinamento dei grandi spazi (n. 7), dichiaratamente condotta in un ottica giusfilosofica; la monografia stato e sovranita: epilegomeni politico-giuridici (n. 2), piu pertinente ma alquanto sommaria rispetto al tema sterminato; la monografia cani di ghiaccio: mito diritto destino (n. 1), suggestiva e con spunti di originalita, ma anch essa prevalentemente di ordine giusfilosofico. da segnalare anche il contributo in atti di convegno il diritto e le aporie della liberta tra mundus intelligibilis e mundus sensibilis: th. w. adorno lettore di kant (n. 6), l articolo in rivista diritto naturale, speranza e mito in ernst bloch (n. 10), l articolo in rivista l itinerario intellettuale di max horkheimer dalla teoria critica a la nostalgia del totalmente altro , tutti interessanti e con aspetti di pertinenza, ma in prevalente ottica giusfilosofica. f) la collocazione editoriale delle pubblicazioni appare di discreto rilievo nazionale. g) l impatto delle pubblicazioni all interno del settore concorsuale appare limitato. h) la qualita della produzione scientifica complessiva, valutata all interno del panorama nazionale della ricerca sulla base dell originalita, del rigore metodologico e del carattere innovativo, risulta di livello apprezzabile, ma la pertinenza risulta insufficiente ai fini della presente valutazione comparativa. c. giudizio complessivo in base ai criteri e parametri adottati, il sottoscritto commissario prof. luigi alfieri giudica che il candidato adolfo sergio spadoni non abbia raggiunto una adeguata maturita scientifica nel settore disciplinare; pertanto propone che al candidato adolfo sergio spadoni non venga attribuita l abilitazione scientifica nazionale alle funzioni di professore universitario di seconda fascia, settore concorsuale 14/a1. il commissario (prof. luigi alfieri)",2,14/A1,1,0,URBINO Carlo BO,SPS/01,33378,ADOLFO SERGIO SPADONI,23/01/1947,MILANO,(MI),MILANO,MI,Italia,,Ricercatore Universitario,,01/11/1995,MILANO,24,0,11,0,174,SPADONI,ADOLFO SERGIO,0,0,,3,5,0,0,2,13.5,0,1,0,0,1-0-0,0,1,0,0,1,0,1,1-0-1,0,0,1,0,2.9800138,3.58305,-.19565345,16.427759,16.2204,-.68301463,2.1690211,1.06995,-.49328703,1,1947,65,-.16687036,1.0382272,0,Non strutturato,,,,UNKNOWN,,,,0,,0,0,0,.30400002,.375,0,.30000001,,.2,.2,0,,0,0,4,FERRARA,0,0,-.68301463,5,,,,,3,0,-.19565345,-.49328703,1,0,-.49230599,.48584783,,0,0,5,4,0,1,0,10,0,1,1,0,0,0,,1,,,,,0,0,5,4892,5652,696,786,0,0,0,0

Answer 1

Your csv has been improperly constructed. The best fix would be to go back to the program that generated it, and fix that program.

Because it is not escaping quotes, the field delimiters are ambiguous. Consider this pathological case:

Suppose the field value is the string ',",""' . Then your csv would record it (without proper escape quoting) as:

",","""

This could represent the single string ',",""' , or it could represent two strings, ',' and '"' .

There is no way to tell. So in theory you are screwed. In practice, however, such pathological cases might not actually show up.

If the non-field-delimiting quotes are never precede or followed by a comma, then you could fix the CSV by using the fileinput and re modules to change all such doublequotes ( " ) into escaped doublequotes ( "" ):

import fileinput
import re
import sys
import pandas as pd

for line in fileinput.input(['data.csv'], inplace=True, backup='.bak'):
    sys.stdout.write(re.sub(r'(?<!,)"(?!,)', r'""', line))

df = pd.read_csv(
    'data.csv', index_col=0, header=0, quotechar='"', skipfooter=1)

print(df)