簡體   English   中英

在Java中將CSV文件轉換為JSON對象

[英]Converting an CSV file to a JSON object in Java

是否有一個開源java庫將CSV(或XLS)文件轉換為JSON對象?

我嘗試使用json.cdl ,但不知何故它似乎不適用於大型CSV字符串。

我正在嘗試找到類似http://www.cparker15.com/code/utilities/csv-to-json/的內容 ,但是用Java編寫。

您可以使用Open CSV將CSV映射到Java Bean,然后使用JAXB將Java Bean轉換為JSON對象。

http://opencsv.sourceforge.net/#javabean-integration

http://jaxb.java.net/guide/Mapping_your_favorite_class.html

這是我的Java程序,希望有人發現它很有用。

格式需要像這樣:

“SYMBOL,DATE,CLOSE_PRICE,OPEN_PRICE,HIGH_PRICE,LOW_PRICE,體積,ADJ_CLOSE

AAIT,2015-02-26 00:00:00.000,-35.152,0,35.152,35.12,679,0

AAL,2015-02-26 00:00:00.000,49.35,50.38,50.38,49.02,7572135,0“

第一行是列標題。 任何地方都沒有引號。 用逗號分隔而不用分號。 你得到了這筆交易。

/* Summary: Converts a CSV file to a JSON file.*/

//import java.util.*;
import java.io.*;

import javax.swing.*;
import javax.swing.filechooser.FileNameExtensionFilter;

public class CSVtoJSON extends JFrame{
    private static final long serialVersionUID = 1L;
    private static File CSVFile;
    private static BufferedReader read;
    private static BufferedWriter write;

    public CSVtoJSON(){
        FileNameExtensionFilter filter = new FileNameExtensionFilter("comma separated values", "csv");
        JFileChooser choice = new JFileChooser();
        choice.setFileFilter(filter); //limit the files displayed

        int option = choice.showOpenDialog(this);
        if (option == JFileChooser.APPROVE_OPTION) {
            CSVFile = choice.getSelectedFile();
        }
        else{
            JOptionPane.showMessageDialog(this, "Did not select file. Program will exit.", "System Dialog", JOptionPane.PLAIN_MESSAGE);         
            System.exit(1);
        }
    }

    public static void main(String args[]){
        CSVtoJSON parse = new CSVtoJSON();
        parse.convert();

        System.exit(0);
    }

    private void convert(){
        /*Converts a .csv file to .json. Assumes first line is header with columns*/
        try {
            read = new BufferedReader(new FileReader(CSVFile));

            String outputName = CSVFile.toString().substring(0, 
                    CSVFile.toString().lastIndexOf(".")) + ".json"; 
            write = new BufferedWriter(new FileWriter(new File(outputName)));

            String line;
            String columns[]; //contains column names
            int num_cols;
            String tokens[];

            int progress = 0; //check progress

            //initialize columns
            line = read.readLine(); 
            columns = line.split(",");
            num_cols = columns.length;


            write.write("["); //begin file as array
            line = read.readLine();


            while(true) {
                tokens = line.split(",");

                if (tokens.length == num_cols){ //if number columns equal to number entries
                    write.write("{");

                    for (int k = 0; k < num_cols; ++k){ //for each column 
                        if (tokens[k].matches("^-?[0-9]*\\.?[0-9]*$")){ //if a number
                            write.write("\"" + columns[k] + "\": " + tokens[k]);
                            if (k < num_cols - 1) write.write(", ");                                                }
                        else { //if a string
                            write.write("\"" + columns[k] + "\": \"" + tokens[k] + "\"");
                            if (k < num_cols - 1) write.write(", ");
                        }
                    }

                    ++progress; //progress update
                    if (progress % 10000 == 0) System.out.println(progress); //print progress           


                    if((line = read.readLine()) != null){//if not last line
                        write.write("},");
                        write.newLine();
                    }
                    else{
                        write.write("}]");//if last line
                        write.newLine();
                        break;
                    }
                }
                else{
                    //line = read.readLine(); //read next line if wish to continue parsing despite error 
                    JOptionPane.showMessageDialog(this, "ERROR: Formatting error line " + (progress + 2)
                     + ". Failed to parse.", 
                            "System Dialog", JOptionPane.PLAIN_MESSAGE);                    
                    System.exit(-1); //error message
                }
            }

            JOptionPane.showMessageDialog(this, "File converted successfully to "     + outputName, 
                    "System Dialog", JOptionPane.PLAIN_MESSAGE);

            write.close();
            read.close();
        }
        catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }       
    }
    }

需要Swing但是帶有一個漂亮的小GUI,所以那些完全不知道Java的人可以在打包成可執行文件后使用它.jar。 隨意改進它。 感謝StackOverflow這些年幫助我。

@Mouscellaneous基本上都是為你解答的,所以請給他信用。

這是我想出的:

package edu.apollogrp.csvtojson;

import au.com.bytecode.opencsv.bean.CsvToBean;
import au.com.bytecode.opencsv.bean.HeaderColumnNameMappingStrategy;
import org.codehaus.jackson.map.ObjectMapper;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;

public class ConvertCsvToJson {
    public static void main(String[] args) throws IOException, ClassNotFoundException {
        if (args.length > 1) {
            String pathToCsvFile = args[0];
            String javaBeanClassName = "edu.apollogrp.csvtojson.bean." + args[1];
            final File file = new File(pathToCsvFile);
            if (!file.exists()) {
                System.out.println("The file you specified does not exist. path=" + pathToCsvFile);
            }
            Class<?> type = null;
            try {
                type = Class.forName(javaBeanClassName);
            } catch (ClassNotFoundException e) {
                System.out.println("The java bean you specified does not exist. className=" + javaBeanClassName);
            }

            HeaderColumnNameMappingStrategy strat = new HeaderColumnNameMappingStrategy();
            strat.setType(type);

            CsvToBean csv = new CsvToBean();
            List list = csv.parse(strat, new InputStreamReader(new FileInputStream(file)));
            System.out.println(new ObjectMapper().writeValueAsString(list));
        } else {
            System.out.println("Please specify the path to the csv file.");
        }
    }
}

我使用maven來包含依賴項,但您也可以手動下載它們並將它們包含在類路徑中。

<dependency>
    <groupId>net.sf.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>2.0</version>
</dependency>

<dependency>
    <groupId>org.codehaus.jackson</groupId>
    <artifactId>jackson-mapper-asl</artifactId>
    <version>1.9.12</version>
</dependency>
<dependency>
    <groupId>org.codehaus.jackson</groupId>
    <artifactId>jackson-core-asl</artifactId>
    <version>1.9.12</version>
</dependency>

如果您的CSV很簡單,那么這很容易手工編寫 - 但CSV可以包含帶引號,缺失值等的令人討厭的邊緣情況。

  • 使用BufferedReader.readLine()加載文件
  • 使用String.split(",")從每一行獲取值 - 注意,如果您的值沒有逗號,這種方法只能正常工作!
  • 使用BufferedWriter將每個值寫入輸出
    • 使用必要的JSON括號和引號

您可能想要使用CSV庫,然后手動轉換為JSON

我在這段代碼中使用了excel文件。你可以使用csv。 我已經為我所知的特定Excel / csv格式編寫了這個類。

import java.io.File;

public class ReadExcel {

    private String inputFile;

    public void setInputFile(String inputFile) {
        this.inputFile = inputFile;
    }

    public void read() throws IOException {
        File inputWorkbook = new File(inputFile);
        Workbook w;
        try {
            w = Workbook.getWorkbook(inputWorkbook);
            // Get the first sheet
            Sheet sheet = w.getSheet(0);
            // Loop over first 10 column and lines
            int columns = sheet.getColumns();
            int rows = sheet.getRows();
            ContactList clist = new ContactList();
            ArrayList<Contact> contacts = new ArrayList<Contact>();
            for (int j = 1; j < rows; j++) {
                Contact contact = new Contact();
                for (int i = 0; i < columns; i++) {
                    Cell cell = sheet.getCell(i, j);

                    switch (i) {
                    case 0:
                        if (!cell.getContents().equalsIgnoreCase("")) {
                            contact.setSrNo(Integer.parseInt(cell.getContents()));
                        } else {
                            contact.setSrNo(j);
                        }

                        break;
                    case 1:
                        contact.setName(cell.getContents());
                        break;
                    case 2:
                        contact.setAddress(cell.getContents());
                        break;
                    case 3:
                        contact.setCity(cell.getContents());
                        break;
                    case 4:
                        contact.setContactNo(cell.getContents());
                        break;
                    case 5:
                        contact.setCategory(cell.getContents());
                        break;
                    }

                }
                contacts.add(contact);

            }
            System.out.println("done");
            clist.setContactList(contacts);
            JSONObject jsonlist = new JSONObject(clist);
            File f = new File("/home/vishal/Downloads/database.txt");
            FileOutputStream fos = new FileOutputStream(f, true);
            PrintStream ps = new PrintStream(fos);

            ps.append(jsonlist.toString());

        } catch (BiffException e) {
            e.printStackTrace();
            System.out.println("error");
        }
    }

    public static void main(String[] args) throws IOException {
        ReadExcel test = new ReadExcel();
        test.setInputFile("/home/vishal/Downloads/database.xls");
        test.read();
    }
}

我使用jxl.jar進行excel閱讀

使用Java 8,編寫JSON即將到來。

你沒有指定你想要的JSON API,所以我假設“JSON對象”是指帶有序列化JSON對象的字符串。

我在CSV Cruncher項目中做了什么:

  1. 使用HSQLDB加載CSV。 這是一個相對較小(約2 MB)的庫,它實際上實現了SQL 2008數據庫。
  2. 使用JDBC查詢該數據庫。
  3. 構建JDK JSON對象( javax.json.JsonObject )並對其進行序列化。

這是怎么做的:

static void convertResultToJson(ResultSet resultSet, Path destFile, boolean printAsArray) 
{
            OutputStream outS = new BufferedOutputStream(new FileOutputStream(destFile.toFile()));
            Writer outW = new OutputStreamWriter(outS, StandardCharsets.UTF_8);

            // javax.json way
            JsonObjectBuilder builder = Json.createObjectBuilder();
            // Columns
            for (int colIndex = 1; colIndex <= metaData.getColumnCount(); colIndex++) {
                addTheRightTypeToJavaxJsonBuilder(resultSet, colIndex, builder);
            }
            JsonObject jsonObject = builder.build();
            JsonWriter writer = Json.createWriter(outW);
            writer.writeObject(jsonObject);

整個impl就在這里 (最初我寫了我自己的CSV解析和JSON寫作,但想到兩者都很復雜,足以達到一個經過測試的現成庫。)

如果您使用的是Java 8,則可以執行此類操作。 不需要庫或復雜的邏輯。

首先,創建一個表示新JSON對象的POJO。 在我的例子中,它被稱為'YourJSONObject'並且有一個帶兩個字符串的構造函數。

代碼所做的最初是讀取文件,然后創建基於String的行的流。 (一行相當於CSV文件中的一行)。

然后,我們將該行傳遞給map函數,該函數將其拆分為逗號,然后創建YourJSONObject。

然后將所有這些對象收集到我們傳遞給JSONArray構造函數的列表中。

您現在擁有一個JSONObjects數組。 然后,如果要查看此對象的文本表示,可以在此對象上調用toString()。

        JSONArray objects = new JSONArray(Files.readAllLines(Paths.get("src/main/resources/your_csv_file.csv"))
            .stream()
            .map(s -> new YourJSONObject(s.split(",")[0], s.split(",")[1]))
            .collect(toList()));

這是我為返回JSONArray而生成的類,而不僅僅是打印到文件。

import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.dataformat.csv.CsvMapper;
import com.fasterxml.jackson.dataformat.csv.CsvSchema;
import org.json.simple.JSONArray;
import org.json.simple.parser.JSONParser;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;


import java.io.File;
import java.util.List;
import java.util.Map;


public class CsvToJson {

private static final Logger log = LoggerFactory.getLogger(UtilsFormat.class);
private static CsvToJson instance;


public static JSONArray convert(File input) throws Exception {

    JSONParser parser = new JSONParser();
    CsvSchema csvSchema = CsvSchema.builder().setUseHeader(true).build();
    CsvMapper csvMapper = new CsvMapper();

    // Read data from CSV file
    List<? extends Object> readAll = csvMapper.readerFor(Map.class).with(csvSchema).readValues(input).readAll();

    ObjectMapper mapper = new ObjectMapper();

    JSONArray jsonObject = (JSONArray) parser.parse(mapper.writerWithDefaultPrettyPrinter().writeValueAsString(readAll));
    System.out.print(jsonObject.toString());

    return new JSONArray();
}
}

舊帖但我以為我會分享自己的解決方案。 它假定引號用於值內逗號。 它之后也會刪除所有報價。

此方法接受CSV格式的字符串。 因此,它假設您已經將CSV文件讀取為字符串。 確保在閱讀時沒有刪除NextLine字符('\\ n')。

這種方法絕不是完美的,但它可能是您正在尋找的純Java中的快速單方法解決方案。

public String CSVtoJSON(String output) {

    String[] lines = output.split("\n");

    StringBuilder builder = new StringBuilder();
    builder.append('[');
    String[] headers = new String[0];

    //CSV TO JSON
    for (int i = 0; i < lines.length; i++) {
        String[] values = lines[i].replaceAll("\"", "").split("۞");

        if (i == 0) //INDEX LIST
        {
            headers = values;
        } else {
            builder.append('{');
            for (int j = 0; j < values.length && j < headers.length; j++) {

                String jsonvalue = "\"" + headers[j] + "\":\"" + values[j] + "\"";
                if (j != values.length - 1) { //if not last value of values...
                    jsonvalue += ',';
                }
                builder.append(jsonvalue);
            }
            builder.append('}');
            if (i != lines.length - 1) {
                builder.append(',');
            }
        }
    }
    builder.append(']');
    output = builder.toString();

    return output;
}

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM