首页 > 编程知识 正文

python的csv转json的简单介绍

时间:2023-11-28 16:46:09 阅读:310042 作者:PENY

本文目录一览:

  • 1、Python类型可以转为JSON的number类型
  • 2、python怎么转化成json格式
  • 3、python处理csv数据怎么更有效率
  • 4、如何将json的数据转化成csv的数据格式
  • 5、如何将CSV格式转换成JSON格式

Python类型可以转为JSON的number类型

python数据类型转化为JSON格式的数据有两种方式。

第一种方式是,dumps(dict1)是将python数据类型转化为JSON类型的字符串string,dump(dict1,sp)将python数据类型转化为文件流,sp表示写入文件的路径。第二种方式是通过dumps转化成字符串,然后再写入。

JSON格式的数据也可以转化为python数据类型。loads(str)将JSON字符串转化成python类型的数据,在使用loads操作字符串load(str,fp)将后缀为json文件转化成python格式的数据,load操作文件流。因为文件读写操作时有可能产生IOError,一旦出错,后面的close方法就不能执行到,为了保证是否出错都能关闭文件,使用withopen文件操作流。

python怎么转化成json格式

如果datas是Python的原始数据,并且datas中没有非ascii码,可以使用如下语句转换为json格式:

import

json

json.dumps(datas)

当datas中含有中文等非ascii字符时,可以使用如下参数:

json.dumps(datas,

ensure_ascii=False)

如果想美化输出格式,可以使用indent参数:

json.dumps(datas,

indent=4)

python处理csv数据怎么更有效率

因为python处理json比较方便,所以首先测试一下csv和json哪个快。

首先生成测试数据

# coding: utf-8

import json

import csv

import random

from string import letters

low = 1e2 # 3-10位数字

hi = 1e11

cnt = 100000 # 10万条

total = {}

for _ in range(cnt):

total[str(random.randrange(low, hi))] = "".join(random.sample(letters, 10))

with open("data.json", "w") as f:

f.write(json.dumps(total, ensure_ascii=False))

with open("data.csv", "w") as f:

writer = csv.writer(f, delimiter=',')

writer.writerows(total.items())

然后对比由这两者生成dict的速度

# coding: utf-8

import json

import csv

from time import clock

t0 = clock()

total1 = json.load(open("data.json"))

t1 = clock()

total2 = {}

with open("data.csv") as f:

reader = csv.reader(f)

for k, v in reader:

total2[k] = v

t2 = clock()

print "json: %fs" % (t1 - t0)

print "csv: %fs" % (t2 - t1)

输出是:

json: 0.109953s

csv: 0.066411s

果然csv还是蛮快的,那我们就用它吧。

接下来解决更新问题。我不知道题主对于重复项需要怎么处理,所以都写了。

# 先生成数据,同之前的做法。

low = 1e2

hi = 1e11

cnt = 100000

new = {}

for _ in range(cnt):

new[str(random.randrange(low, hi))] = "".join(random.sample(letters, 10))

# 找出重复项,因为是随机生成的数据,所以恰好没有重复项

duplicate = {k:v for k, v in new.items() if k in total}

# 输出重复项

print(json.dumps(duplicate, ensure_ascii=False, indent=4))

# 1. 如果重复项是用new覆盖total

total.update(new)

# 2. 如果是保留total

new.update(total)

total = new

# 然后再写回csv文件中

with open("data.csv", "w") as f:

writer = csv.writer(f, delimiter=',')

writer.writerows(total.items())

至于运行时间,如果不算上输出重复项的时间,不到0.5s。算上的话大概也就0.8s。

如何将json的数据转化成csv的数据格式

可以试试在线转换:

地址:网页链接

1 选择上传文件

2 点击转换,等待就可以了,稍后就会有文件下载提示

该网站支持多级json格式,亲测可用

如何将CSV格式转换成JSON格式

# 下面的工具可以方便的将CSV格式文件转换成json文件格式

import sys, json

tip = """

请确保:

1. CSV格式是UTF-8

2. CSV第一行是键值

用法:

python csv2json.py foobar.csv

其中foobar.csv是需要转换的源数据文件

运行环境:

Python 3.4.3

日期:

2015年12月29日

"""

print(tip)

# 获取输入数据

input_file = sys.argv[1]

lines = open(input_file, "r", encoding="utf_8_sig").readlines()

lines = [line.strip() for line in lines]

# 获取键值

keys = lines[0].split(',')

line_num = 1

total_lines = len(lines)

parsed_datas = []

while line_num total_lines:

values = lines[line_num].split(",")

parsed_datas.append(dict(zip(keys, values)))

line_num = line_num + 1

json_str = json.dumps(parsed_datas, ensure_ascii=False, indent=4)

output_file = input_file.replace("csv", "json")

# write to the file

f = open(output_file, "w", encoding="utf-8")

f.write(json_str)

f.close()

print("解析结束!")

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。