(我在GitHub上开了一个issue.)
以下行为对我来说似乎不正确.看起来如果read_csv的默认值是na_values = False,那么包括’NA’在内的任何值都不应该被解释为NaN,但这似乎不是这种情况.
这种行为在this post中被注意到(见@JianxunLi对答案的评论),其中’NA’实际上意味着’北美’.我实际上无法在没有将其更改为NaN的情况下找到读取此内容的方法,并且肯定应该有某种方法来执行此操作.
这是csv的例子.
%more foo.txt
x,y
"NA",NA
"foo",foo
我在引号和外面都包括’NA’,看看是否重要,但正如你在下面看到的那样,似乎没有.
pd.read_csv('foo.txt')
Out[56]:
x y
0 NaN NaN
1 foo foo
pd.read_csv('foo.txt',na_values=False)
Out[57]:
x y
0 NaN NaN
1 foo foo
pd.read_csv('foo.txt',na_values='foo')
Out[58]:
x y
0 NaN NaN
1 NaN NaN
似乎’NaN’的数据值被视为与’NA’相同.
编辑添加：我认为我基于@Marius的答案更好地理解这一点虽然它对我来说似乎并不合适(默认行为,也就是说,不是Marius的答案,似乎对正在发生的事情的正确解释) .
na_values=False => NA and NaN are treated as NaN
na_values='foo' => NA, NaN, and foo are treated as NaN
我想我可以理解这是数字列中的默认行为,但似乎不应该是字符串列的默认行为.在没有看到Marius的答案的情况下,我也很难从文档中弄清楚这一点.
编辑添加(2)：
另外,为了进行比较,我将其读入Stata和Excel,并且在两种情况下都将“NA”视为纯文本,而不是NaN /缺失.是否有任何其他包或库与pandas具有相同的默认行为？
解决方法:
您需要keep_default_na = False,默认情况下,您在na_values中包含的任何字符串都会添加到标准的NA字符串集中,例如NA,NaN：
pd.read_csv('foo.txt', keep_default_na=False)
Out[5]:
x y
0 NA NA
1 foo foo
标签：python,pandas