博客
关于我
python_链式编程技术_管道技术
阅读量:386 次
发布时间:2019-03-05

本文共 1785 字,大约阅读时间需要 5 分钟。

python_链式编程技术_管道技术

Techniques for Method Chaining# 12.3 链式编程技术# 当对数据集进⾏⼀系列变换时,你可能发现创建的多个临时变量# 其实并没有在分析中⽤到。看下⾯的例⼦:df = load_data()df2 = df[df['col2'] < 0]df2['col1_demeaned'] = df2['col1'] - df2['col1'].mean()result = df2.groupby('key').col1_demeaned.std()虽然这⾥没有使⽤真实的数据,这个例⼦却指出了⼀些新⽅法。 ⾸先,DataFrame.assign⽅法是⼀个df[k] = v形式的函数式的列 分配⽅法。它不是就地修改对象,⽽是返回新的修改过的 DataFrame。因此,下⾯的语句是等价的:# Usual non-functional waydf2 = df.copy()df2['k'] = v# Functional assign waydf2 = df.assign(k=v)result = (df2.assign(col1_demeaned=df2.col1 - df2.col2.mean())          .groupby('key')          .col1_demeaned.std())我使⽤外括号,这样便于添加换⾏符。使⽤链式编程时要注意,你可能会需要涉及临时对象。在前⾯的例⼦中,我们不能使⽤load_data的结果,直到它被赋值给临时变量df。为了这么做,assign和许多其它pandas函数可以接收类似函数的参数,即可调⽤对象(callable)。为了展示可调⽤对象,看⼀个前⾯例⼦的⽚段:```pythondf = load_data()df2 = df[df['col2'] < 0]

df = (load_data()

[lambda x: x[‘col2’] < 0])
result = (load_data()
[lambda x: x.col2 < 0]
.assign(col1_demeaned=lambda x: x.col1 - x.col1.mean())
.groupby(‘key’)
.col1_demeaned.std())
The pipe Method
管道⽅法
你可以⽤Python内置的pandas函数和⽅法,⽤带有可调⽤对象
的链式编程做许多⼯作。但是,有时你需要使⽤⾃⼰的函数,或
是第三⽅库的函数。这时就要⽤到管道⽅法。
看下⾯的函数调⽤:

a = f(df, arg1=v1)b = g(a, v2, arg3=v3)c = h(b, arg4=v4)

当使⽤接收、返回Series或DataFrame对象的函数式,你可以调

⽤pipe将其重写:

result = (df.pipe(f, arg1=v1)          .pipe(g, v2, arg3=v3)          .pipe(h, arg4=v4))

f(df)和df.pipe(f)是等价的,但是pipe使得链式声明更容易。

pipe的另⼀个有⽤的地⽅是提炼操作为可复⽤的函数。看⼀个从
列减去分组⽅法的例⼦:

g = df.groupby(['key1', 'key2'])df['col1'] = df['col1'] - g.transform('mean')

假设你想转换多列,并修改分组的键。另外,你想⽤链式编程做

这个转换。下⾯就是⼀个⽅法:

def group_demean(df, by, cols):    result = df.copy()    g = df.groupby(by)    for c in cols:        result[c] = df[c] - g[c].transform('mean')    return result

result = (df[df.col1 < 0]

.pipe(group_demean, [‘key1’, ‘key2’], [‘col1’]))
pd.options.display.max_rows = PREVIOUS_MAX_ROWS
Conclusion

转载地址:http://fnrg.baihongyu.com/

你可能感兴趣的文章
NHibernate动态添加表
查看>>
NHibernate学习[1]
查看>>
NHibernate异常:No persister for的解决办法
查看>>
Nhibernate的第一个实例
查看>>
NHibernate示例
查看>>
nid修改oracle11gR2数据库名
查看>>
NIFI1.21.0/NIFI1.22.0/NIFI1.24.0/NIFI1.26.0_2024-06-11最新版本安装_采用HTTP方式_搭建集群_实际操作---大数据之Nifi工作笔记0050
查看>>
NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_插入时如果目标表中已存在该数据则自动改为更新数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0058
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059
查看>>
NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
查看>>
NIFI1.21.0_Postgresql和Mysql同时指定库_指定多表_全量同步到Mysql数据库以及Hbase数据库中---大数据之Nifi工作笔记0060
查看>>
NIFI1.21.0最新版本安装_连接phoenix_单机版_Https登录_什么都没改换了最新版本的NIFI可以连接了_气人_实现插入数据到Hbase_实际操作---大数据之Nifi工作笔记0050
查看>>
NIFI1.21.0最新版本安装_配置使用HTTP登录_默认是用HTTPS登录的_Https登录需要输入用户名密码_HTTP不需要---大数据之Nifi工作笔记0051
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增加修改实时同步_使用JsonPath及自定义Python脚本_03---大数据之Nifi工作笔记0055
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_插入修改删除增量数据实时同步_通过分页解决变更记录过大问题_01----大数据之Nifi工作笔记0053
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056
查看>>
NIFI1.23.2_最新版_性能优化通用_技巧积累_使用NIFI表达式过滤表_随时更新---大数据之Nifi工作笔记0063
查看>>