PySpark：按其他表中的子字符串过滤数据帧

Question

我有两个数据框，a 和 b：A：+-----+---------+| word|frequency|+-----+---------+|  git|        5||stack|       10||match|       15||other|        3|+-----+---------+乙：+-------------+---------+|         word|frequency|+-------------+---------+|       github|        5||       match |        2||stackoverflow|       10||      b_entry|        7|+-------------+---------+我想过滤掉数据帧 a 中单词列等于或 b 中任何行的子字符串的所有行，因此所需的输出是：+-----+---------+| word|frequency|+-----+---------+|other|        3|+-----+---------+我知道有一些函数 a.word.contains()、a.word.like()、a.word.rlike() 等可以帮助我测试 a.word 是否有子字符串的条件。这些问题是我最终会得到包含 a.word 值的 b 行，而不是 b.word 包含的 a 行。是否有任何函数可以帮助测试 a.word 是否是另一个表的子字符串？理想情况下，解决方案能够同时对两个表进行操作，而不是直接迭代值，例如 SQL Join。

Answer 1

contains()在连接条件中使用withleft_anti作为连接类型。

左反连接返回第一个表中与第二个表中不匹配的所有行。

df_a.show()

+-----+---------+                                                               

| word|frequency|

+-----+---------+

|  git|        5|

|stack|       10|

|match|       15|

|other|        3|

+-----+---------+

df_b.show()

+-------------+-----------+

|       word_1|frequency_1|

+-------------+-----------+

|       github|          5|

|        match|          2|

|stackoverflow|         10|

|      b_entry|          7|

+-------------+-----------+

from pyspark.sql.functions import *

df_a.join(df_b, (df_b.word_1.contains(df_a.word)), "left_anti").show()

+-----+---------+

| word|frequency|

+-----+---------+

|other|        3|

+-----+---------+