nitowa a614991ff0 working graph implementation and improved shell scripts | преди 2 години | |
---|---|---|
config/db | преди 2 години | |
spark-packages | преди 2 години | |
src/spark | преди 2 години | |
.gitignore | преди 2 години | |
README.md | преди 2 години | |
clean.py | преди 2 години | |
settings.json | преди 2 години | |
setup.py | преди 2 години | |
small_test_data.csv | преди 2 години | |
start_services.sh | преди 2 години | |
submit.sh | преди 2 години | |
submit_graph.sh | преди 2 години |
TODO
For the graph implementation specifically you need to install graphframes
manually since the official release is incompatible with spark 3.x
(pull request pending). A prebuilt copy is supplied in the spark-packages
directory.
settings.json
to reflect your setup. If you are running everything locally you can use start_services.sh
to turn everything on in one swoop.python3 setup.py
from the project root.submit.sh
(slow) or submit_graph.sh
(faster)