nitowa
/
Distributed-Union-Find
Beobachten 1
Favorisieren 0
Fork 0
Code Issues 0 Pull-Requests 0 Releases 0 Wiki Aktivität
Du kannst nicht mehr als 25 Themen auswählen Themen müssen mit entweder einem Buchstaben oder einer Ziffer beginnen. Sie können Bindestriche („-“) enthalten und bis zu 35 Zeichen lang sein.
4 Commits
1 Branch
Struktur: 5580f164cf
Branches Tags
${ item.name }
Erstelle Branch ${ searchTerm }
von „5580f164cf“
${ noResults }
Distributed-Union-Find/submit.sh

submit.sh 513B
Verlauf Originalformat

1234567891011121314 
  1. SPARK_HOME="/home/osboxes/Downloads/spark-3.2.2-bin-hadoop3.2"

  2. MEMORY="1g"

  3. SPARK_MASTER="spark://osboxes:7077"

  4. CASSANDRA_HOST="localhost"

  5. 

  6. 

  7. "$SPARK_HOME"/bin/spark-submit \

  8. --master "$SPARK_MASTER" \

  9. --conf spark.executor.memory="$MEMORY" \

  10. --conf spark.cassandra.connection.host="$CASSANDRA_HOST" \

  11. --conf spark.sql.session.timeZone=UTC \

  12. --conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions \

  13. --packages com.datastax.spark:spark-cassandra-connector_2.12:3.2.0 \

  14. ./src/spark/main.py