ಸೇವೆ

ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಡೇಟಾ ಶುಚಿಗೊಳಿಸುವ ಕಾರ್ಯವಿಧಾನ
(I) ಡಿಸ್ಟ್ರೀಮ್ ಮತ್ತು ಆರ್‌ಡಿಡಿ
ನಮಗೆ ತಿಳಿದಿರುವಂತೆ, ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಕಂಪ್ಯೂಟೇಶನ್ ಸ್ಪಾರ್ಕ್ ಕೋರ್ ಅನ್ನು ಆಧರಿಸಿದೆ ಮತ್ತು ಸ್ಪಾರ್ಕ್ ಕೋರ್‌ನ ತಿರುಳು RDD ಆಗಿದೆ, ಆದ್ದರಿಂದ ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್ RDD ಗೆ ಸಂಬಂಧಿಸಿರಬೇಕು. ಆದಾಗ್ಯೂ, ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಬಳಕೆದಾರರಿಗೆ RDD ಅನ್ನು ನೇರವಾಗಿ ಬಳಸಲು ಅನುಮತಿಸುವುದಿಲ್ಲ, ಆದರೆ DStream ಪರಿಕಲ್ಪನೆಗಳ ಗುಂಪನ್ನು ಅಮೂರ್ತಗೊಳಿಸುತ್ತದೆ, DStream ಮತ್ತು RDD ಅಂತರ್ಗತ ಸಂಬಂಧಗಳಾಗಿವೆ, ನೀವು ಅದನ್ನು ಜಾವಾದಲ್ಲಿನ ಅಲಂಕಾರ ಮಾದರಿ ಎಂದು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬಹುದು, ಅಂದರೆ, DStream RDD ಯ ವರ್ಧನೆಯಾಗಿದೆ, ಆದರೆ ನಡವಳಿಕೆಯು RDD ಗೆ ಹೋಲುತ್ತದೆ.
DStream ಮತ್ತು RDD ಎರಡೂ ಹಲವಾರು ಷರತ್ತುಗಳನ್ನು ಹೊಂದಿವೆ.
(1) map, reduceByKey, ಇತ್ಯಾದಿಗಳಂತಹ ಒಂದೇ ರೀತಿಯ ರೂಪಾಂತರ ಕ್ರಿಯೆಗಳನ್ನು ಹೊಂದಿವೆ, ಆದರೆ Window, mapWithStated, ಇತ್ಯಾದಿಗಳಂತಹ ಕೆಲವು ವಿಶಿಷ್ಟವಾದವುಗಳನ್ನು ಸಹ ಹೊಂದಿವೆ.
(2) ಎಲ್ಲವೂ foreachRDD, ಎಣಿಕೆ ಇತ್ಯಾದಿಗಳಂತಹ ಕ್ರಿಯಾ ಕ್ರಮಗಳನ್ನು ಹೊಂದಿವೆ.
ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮಾದರಿ ಸ್ಥಿರವಾಗಿದೆ.
(ಬಿ) ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್‌ನಲ್ಲಿ ಡಿಸ್ಟ್ರೀಮ್ ಪರಿಚಯ
ಡಿಸ್ಟ್ರೀಮ್ ಹಲವಾರು ವರ್ಗಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.
(1) ಡೇಟಾ ಮೂಲ ವರ್ಗಗಳು, ಉದಾಹರಣೆಗೆ InputDStream, ನಿರ್ದಿಷ್ಟವಾದ DirectKafkaInputStream, ಇತ್ಯಾದಿ.
(2) ಪರಿವರ್ತನೆ ತರಗತಿಗಳು, ಸಾಮಾನ್ಯವಾಗಿ MappedDStream, ShuffledDStream
(3) ಔಟ್‌ಪುಟ್ ವರ್ಗಗಳು, ಸಾಮಾನ್ಯವಾಗಿ ForEachDStream ನಂತಹವು
ಮೇಲಿನಿಂದ, ಆರಂಭದಿಂದ (ಇನ್‌ಪುಟ್) ಕೊನೆಯವರೆಗೆ (ಔಟ್‌ಪುಟ್) ಡೇಟಾವನ್ನು DStream ವ್ಯವಸ್ಥೆಯಿಂದ ಮಾಡಲಾಗುತ್ತದೆ, ಅಂದರೆ ಬಳಕೆದಾರರು ಸಾಮಾನ್ಯವಾಗಿ RDD ಗಳನ್ನು ನೇರವಾಗಿ ಉತ್ಪಾದಿಸಲು ಮತ್ತು ಕುಶಲತೆಯಿಂದ ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ, ಅಂದರೆ DStream RDD ಗಳ ಜೀವನ ಚಕ್ರಕ್ಕೆ ಜವಾಬ್ದಾರರಾಗಲು ಅವಕಾಶ ಮತ್ತು ಬಾಧ್ಯತೆಯನ್ನು ಹೊಂದಿದೆ.
ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಒಂದು ಹೊಂದಿದೆಸ್ವಯಂಚಾಲಿತ ಶುಚಿಗೊಳಿಸುವಿಕೆಕಾರ್ಯ.
(iii) ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್‌ನಲ್ಲಿ RDD ಉತ್ಪಾದನೆಯ ಪ್ರಕ್ರಿಯೆ
ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್‌ನಲ್ಲಿ RDD ಗಳ ಜೀವನ ಹರಿವು ಈ ಕೆಳಗಿನಂತೆ ಒರಟಾಗಿರುತ್ತದೆ.
(1) InputDStream ನಲ್ಲಿ, ಸ್ವೀಕರಿಸಿದ ಡೇಟಾವನ್ನು RDD ಆಗಿ ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ DirectKafkaInputStream, ಇದು KafkaRDD ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ.
(2) ನಂತರ MappedDStream ಮತ್ತು ಇತರ ಡೇಟಾ ಪರಿವರ್ತನೆಯ ಮೂಲಕ, ಈ ಸಮಯವನ್ನು ನೇರವಾಗಿ RDD ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ, ಇದು ಪರಿವರ್ತನೆಗಾಗಿ ನಕ್ಷೆ ವಿಧಾನಕ್ಕೆ ಅನುಗುಣವಾಗಿರುತ್ತದೆ.
(3) ಔಟ್‌ಪುಟ್ ವರ್ಗ ಕಾರ್ಯಾಚರಣೆಯಲ್ಲಿ, RDD ಬಹಿರಂಗಗೊಂಡಾಗ ಮಾತ್ರ, ನೀವು ಬಳಕೆದಾರರಿಗೆ ಅನುಗುಣವಾದ ಸಂಗ್ರಹಣೆ, ಇತರ ಲೆಕ್ಕಾಚಾರಗಳು ಮತ್ತು ಇತರ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಅವಕಾಶ ನೀಡಬಹುದು.