- Отфильтруйте сообщения, соотвествующие некоторому условию.
- Запишите все отфильтрованные сообщения в базу данных (например в MySQL).
- Отсортируйте сообщения по offset в убывающем порядке.
- Обогатите стриминговые данные статическим датасетом (небольшой коллекции, превращенной в rdd будет достаточно).
- Попробуйте, оставаясь в рамках парадигмы DStreams переехать на Dataset API из Spark 1.6