Vi hämtar data från SUSA-navet och använder JobEdConnect för att hitta passande yrken.
Vi ser då att ibland, så tas utbildningarna bort efter en viss tid, vilket är rimligt men vad är regeln för det? Vi vill hålla vår data i sync med eran så det inte blir fel i sökningen.
Vi har sett i ert gitrepot att PRUNE_EDUCATIONS_ES_INDEX_AFTER_HOURS/ PRUNE_EDUCATIONS_S3_FILE_AFTER_HOURS är det ni baserar på.
Är det nåt ni kan förtydliga? Vart kommer siffran ifrån? Är det någon standard? Kollar ni något mer innan ni ska prune?
1 gillning
Hej!
Vi antar att frågan gäller huruvida utbildningar tas bort i JobEd-Connect och inte i SUSA-navet.
Vi hämtar alla utbildningar hos SUSA-navet varje dygn och ersätter föregående hämtning med dessa. Ett undantag är att vi filtrerar bort följande utbildningsformer:
‘anpassad grundskola’, ‘anpassad gymnasieskola’, ‘grundskola’, ‘gymnasieskola’, ‘kommunal vuxenutbildning som anpassad utbildning på grundläggande nivå’, ‘kommunal vuxenutbildning som anpassad utbildning på gymnasial nivå’, ‘sameskola’ samt ‘specialskola’.
PRUNE-steget är ett städskript som rensar bort gamla filer och gamla Elastic-index. Det påverkar inte vilka utbildningar som finns matchningsbara eftersom det bara är senaste hämtningen från SUSA-navet som används.
En förklaring till diff mellan SUSA-navet och JobEd-Connect, förutom de bortfiltrerade utbildningsformerna, skulle kunna vara om vår inläsning (pipeline) inte lyckats köra på flera dagar. Då kan det skilja vilka utbildningar som finns i SUSA-navet och vilka som finns matchningsbara i JobEd-Connect.
Hälsningar
Team Jobbdata, Jobtech
1 gillning