Skillnad mellan versioner av "Instruktioner för OCR"
Från wpu.nu
(→OCR) |
|||
| (7 mellanliggande versioner av samma användare visas inte) | |||
| Rad 1: | Rad 1: | ||
| − | Skannade dokument är egentligen bara en samling bilder. För att kunna söka i innehållet behöver de översättas till text. Den processen kallas OCR (Optical Character Recognition). På denna wiki görs det automatiskt, men de flesta dokument kräver en del handpåläggning efteråt. För att | + | Läs först [[Instruktioner_för_uppladdning_av_dokument]] |
| + | == OCR == | ||
| + | Skannade dokument är egentligen bara en samling bilder. För att kunna söka i innehållet behöver de översättas till text. Den processen kallas OCR (Optical Character Recognition). På denna wiki görs det automatiskt, men de flesta dokument kräver en del handpåläggning efteråt. | ||
| + | För att översätta dokumenten till text används en specialutvecklad mjukvara som vi kallar för [[MOPOCR]]. Den kollar hela tiden av wikin och hämtar nya dokument. De förbehandlas genom att tex markera maskningar, därefter skickas de till Google Cloud Vision där de översätts till text. Därefter tolkas texten genom att MOPOCR har kännedom om de olika formulär som användes. På det viset vet mjukvaran var man kan förvänta sig att hitta olika typer av information. Informationen som extraheras skickas in till wikin. Bla förifylls indexsidan, så att du slipper göra det. | ||
| − | I granskningen skall ovidkommande information tas bort. Det är sådant som tex den förtryckta texten "SPANINGSUPPSLAG i grövre brottmål" eller sidnummer. Onödigt personlig information | + | När det är gjort kommer indexsidans "Status" bytas till "Väntar på granskning" vilket betyder att det är dags att manuellt granska dokumentet. Du kan behöva ladda om sidan genom att trycka på fliken "uppdatera" överst på sidan för att du ska se att "Status" uppdaterats. Det syns också på wikins huvudsida att dokumentet väntar på granskning. |
| + | |||
| + | == Granskning == | ||
| + | I granskningen skall ovidkommande information tas bort. Det är sådant som tex den förtryckta texten "SPANINGSUPPSLAG i grövre brottmål" eller sidnummer. Onödigt personlig information skall också maskas. Det gäller tex telefonnumer och personnummer. Texten ska främst vara läslig utan att man ska behöva tänka på hur det såg ut på ett papper för 30 år sedan. Om man är intresserad av att hitta ledtrådar i stavning, maskningsteknik och sidnummer så får man helt enkelt hålla sig till originalfilerna, inte den översatta texten. Därför skall du även rätta stavfel, expandera förkortningar tex "Sveav." blir "Sveavägen" för att fritextsökningen ska bli pålitlig. Du ska också fixa layouten så att texten blir lätt att läsa. Exvis är det lämpligt att i ett dialogförhör låta förhörsledaren "prata" med kursiv text, och uppgiftslämnaren i vanlig text (MOPOCR försöker fixa detta automatiskt, men lyckas inte alltid). Infoga radbrytningar och styckesbrytningar där det behövs. Ett bra exempel är [[Sida:Pol-19860405-1110-åke-larsson-E20-2.pdf/2]] | ||
För mer information om hur man redigerar mediawiki-text, se här https://www.mediawiki.org/wiki/Help:Formatting/sv | För mer information om hur man redigerar mediawiki-text, se här https://www.mediawiki.org/wiki/Help:Formatting/sv | ||
| − | På indexsidan för ditt dokument fyller du i information om dokumentet. Tex titel och datum. Alla fält kanske inte passar | + | På indexsidan för ditt dokument fyller du i information om dokumentet. Tex titel och datum. Alla fält kanske inte passar ditt dokument, då är det bara att hoppa över dem. Om ditt dokument är ett PM så ska du tex inte fylla i "förhörd person". MOPOCR förifyller den information den kan hitta, men du kan behöva fixa lite i den. |
| + | |||
På indexsidan finns sedan länkar till alla sidor i dokumentet. Börja att granska och fixa sida 1. När du är klar, markerar du sidan som korrekturläst genom att markera den gula bollen innan du sparar. Om du vill spara men inte är klar låter du sidan vara kvar som "ej korrekturläst". | På indexsidan finns sedan länkar till alla sidor i dokumentet. Börja att granska och fixa sida 1. När du är klar, markerar du sidan som korrekturläst genom att markera den gula bollen innan du sparar. Om du vill spara men inte är klar låter du sidan vara kvar som "ej korrekturläst". | ||
| Rad 13: | Rad 20: | ||
Följande kategorier finns för närvarande: | Följande kategorier finns för närvarande: | ||
| − | * | + | *[[:Kategori:Synlig maskning]] Sidan innehåller maskning som kan vara synlig eller som kan göras synlig i bildredigeringsprogram. |
| − | *[[Kategori:Genomlyst sida]] Baksidestexten syns igenom. Personer som är duktiga på bildredigering kan kanske få ut läsbar text. I de flesta fall är det bara en redan känd sida i samma dokument, men det måste kollas. | + | *[[:Kategori:Genomlyst sida]] Baksidestexten syns igenom. Personer som är duktiga på bildredigering kan kanske få ut läsbar text. I de flesta fall är det bara en redan känd sida i samma dokument, men det måste kollas. |
| + | *[[:Kategori:Lösbar maskning]] Sidan innehåller maskning som går att lista ut. Det kan röra sig om maskning som är gjord på ett väldigt konsistent vis så att ordlängder kan bestämmas. Det kan vara att vissa maskerade ord är uppenbara och ordlängden och språket tillåter att vissa maskede ord bestäms. | ||
| + | *[[:Kategori:Maskningsvariant]] Ditt dokument är i grunden samma dokument som redan finns upplagt här, men maskningen är annorlunda. Man kan eventuellt då med hjälp av de båda dokumenten bestämma flera maskade ord. | ||
| + | |||
| + | När du gått igenom alla sidor, och indexsidan, markerar du dokumentet som "Granskat" på indexsidan. När du sparat kommer ditt dokument upp under listan av granskade dokument på huvudsidan. | ||
| + | |||
| + | [[Kategori:Instruktioner]] | ||
Nuvarande version från 18 augusti 2020 kl. 21.53
Läs först Instruktioner_för_uppladdning_av_dokument
OCR
Skannade dokument är egentligen bara en samling bilder. För att kunna söka i innehållet behöver de översättas till text. Den processen kallas OCR (Optical Character Recognition). På denna wiki görs det automatiskt, men de flesta dokument kräver en del handpåläggning efteråt. För att översätta dokumenten till text används en specialutvecklad mjukvara som vi kallar för MOPOCR. Den kollar hela tiden av wikin och hämtar nya dokument. De förbehandlas genom att tex markera maskningar, därefter skickas de till Google Cloud Vision där de översätts till text. Därefter tolkas texten genom att MOPOCR har kännedom om de olika formulär som användes. På det viset vet mjukvaran var man kan förvänta sig att hitta olika typer av information. Informationen som extraheras skickas in till wikin. Bla förifylls indexsidan, så att du slipper göra det.
När det är gjort kommer indexsidans "Status" bytas till "Väntar på granskning" vilket betyder att det är dags att manuellt granska dokumentet. Du kan behöva ladda om sidan genom att trycka på fliken "uppdatera" överst på sidan för att du ska se att "Status" uppdaterats. Det syns också på wikins huvudsida att dokumentet väntar på granskning.
Granskning
I granskningen skall ovidkommande information tas bort. Det är sådant som tex den förtryckta texten "SPANINGSUPPSLAG i grövre brottmål" eller sidnummer. Onödigt personlig information skall också maskas. Det gäller tex telefonnumer och personnummer. Texten ska främst vara läslig utan att man ska behöva tänka på hur det såg ut på ett papper för 30 år sedan. Om man är intresserad av att hitta ledtrådar i stavning, maskningsteknik och sidnummer så får man helt enkelt hålla sig till originalfilerna, inte den översatta texten. Därför skall du även rätta stavfel, expandera förkortningar tex "Sveav." blir "Sveavägen" för att fritextsökningen ska bli pålitlig. Du ska också fixa layouten så att texten blir lätt att läsa. Exvis är det lämpligt att i ett dialogförhör låta förhörsledaren "prata" med kursiv text, och uppgiftslämnaren i vanlig text (MOPOCR försöker fixa detta automatiskt, men lyckas inte alltid). Infoga radbrytningar och styckesbrytningar där det behövs. Ett bra exempel är Sida:Pol-19860405-1110-åke-larsson-E20-2.pdf/2
För mer information om hur man redigerar mediawiki-text, se här https://www.mediawiki.org/wiki/Help:Formatting/sv
På indexsidan för ditt dokument fyller du i information om dokumentet. Tex titel och datum. Alla fält kanske inte passar ditt dokument, då är det bara att hoppa över dem. Om ditt dokument är ett PM så ska du tex inte fylla i "förhörd person". MOPOCR förifyller den information den kan hitta, men du kan behöva fixa lite i den.
På indexsidan finns sedan länkar till alla sidor i dokumentet. Börja att granska och fixa sida 1. När du är klar, markerar du sidan som korrekturläst genom att markera den gula bollen innan du sparar. Om du vill spara men inte är klar låter du sidan vara kvar som "ej korrekturläst".
Om du ser att det kan finnas oavsiktlig information på en sida, så ska detta markeras genom att lägga aktuell sida i en passande kategori. Det kan röra sig om text som delvis syns genom maskning eller baksidestext som lyst igenom vid scanning eller kopiering.
Följande kategorier finns för närvarande:
- Kategori:Synlig maskning Sidan innehåller maskning som kan vara synlig eller som kan göras synlig i bildredigeringsprogram.
- Kategori:Genomlyst sida Baksidestexten syns igenom. Personer som är duktiga på bildredigering kan kanske få ut läsbar text. I de flesta fall är det bara en redan känd sida i samma dokument, men det måste kollas.
- Kategori:Lösbar maskning Sidan innehåller maskning som går att lista ut. Det kan röra sig om maskning som är gjord på ett väldigt konsistent vis så att ordlängder kan bestämmas. Det kan vara att vissa maskerade ord är uppenbara och ordlängden och språket tillåter att vissa maskede ord bestäms.
- Kategori:Maskningsvariant Ditt dokument är i grunden samma dokument som redan finns upplagt här, men maskningen är annorlunda. Man kan eventuellt då med hjälp av de båda dokumenten bestämma flera maskade ord.
När du gått igenom alla sidor, och indexsidan, markerar du dokumentet som "Granskat" på indexsidan. När du sparat kommer ditt dokument upp under listan av granskade dokument på huvudsidan.