Choralplus20jan2011

Transcript

• 1. audio indexering service
  Catch+ deelproject
  CHoralPlus
  
• 2. Jantje Steenhuis
  Mies Langelaar
  Franciska de Jong
  Marijn Huijbregts
  Roeland Ordelman
  
• 3. upload file
  
• 4. doel
  ontwikkeling dienst voor laagdrempelig gebruik automatische spraakherkenning ten behoeve van automatische indexering A/V collecties
  op basis van in CATCH-CHoral ontwikkelde spraakherkenningstoolkit SHoUT
  
• 5. Zoeken op fragment niveau in A/V
  INDEXERING EN ZOEKEN
  Tijdgecodeerde transcriptie
  AUTOMATISCHE SPRAAKHERKENNING
  
• 6.
• 7. componenten
  gesproken woord
  sprekersegmentatie
  spraak/niet -spraak
  spraak/niet-spraak detectie
  sprekersegmentatie en clustering
  spraakherkenning
  oplijnen: synchroniseren van tekst met audiobestand/tijdlabels verbinden aan woorden
  speaker changes
  
• 8. Gerealiseerd
  projectplan
  basisversie service
  platform
  systeemintegratie
  input/output via internet
  testen met kleine data set
  procesmonitoring
  2009
  
• 9. Gerealiseerd
  Ontwikkeling service front-end:
  webinterface
  accountsysteem
  terugmelding (via email)
  Ontwikkeling back-end:
  adaptatie op basis aangeleverde metadata
  load balancing/resultaatafhandeling test met 6T Radio Rijnmond Corpus (optimalisatie, foutverwerking, monitoring)
  2010
  
• 10. workflow
  A/V
  text
  src
  front-end
  account beheer
  resultaat terugmelding
  text-verwerking
  audio extractie
  taalmodel
  adaptatie
  back-end
  reken
  cluster
  (nu: 8 cores)
  Monitoring +
  Resultaat
  management
  oplijning
  spraakherkenning
  
• 11. Service front-end: account
  account(s) per erfgoedinstelling
  accountname = instelling.domein
  bv: gar.rr (GAR Radio Rijnmond Collectie)
  domein voor specifieke domein instellingen (grote collectie, mate van adaptatie, etc)
  elk acount heeft
  een max. aantal uren om te verwerken
  (optioneel) specifieke ASR configuratie
  
• 12. Service front-end: upload
  handmatig via web individuele files uploaden
  geintegreerd in lokale systemen:
  via http (op basis vast ip-adres)
  via low-level (ssh) connectie (voor grootverbruikers)
  mogelijkheid om tekstbestanden mee te sturen voor oplijning of adaptatie
  
• 13. Service front-end: status
  huidige implementatie:
  status updates via email such as
  job started on X-MI ASR SERVICE
  we are sorry but you have exceeded your quota for your account
  we received your file. Your job is being prepared to be processed
  we have finished the ASR process. The transcription will be send to you in a separate mail
  
• 14.
• 15.
• 16.
• 17.
• 18. Planning
  Upgrade web-interface
  status, primitieve zoekfunctie
  Online testen met erfgoedinstellingen:
  Gemeenteraadsvergaderingen
  Verteld Verleden
  Draft business plan voor consolidatie service
  Eindrapportage
  2011
  
• 19. catalogue
  Content management
  ICT person
  Selection
  mechanism
  archivist
  check
  workflow management
  send
  folder
  results
  folder
  ASR
  connection
  ASR
  service
  ASR management
  ASR specialist