INDICADORES DE DESEMPENHO PARA BIBLIOTECAS UNIVERSITARIAS: QUALIDADE EM SERVIÇOS DE INFORMAÇÃO Aíssa Paula Silva - paula_apsmg@yahoo.com.br Aparecida Valéria de C. Coelho - valcoelho@yahoo.com.br Maria Gabriela Lourenço - mgabi_lo@yahoo.com.br Roselayne Laura dos Santos - roselayne@bibliotecas.eel.usp.br Alunas do Curso de Biblioteconomia da Fatea - Faculdades Integradas Teresa D'Ávila Lorena, SP Abstract: The search for quality is present in all activities whether in industry, commerce or the Units of Information (IU). Thus requiring the use of tools to support management, the objective of evaluating products and services offered by IUs. The acting indicators measure the efficiency and effectiveness, of the factors directly linked to the usercustomer's satisfaction. This process demands a systematic rising of data and information with the purpose not only of evaluating the services, but, mainly, to use them as elements of the strategic planning. It is important to point out that each indicator this directly linked to you factor that the users judge to be relevant. Keywords: Performance indicators, University Library, Quality in information units, Strategic Planning.
Resumo: A busca pela qualidade está presente em todas as atividades seja na indústria, comércio ou nas Unidades de Informação (UI). Fazendo-se necessário a utilização de ferramentas de apoio a gestão, objetivando a avaliação de produtos e serviços oferecidos pelas UIs. Os indicadores de desempenho medem a eficiência e eficácia, dos fatores diretamente ligados à satisfação do usuário-cliente. Este processo exige um sistemático levantamento de dados e informações com a finalidade não somente de avaliar os serviços, mas, principalmente, utilizá-los como elementos do planejamento estratégico. É importante salientar que cada indicador esta diretamente ligada a fatores que os usuários julgam ser relevantes. Palavras Chaves: Indicadores de desempenho, Biblioteca universitária, Qualidades em unidades de informação, Planejamento estratégico.
1
INTRODUÇÃO
Atualmente a busca pela qualidade está presente em todas as atividades: na indústria, no comércio, na prestação de serviços, e, conseqüentemente, nas Unidades de Informação (UI) - bibliotecas, centros de informação e documentação e arquivos. O tema qualidade em unidades de informação foi abordado exaustivamente na década de 1990, e agora se discute a implantação de indicadores de desempenho como ferramenta de apoio à gestão, ao planejamento e avaliação de produtos e serviços oferecidos pelas UIs. Os indicadores de desempenho, por medirem eficiência e eficácia, fatores que estão diretamente ligados à satisfação do usuário-cliente, têm sido escolhidos, estudados e adotados por vários pesquisadores e autores. Este processo exige um sistemático levantamento de dados e informações com a finalidade não somente de avaliar os serviços, mas, principalmente, utilizá-los
como elementos do planejamento estratégico. Nesta perspectiva, entendem-se indicadores de desempenho como uma ferramenta para mensurar a satisfação do usuário e a qualidade dos serviços. Diversas metodologias estão disponíveis para avaliação: SERVQUAL, LIBQUAL, 5S, normas como as ISO 11620 e ISSO 2789, indicadores de desempenho e da qualidade, cada um com critérios e objetivos, que ora se complementam ora se distanciam conforme a peculiaridade de cada um. Este texto objetiva sugerir um modelo de indicadores para avaliação de serviços oferecidos pelas bibliotecas universitárias embasado na norma ISO11620.
2 BIBLIOTECA UNIVERSITÁRIA As bibliotecas universitárias iniciaram o século XXI com amplo leque de oportunidades e desafios. Se, por um lado, conta com a tecnologia para disponibilizar
recursos e serviços informacionais mais rápido e barato, por outro, vêm sofrendo uma drástica redução de investimentos para a manutenção dos serviços. Os gestores das bibliotecas necessitam de ferramentas para demonstrar resultados quantitativos e qualitativos, que os subsidie na argumentação com fontes de financiamento, na priorização de investimentos em bibliotecas universitárias. Os indicadores surgem como ferramenta capaz de medir os resultados de forma sistemática em busca de qualidade. Qualidade é um conjunto de conhecimento das necessidades e expectativas do cliente somado a um conjunto de técnicas, normas e procedimentos que servem para atingir a satisfação destas expectativas. No Brasil, a revisão de literatura demonstra que a qualidade é vista como metodologia, técnica, ferramenta, filosofia capaz de melhorar a prestação de serviço para os usuários. A qualidade está sempre associada aos critérios de padrões europeus, americanos ou japoneses. Valls e Vergueiro (2006) numa revisão da literatura nacional de 1997 a 2006 demonstram as tendências no Brasil na adoção da gestão da qualidade: • Forte tendência de aplicação isolada das metodologias de gestão da qualidade nos serviços de informação, sem uma relação direta com projetos de qualidade total nas organizações; • O conceito de qualidade geralmente vinha sendo apresentado de forma pontual, relacionando-se muito mais com fazer bem feito do que com o conceito proposto pela gestão da qualidade total; • A pouca literatura disponível estava mais centrada em relatos de experiências, muitas vezes sem suporte teórico. A adoção de determinada metodologia, como, por exemplo, a família ISO, é dificultada porque inexistem práticas formais de certificações específicas para as bibliotecas, além disso, as instituições enfrentam problemas na implantação como: alto custo na geração da documentação a ser utilizada, contratação de especialistas, período de tempo extenso para desenvolvimento de todo o processo. Vergueiro e Carvalho(2002) defendem como alternativa mais viável para as unidades de informação brasileiras a adoção do Prêmio Nacional da Qualidade (PNQ), pois é mais condizente com a realidade brasileira e menos oneroso para as instituições, podendo contribuir inclusive para a gestão das UIs. O Plano Nacional Qualidade tem uma certificação voltada para instituições públicas brasileiras, através da qual, pelas especificações definidas, as bibliotecas podem ser encaixadas. O plano adota critérios de excelência do modelo americano, donde se conclui que independente da metodologia de avaliação de serviços escolhida, os critérios de avaliação são originariamente europeus ou americanos, e desta forma as bibliotecas tem que se adequar a eles. Se por um lado, é bom, pois impõe sistematização, por outro, não é condizente com a realidade sócio-cultural de bibliotecas de países em desenvolvimento, na quais os serviços são ditados por
uma política que não valoriza a biblioteca como instituição social provedora de informação técnicocientífica. É necessário pensar em uma metodologia para a realidade brasileira que contemple as medidas da usabilidade: eficiência, eficácia e satisfação do usuário, com uma interface agradável entre a metodologia e as Unidades de Informação. Os usuários das unidades de informação estão à frente de acontecimentos que o colocarão diante de uma situação problema e, como o setor de serviços é o que mais cresce nestas instituições, fica claro que ele participará no processo de resolução do problema. Sendo assim, a qualidade dever ser medida segundo os julgamentos dos usuários e estes julgamentos são realizados a todo o momento a partir da constatação do usuário sobre o serviço recebido e os custos que ele teve para obtê-lo. Para tanto, os profissionais devem procurar saber as reais dificuldades dos seus clientes, através de elementos práticos que indicarão a qualidade dos serviços prestados. A qualidade em todos os tipos de biblioteca deve ser vista como ferramenta para garantir o acesso a informação a todos que por ela procurem através de serviços adequados. Em produtos, serviços e atendimento, ela é o diferencial que permite a biblioteca ser competitiva. Em síntese, na aplicação de programas de qualidade para melhoria contínua de serviços e produtos dois aspectos devem ser considerados: aspectos internos da organização que envolvem questões éticas no ambiente de trabalho e todo o comprometimento da equipe; e aspectos externos que envolvem a visão do cliente e o reconhecimento das suas necessidades e a importância de sua avaliação perante os serviços prestados. O processo de resolução se dá da seguinte forma que pode ser observada na figura abaixo:
Adotar um método de resolução de problemas evita perda de tempo e o risco de não encontrar a solução, o que compromete a qualidade da biblioteca.
3 INDICADORES DA QUALIDADE E INDICADORES DE DESEMPENHO Os responsáveis por serviços de informação de todos os tipos necessitam enfocar seus tradicionais usuários como clientes dos serviços que prestam e buscar formas de atender às suas necessidades levando em conta a demanda da sociedade e as características de sua clientela. Esse objetivo pode ser atingido, entre outras possibilidades, pela incorporação da gestão da qualidade como filosofia administrativa institucional e a utilização de indicadores, pode-se constituir em alternativa viável para bibliotecas de países em desenvolvimento para realização de avaliações. 3.1 Qualidade em serviços de informação SHAUGHNESSY (1987, apud VERGUEIRO e CARVALHO, 2001) defende que os principais requisitos para a qualidade de um serviço de informação são o entendimento das necessidades e expectativas dos usuários, a segurança, incluindo a confiabilidade, a cortesia e a comunicabilidade, a adoção de linguagem adequada por parte dos profissionais de informação, incluindo sua postura corporal e os meios/canais de distribuição e, por fim, uma ambientação física adequada. WHITEHALL (1992 apud VERGUEIRO e CARVALHO, 2001) apresenta considerações importantes para o conhecimento dos indicadores de satisfação dos clientes em serviços de informação: • Adequação das fontes de informação à área de interesse dos usuários; • A informação fornecida deve conter itens relevantes para o usuários; • Rapidez no acesso e fornecimento da informação; • Avaliação do usuário sobre o serviço; • Facilidade de uso dos serviços e produtos oferecidos. Para Takashina e Flores (1996), os indicadores são essenciais ao planejamento porque possibilitam o estabelecimento de metas quantificadas e o seu desdobramento na organização, e imprescindíveis ao controle porque os resultados apresentados através dos indicadores são fundamentais para a análise do desempenho da organização, para as tomadas de decisões e o replanejamento. Segundo estes autores, os indicadores da qualidade estão associados às características da qualidade do produto, julgadas pelo
cliente, e os indicadores do desempenho estão associadas às características do produto em cada fase de seu processo produtivo. Os indicadores estão intimamente ligados ao conceito da qualidade centrada no cliente possibilitando o desdobramento das metas do negócio e viabilizando a busca da melhoria contínua da qualidade dos produtos e serviços e da produtividade da organização. Em Rozados (2005) encontra-se a definição adotada pela Organization for Economic Co-operation and Development (OCDE), a qual diz que os indicadores são “[...] uma série de dados definidos para responder perguntas sobre um fenômeno ou um sistema dado”. O autor observa ainda que as idéias de medida, qualitativo e quantitativo são constantes nos conceitos apresentados, o que leva a perceber que indicadores nada mais são do que unidades que permitem medir – caso de elementos quantitativos, ou verificar – caso de elementos qualitativos, se estão sendo alcançados os objetivos ou as mudanças previstas. Também possibilitam conhecer melhor os avanços em termos de resultados ou de impactos. Um indicador é, portanto primordialmente, uma ferramenta de mensuração, utilizada para levantar aspectos quantitativos e/ou qualitativos de um dado fenômeno, com vistas à avaliação e a subsidiar a tomada de decisão. Os indicadores devem ser úteis à gestão, fáceis de manipular, normalizados e sua produção histórica e regular deve permitir a comparabilidade, visando a formação de séries temporais e permitindo visualizar as tendências no tempo e nos dados. Os indicadores são classificados em dois grandes grupos: indicadores quantitativos e indicadores qualitativos. Segundo alguns autores, os indicadores quantitativos são aqueles que podem ser definidos por uma unidade de contagem. Já os indicadores qualitativos são os que se referem à preocupação com a avaliação e a pesquisa de qualidade. Neste caso, eles podem ser diretos ou indiretos. Conforme Rozados (2005) são diretos quando estão ligados aos três componentes da pesquisa de informação: a qualidade e o número de fontes de informação escolhidas; o valor agregado pelo trabalho do profissional da informação; a satisfação do usuário. São indiretos quando representam a medida da notoriedade.
3.2 Avaliação por Estatísticas Por meio das estatísticas pode-se avaliar um determinado serviço. E o que significa avaliar? Avaliar
é atribuir valor. Procura-se avaliar sempre os serviços que são desenvolvidos não apenas com a idéia de quantificá-los, mas com o propósito de verificar onde estão ocorrendo falhas e principalmente o porquê delas acontecerem. Por exemplo, se o material demora a chegar ao usuário, qual seria o motivo dessa demora: demora no fornecimento pela biblioteca fornecedora? Demora no envio da solicitação? Falta de funcionário? As informações obtidas pelas estatísticas são vitais para o gerenciamento da biblioteca, as estatísticas identificam o gargalo de uma determinada demora no atendimento e possibilita um trabalho direcionado para a correção da mesma. As estatísticas, anteriormente feitas de forma manual por meio de formulários, passaram a utilizar as planilhas do Excel e hoje, dispõe de um Sistema de Informação que gera dados necessários tanto para projetos e relatórios como para a melhoria no desempenho das atividades. 3.3 Indicadores de Qualidade. A implantação de programas de qualidade geralmente baseia-se no trabalho em equipe, na comunicação e na gestão descentralizada e participativa. Esta cultura deve estar baseada na .identificação e manutenção de indicadores de qualidade. Sendo assim, este estudo, segundo revisão de literatura, destaca os seguintes indicadores de qualidade: a) Comunicação: Refere-se à divulgação de normas, regras, regulamentos, regimentos, divulgação das políticas, comunicação visual, participação nas decisões, visitas orientadas, utilização dos catálogos, satisfação no atendimento de referência. b) Acesso: Está relacionado à obtenção e localização de material de informação no acervo, itens de infra-estrutura/equipamentos e utilização de serviços diversos. c) Confiança: Reflete a segurança e o bom conceito de seus clientes em relação ao atendimento prestado e as necessidades respondidas satisfatoriamente. d) Cortesia: Refere-se à forma de atendimento, delicadeza, amabilidade, paciência no relacionamento com o usuário e) Efetividade/ Eficiência: Este indicador aparece em questões relacionadas com políticas, localização e obtenção de materiais no acervo, disponibilidade de funcionários, resposta às questões de referência, utilização da biblioteca, atendimento, infraestrutura/equipamentos e utilização de serviços diversos. f) Qualidade: percepção que os clientes tem sobro o serviço recebido. g) Resposta: solução imediata a uma questão do usuário. h) Tangíveis: infra-estrutura/equipamentos e acervo
i) Credibilidade: transparência da atuação institucional j) Segurança: confiança do usuário nos serviços prestados pela U. I. k) Extensividade: satisfação nas questões de referência e no acervo disponibilizado. l) Garantia: O que assegura ao usuário que o serviço ou produto que ele está utilizando é bom. m) Satisfação do cliente: corresponder ao que deseja o usuário; n) Tempo de resposta: tempo que o usuário julga necessário para satisfazer suas necessidades. A abaixo mostra o ciclo de serviços de uma unidade de informação e a visão do usuário no processo de avaliação da qualidade. Ele situa-se no centro porque a sua satisfação é a meta da organização. É ele que avalia e decide o valor que vai atribuir a determinado serviço. As linhas demonstram que o usuário está ligado ao ciclo de serviços e faz parte de todo o processo.
4 MODELO PARA SELEÇÃO INDICADORES DE DESEMPENHO
DE
A Norma ISO 11620 é proposto como auxílio para o gestor na tomada de decisão elaborar uma escala em que cada indicador terá um valor, este recurso será usado para estabelecer áreas prioritárias. Através desta junção o gestor saberá o desempenho da biblioteca e poderá priorizar áreas. Na primeira etapa, selecionam-se os indicadores de desempenho levando-se em consideração a missão, os objetivos e as metas da biblioteca, em paralelo avalia-se a capacidade de coleta de dados, tais como: pessoal disponível, sistemas existentes na biblioteca, tempo de coleta de informações e custo desta coleta.
Na segunda etapa, o gestor em conjunto com a equipe formada na primeira etapa vai atribuir pesos para os indicadores conforme a importância da relação do mesmo com o objetivo ao qual está vinculado. 4.1 Etapas para a seleção dos indicadores de desempenho da Norma ISO 11620 Antes de iniciar as etapas de seleção dos indicadores de desempenho, é necessário que o gestor tenha bastante claro quais são os objetivos estratégicos e aonde a biblioteca quer chegar. Um dos requisitos básicos para a aplicação dos indicadores é a definição dos objetivos e metas, pois não se pode medir algo que não existe. Estes objetivos devem estar alinhados aos objetivos estratégicos da Instituição ao qual a biblioteca está vinculada. A biblioteca deve contar ainda com uma estrutura mínima para coleta de dados: fornecimento de relatórios por parte dos sistemas adotados, fornecimento de informações dos fornecedores de sistemas e base de dados. Se for avaliar os serviços eletrônicos é necessário que o sistema forneça informações sobre quantidade de acesso, de documentos baixados, números de pesquisas. Depois desta prévia análise e avaliação das condições estruturais da biblioteca para a adoção dos indicadores como ferramenta de apoio à gestão, procede-se com às seguintes fases: •
A formação de uma equipe composta por um gestor, por um bibliotecário, um funcionário e um consultor.
•
Realização de oficinas com objetivo de estudar a norma ISO 11620.
•
Levantamento de literatura e busca de relatos de experiências com a utilização da norma ISO 11620, particularmente no Brasil.
•
Fazer um levantamento de informações da biblioteca, ou seja, serviços, produtos, staff, público atendido, para identificar pontos de relevância para a avaliação e definição dos indicadores.
•
A escolha de cada indicador envolve a avaliação: da importância do indicador, do custo/tempo que levará para tratar os dados estatísticos e o quão serão relevantes para a tomada de decisão.
A partir da literatura, é possível determinar algumas necessidades de informação que são essenciais para a tomada de decisão, essas necessidades são norteadoras para a escolha de alguns indicadores como, por exemplo: satisfação do usuário, disponibilidade de
títulos, empréstimo per capita, índice de uso de documentos, índice de uso das instalações. Após a seleção dos indicadores, procede-se à elaboração dos instrumentos necessários a coleta das informações, por exemplo, para o indicador satisfação do usuário a ISO 11620 recomenda a elaboração de um questionário simples sobre algum serviço ou um aspecto específico de um serviço que deseja avaliar e determinar uma escala de 1 a 5 pontos para cada questão. Os indicadores que serão escolhidos poderão em algum momento da avaliação contribuir para diversos setores da biblioteca, por exemplo, o indicador de satisfação do usuário pode demonstrar que é necessária a integração dos diversos setores da biblioteca para promover a qualidade esperada pelo usuário/cliente. A figura 1 demonstra as áreas da biblioteca e seus relacionamentos.
Setores da biblioteca
4.2 Atribuição de pesos aos indicadores de desempenho Aplicando-se estas perspectivas as bibliotecas poder-se-ão os indicadores de desempenho de biblioteca ser relacionados com os setores da biblioteca da seguinte forma: clientes = atendimento ao usuário, processos internos = processamento técnico e aprendizagem e crescimento = serviço de referência. Com exceção da perspectiva financeira, que será dificilmente medida ou comparada, já que não visam lucro e nem administram seus recursos financeiros, pois são consideradas como função meio. Diferentemente da indústria as áreas da biblioteca são divididas conforme o tipo de serviço, porém todos se relacionam e tem como objetivo final suprir a necessidade informacional do usuário, através do fornecimento da informação sob qualquer meio – impresso ou digital. Para complementar a Norma ISO 11620,é proposto,como auxílio para o gestor na tomada
decisão,elaborar uma escala em que cada indicador terá um valor, este recurso será usado para estabelecer áreas prioritárias, através desta junção o gestor saberá o desempenho da biblioteca e poderá priorizar áreas. A literatura voltada para a indústria menciona critérios para indicadores financeiros e não financeiros, os quais são separados por áreas do negócio e cada indicador corresponde a um objetivo organizacional e recebe um peso como segue no exemplo exposto: PERSPECTIVA INDICADOR NÃO *PESO FINANCEIRO Cliente Processos internos
Satisfação do usuário Disponibilidade de
40% 30%
Processos internos Cliente
títulos Empréstimo per capitã Índice de uso de
15% 10%
Cliente
documentos Índice de uso
5%
das
instalações
Indicadores não financeiros para bibliotecas *Pesos sugeridos como exemplo. A determinação dos pesos deverá ser estabelecida pela gestão conforme o planejamento estratégico e os objetivos organizacionais. Para a biblioteca, a adoção de critérios não financeiros é o mais indicado em consonância com os seus objetivos. O somatório das informações fornecidas pelos indicadores e seus pesos auxiliarão o gestor a ter uma visão mais objetiva, fazendo o paralelo com a biblioteca, esta informação servirá para determinar em qual área/serviço deverá voltar a sua atenção.
5 CONSIDERAÇÕES FINAIS O modelo sugerido de utilização dos indicadores contribui para a gestão e planejamento dos serviços e produtos das bibliotecas universitárias como ferramenta de apoio à decisão. Os obstáculos à adoção deste modelo poderão se apresentar nas fases de: escolha dos indicadores, pois envolve análise de custo e disponibilidade do staff para a coleta de informações; posteriormente, na etapa de determinação dos pesos conforme as peculiaridades de cada biblioteca e o contexto em que está inserido; e,finalmente,na manutenção da regularidade da coleta de informações, pois como a literatura menciona uma das características dos indicadores é a capacidade de comparação de informações em diferentes períodos. Recomenda-se iniciar com poucos indicadores como projeto piloto e depois ir ampliando conforme as necessidades e a disponibilidade dos recursos. Assim, como toda metodologia voltada para a qualidade centrada no cliente, a exigência primordial é de que os critérios adotados façam parte da filosofia organizacional e sejam de conhecimento de toda a equipe. Este tipo de avaliação ajuda a biblioteca identificar onde estão os problemas e, principalmente, as falhas na coleta de dados, não obstante, muitas bibliotecas não desenvolvem formulários para obter
informações a respeito dos seus serviços, algumas bibliotecas disponibilizam uma caixa de sugestões, a qual nem sempre é vista pelos usuários. É importante salientar que cada indicador estão diretamente ligados a fatores que os usuários julgam ser relevantes.
REFERÊNCIAS BUENO, S. B. Qualidade em unidades de informação e resolução de problemas. ACB: Biblioteconomia em Santa Catarina, v.10, n.1, p. 131-145 , jan./dez., 2005. COLETTA, T.G. Indicadores de desempenho para bibliotecas universitárias: definições e aplicações sob o ponto de vista da literatura. Disponível em: http://www.eci.ufmg.br/pcionline/index.php/pci/article/vie wFile/152/11 Acesso em: 07 de nov. 2009. GRANDI, M. E. G. et al. Indicadores de desempenho para Bibliotecas Universitárias: projeto desenvolvido no SIBi/USP. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 15., 2008, São Paulo. Anais... São Paulo, 2008. INTERNATIONAL FOR ORGANIZATION STANDARDIZATION - ISO. ISO 11620:1998(F); Information et Documentation - Indicateurs de performance des bibliothèques. Genebra: ISO, 1998. LUBISCO, N. M. L. A biblioteca universitária brasileira: um modelo para avaliar seu desempenho. PontodeAcesso, Salvador, v.2, n.1, p. 153-199, jun. 2008. ROZADOS, H. B. F. Uso de indicadores na gestão de recursos de informação. Revista digital de biblioteconomia e ciência da informação, v.3, n.1, p.60– 76, 2005. Disponível em: < http://www.sbu.unicamp.br/seer/ojs/viewarticle.php? id=52&layout=abstract>. Acesso em: 10 de nov. 2009. SILVA, E. M. Indicadores de Desempenho para Bibliotecas Universitárias. Disponível em: < http://www.faculdadeguararapes.edu.br/site/complexo/fg2 008/publicacoes/download/edilene_edu.pdf>. Acesso em: 07 de nov. 2009. TAKASHINA, N. T. e FLORES, M. C. X. Indicadores da qualidade e do desempenho: como estabelecer metas e medir resultados. Rio de Janeiro: Qualitymark Ed., 1996. 112p. VALLS, V.M.; VERGUEIRO, W. A Gestão da Qualidade em Serviços de Informação no Brasil: uma revisão de literatura, de 1997 a 2006. Perspectivas em Ciência da Informação, Belo Horizonte, v.11, n.1, p.118-137, jan./abril 2006. VERGUEIRO, W.; CARVALHO, T. Definição de indicadores de qualidade: a visão dos administradores e clientes de biblioteca. Perspectivas em Ciência da Informação, v. 6, n. 1, p. 27 – 40, jan./jun. 2001. Disponível em: http://www.eci.ufmg.br/pcionline/ index.php/pci/search/results>. Acesso em: 15 nov. 2009.
______. Gestão da Qualidade em bibliotecas universitárias brasileiras: um enfoque na certificação. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Anais... Recife: SNBU, 2002a, Não paginado (CD-ROM).