Categoria: Auditoria

Posts sobre Auditoria. Clique e veja artigos sobre Auditoria, técnicas, ferramentas, metodologia, cursos, certificações e muitos outros assuntos relevantes!

Auditoria ou Auditar vem da raiz em latim audire que significa ouvir. Um significado mais abrangente seria: analisar, mapear padrões e desvios e identificar a causa de um problema.

Mapear a causa raiz de um problema é um grande desafio visto que esta é bem diferente de uma justificativa ou simples admissão de responsabilidade.

Trata-se do fato gerador do apontamento. Porém – que realmente levou à este desvio? Qual controle falhou para a materialização do risco?

Categorias
Auditoria Data Analytics

O Ciclo de Vida dos Dados

Ciclo de Vida dos Dados (Reprodução: DALLE-E 3)
Ciclo de Vida dos Dados (Reprodução: DALLE-E 3)

O ciclo de vida dos dados é um processo essencial que abrange todas as etapas pelas quais as informações passam dentro de uma organização, desde sua criação até sua utilização final. Esse fluxo inclui a geração, armazenamento, ingestão, transformação, disponibilização e, por fim, o consumo por todos os stakeholders. Em cada uma dessas fases, a auditoria desempenha um papel fundamental, garantindo a integridade, a segurança e a conformidade dos dados.

Geração

A primeira etapa do ciclo é a geração dos dados, que pode ocorrer por meio de diversas fontes, como dispositivos IoT, sistemas transacionais, interações de usuários e aplicações web. Desde o início, é crucial registrar metadados e criar logs de auditoria que possibilitem rastrear a origem dos dados, assegurando sua autenticidade e permitindo futuras verificações de conformidade.

Armazenamento

Após a geração, os dados são armazenados em bancos de dados, data lakes ou outras infraestruturas de armazenamento. Essa fase requer cuidados especiais com segurança e backup, pois a integridade das informações é vital para análises futuras. A implementação de auditorias regulares neste estágio permite monitorar o acesso, detectar alterações não autorizadas e garantir que os dados sejam mantidos de acordo com as políticas internas e regulamentações externas.

Ingestão

A ingestão é o processo pelo qual dados provenientes de diversas fontes são coletados e integrados em um sistema unificado para posterior processamento. Nesse momento, controles de qualidade e mecanismos de auditoria são aplicados para validar a precisão e a integridade dos dados, evitando que inconsistências comprometam a confiabilidade das informações que serão utilizadas nas análises. Existem muitas ferramentas para esta etapa. Alguns exemplos de ferramentas são: ACL Analytics, Alteryx, Arbutus, Qlik View, Qlik Sense, Tableau.

Transformação

Durante a transformação, os dados brutos passam por processos de limpeza, normalização e enriquecimento para se tornarem informações úteis para a tomada de decisão. Este estágio envolve diversas operações de extração, transformação e carga (ETL), e é aqui que a auditoria se mostra indispensável, registrando todas as modificações e garantindo que o histórico das alterações seja preservado para futuras análises e revisões.

Disponibilização

Após a transformação, os dados são disponibilizados para os usuários finais através de dashboards, relatórios, APIs ou outros meios. Essa etapa exige a implementação de controles de acesso rigorosos e a manutenção de logs de auditoria para monitorar o uso dos dados, assegurando que apenas pessoas autorizadas tenham acesso e que o consumo das informações esteja de acordo com as políticas de segurança e privacidade da organização

Auditoria e Data Analytics

A auditoria é um componente transversal que permeia todas as fases do ciclo de vida dos dados. Seja durante a geração, armazenamento, ingestão, transformação ou disponibilização, os processos de auditoria garantem a transparência e a rastreabilidade das operações, permitindo a identificação precoce de falhas e a implementação de melhorias contínuas. Essa prática é fundamental para manter a conformidade com as regulamentações e para reforçar a governança dos dados dentro da empresa.

Conclusão

Em suma, compreender o ciclo de vida dos dados e integrar práticas robustas de auditoria em cada etapa é crucial para garantir a qualidade, segurança e confiabilidade das informações. Ao adotar esses processos, as organizações não só aprimoram a tomada de decisão, mas também fortalecem sua governança, assegurando que os dados, um dos ativos mais valiosos, estejam sempre protegidos e devidamente gerenciados.

Categorias
Auditoria Data Science Inteligência Artificial LGPD

Como utilizar modelos LLM como o llama3 na auditoria

A auditoria é uma atividade que envolve analisar muitos documentos. As vezes trata-se de centenas de páginas de texto que devem ser lidas. Embora a tecnologia não substitua o auditor, ela pode facilitar tarefas exaustivas ou repetitivas como resumir textos. A técnica de NLP (Natural Language Processing) e os modelos LLM (Large Language Models) podem ser uma ferramente poderosa para esta atividade.

Como utilizar o poder das LLM para resumir documentos de forma segura e sigilosa? Com certeza há a preocupação de não enviar dados sigilosos através da internet. Uma solução é rodar o modelo localmente em sua própria máquina.

Vejamos 3 ferramentas para cumprir este objetivo.

Python

Python é uma das linguagens de programação mais populares do mundo, amplamente utilizada para desenvolvimento de software, análise de dados, inteligência artificial e automação de tarefas. Criado por Guido van Rossum no final dos anos 1980 e lançado oficialmente em 1991, Python se destaca por sua sintaxe simples e legível, além de possuir uma vasta comunidade e uma grande variedade de bibliotecas. Sua flexibilidade permite que seja usado tanto para scripts simples quanto para aplicações complexas, como desenvolvimento web e aprendizado de máquina.

Ollama

Ollama é uma ferramenta que facilita o uso de modelos de inteligência artificial localmente, permitindo a execução de modelos de linguagem diretamente no computador do usuário. Projetado para ser simples e eficiente, Ollama elimina a necessidade de configurar ambientes complexos para rodar modelos de IA. Ele permite o download e a execução de modelos como LLaMA, Mistral e outros com apenas um comando no terminal. Seu objetivo principal é tornar a utilização de grandes modelos de linguagem mais acessível para desenvolvedores e pesquisadores.

LLaMA3

LLaMA 3 (Large Language Model Meta AI 3) é a terceira geração da família de modelos de linguagem desenvolvidos pela Meta (antiga Facebook). Ele é projetado para fornecer respostas mais precisas e contextualmente relevantes, sendo otimizado para eficiência e menor consumo de recursos computacionais. Os modelos da série LLaMA ganharam notoriedade por serem alternativas mais leves e abertas em comparação com os modelos fechados de empresas como OpenAI e Google. O LLaMA 3 continua essa tradição, trazendo avanços em arquitetura e desempenho.

Para baixar e instalar o Ollama, basta acessar o site oficial ollama.com e seguir as instruções para o sistema operacional desejado (Windows, macOS ou Linux). Após a instalação, pode-se baixar e rodar o LLaMA 3 usando comandos simples no terminal. Por exemplo, para instalar um modelo específico, basta rodar ollama pull llama3, e para executá-lo, o comando ollama run llama3 inicia a interação com o modelo. Isso torna o processo de configuração extremamente simples e rápido.

Um exemplo prático de uso do LLaMA 3 no Ollama seria gerar um resumo de um texto. Suponha que você tenha um arquivo chamado relatorio.txt e deseja obter um resumo. Você pode usar o seguinte comando no terminal:

cat relatorio.txt | ollama run llama3 --system "Resuma o seguinte texto:"

Esse comando extrai o conteúdo do arquivo e o envia para o modelo, que então retorna um resumo conciso. Dessa forma, Ollama e LLaMA 3 oferecem uma solução poderosa para quem deseja utilizar modelos de IA localmente sem depender de servidores externos.

Comente o que achou do resultado. O modelo resumiu de forma adequada e eficiente?

você está offline!