El objetivo del presente documento es listar los criterios utilizados para la evaluación del producto “reporte de resultado de pruebas de desempeño de apps móviles”, así como los criterios considerados para iniciar la evaluación. Se describen además los niveles de severidad que han de otorgárseles a los hallazgos detectados durante la evaluación del producto y las distintas conclusiones que pueden resultar de la evaluación de acuerdo a los criterios y severidades.

Severidad de criterios y hallazgos

La severidad se refiere al grado de impacto en la eficiencia del aplicativo y/o trámite que tiene la no satisfacción de un criterio de evaluación y los hallazgos identificados a partir de ese criterio de evaluación.

Los niveles de severidad que serán utilizados durante las evaluaciones para clasificar tanto a criterios como a hallazgos son los siguientes:

Grado 
severidad		 Descripción Recomendación
Crítica Se refiere a aspectos imprescindibles que comprometan el desempeño
de la app y que sean un factor clave para elevar el grado de riesgo
de fallo ante una concurrencia de usuarios o volumen de datos.
Por ejemplo, hallazgos con severidad crítica detectados en las
pruebas de desempeño y que no se encuentran cerrados,
que no exista la monitorización de recursos de los servidores que
forman parte de la arquitectura, que no se muestren
los tiempos de respuesta de las funcionalidades principales, entre otros.
También se consideran críticos, aquellos aspectos que sean necesarios
para identificar la aplicación y le tipo de escenario considerado en el
análisis. Por ejemplo nombre de la aplicación, fecha en que se realizó
el análisis y la estrategia de pruebas de desempeño.		 Es necesario realizar la corrección de los hallazgos y lograr
el cumplimiento de los criterios de evaluación de severidad crítica
antes de publicar la app en la plataforma gob.mx
Alta Se refiere a aspectos informativos de la aplicación que pueden afectar
al rendimiento del sistema /aplicación o que puedan servir para
identificar más claramente.Se recomienda realizar las adecuaciones
pertinentes para atender los hallazgos, de primera instancia no se
identifica un riesgo mayor en la publicación del trámite/aplicación
en la plataforma gob.mx la naturaleza de los hallazgos. 
Por ejemplo, descripción de los objetivos, acuerdos de los niveles
servicios, omisiones de las descripciones de los hallazgos detectados
así como su posible impacto en el sistema, etc.		 Se recomienda realizar las adecuaciones pertinentes para atender
los hallazgos, de primera instancia no se identifica un riesgo mayor
en la publicación del trámite/aplicación en la plataforma gob.mx
Media Se refiere a aspectos informativos de los reportes de pruebas de
desempeño que no afecten de manera directa al rendimiento del
sistema/aplicación, pero que son importantes para registrar de
manera completa la calidad del sistema/aplicación desde la
perspectiva de eficiencia. Por ejemplo, el objetivo de la
revisión/ciclo de análisis, descripción de tecnologías de la aplicación, etc.		 Se recomienda realizar las adecuaciones pertinentes para atender
los hallazgos, de primera instancia no se identifica un riesgo mayor
en la publicación del trámite/aplicación en la plataforma gob.mx

Criterio para iniciar evaluación

Para iniciar la evaluación completa de los productos de tipo “reporte de resultado de pruebas de desempeño de app móvil”, es necesario que estos cuenten con la información mínima suficiente para evidenciar que el aplicativo del cual se describen los resultados de las pruebas de desempeño cubre el estándar de servicios digitales de gob.mx.

En caso de que no se encuentre dicha información en los productos entregados por las dependencias, no es posible realizar el análisis de manera completa y confiable.

La información necesaria es aquella que muestre los resultados del análisis para los aspectos críticos y determinantes referentes a los temas descritos a continuación:

Estrategia de las prueba

En la planeación y estrategia de las pruebas se define qué tipo de pruebas se están empleando, el objetivo que persiguen, las funcionalidades principales y los flujos para operarlas en el sistema, además de los dispositivos considerados dentro del alcance y sobre los que han de realizarse las pruebas.

Deben informarse los SLO para cada uno de los siguientes aspectos de la aplicación.

  • Tiempos de respuesta de la operación
  • Porcentaje de error
  • Consumo de recursos de la app en el dispositivo móvil
    • Batería
    • CPU
    • Memoria
    • Datos
  • Deben informarse los siguientes datos de cada dispositivo a ser utilizado durante las pruebas
    • Tipo (Físicos / Emuladores)
    • Marca
    • Modelo
    • Gama (alta, media, baja)
    • Tipo y Versión de SO
    • CPU (Modelo y Capacidad)
    • Memoria RAM
    • Almacenamiento (Capacidad)
    • Tipo de Batería

Se considera como determinante porque con esto se sabría cuál fue el objetivo y finalidad de las pruebas de desempeño.

Los criterios considerados para evaluar cada uno de los temas descritos, se encuentran listados y marcados como críticos en la sección “Criterios de evaluación” de este documento.

Criterios de evaluación

Para evaluar la completitud y calidad de los productos, se realizará verificación estática basada en una lista de verificación que contiene los criterios de evaluación tanto generales como técnicos.

Criterios generales de evaluación

Se refiere a aquellos puntos que han de ser evaluados en el producto pero que no buscan inspeccionar a detalle los resultados reflejados en el reporte proporcionado por la dependencia, sino realizar un reconocimiento del producto, contemplan aspectos de identificación de aplicaciones, dependencias, herramientas utilizadas y secciones del reporte motivo de la evaluación.

Los criterios generales de evaluación del producto, así como su severidad, se listan a continuación:

ID Criterio para iniciar evaluación Nivel de interacción
1 Se identifica el nombre de la Aplicación Móvil. Crítica
2 Se identifica la dependencia de gobierno a la que pertenece la aplicación móvil. Media
3 Se identifican las fechas en que fue realizado el análisis de desempeño a la aplicación móvil. Crítica
4 Se identifica el tipo y versión de los sistemas operativos que soporta la aplicación móvil. Alta
5 Se describe la variedad de los diferentes dispositivos móviles que tiene como alcance la aplicación. Media
6 Se describe la tecnología y framework con la que fue creada la solución móvil. Media

Criterios técnicos de evaluación

Se refiere a aquellos puntos que han de ser evaluados en el producto que buscan inspeccionar a detalle los resultados reflejados en el reporte proporcionado por la dependencia, a fin de identificar si el aplicativo que ha sido analizado cumple con los requerimientos necesarios para su publicación en el portal gob.mx

Los criterios técnicos de evaluación del producto, así como su severidad, se listan a continuación:

ID Criterio para iniciar evaluación Nivel de interacción
7 Se describe la estrategia de pruebas y en ella se contemplan los escenarios para:
  • Medición de SLAs
  • Medición del desempeño del aplicación móvil en los dispositivos.
 Crítica
8 Se definen los límites del SLA en cuanto a:
  • Tiempos de respuesta de la operación
  • Porcentaje de error
  • Consumo de recursos de la app en el dispositivo móvil
    • Batería
    • CPU
    • Memoria
    • Datos
 Crítica
9 Se describe la fuente de donde se toman los datos para la definición de los SLA Alta
10 Se identifica la herramienta o conjunto de herramientas con las que son
ejecutadas las pruebas.		 Media
11 Se identifica el ambiente en donde se realizan las pruebas de desempeño,
debiendo ser el ambiente productivo o alguno con características idénticas.
La versión de la aplicación debe ser versión firmada con certificado.		 Crítica
12 Se identifican las características de los dispositivos donde se realizaron las
pruebas de desempeño de la aplicación. El listado contiene las siguientes:
  • Tipo (Físicos / Emuladores)
  • Marca
  • Modelo
  • Gama (alta, media, baja)
  • Tipo y Versión de SO
  • CPU (Modelo y Capacidad)
  • Memoria RAM
  • Almacenamiento (Capacidad)
  • Tipo de Batería
 Alta
13 Para las pruebas de desempeño de la aplicación se contempla una muestra de
los diferentes dispositivos móviles que tiene como alcance la aplicación.		 Alta
14 Se detallan los resultados del monitoreo de consumo de recursos de cada uno
de los dispositivos móviles antes, durante y después de la ejecución de las
pruebas de desempeño de la aplicación, contemplando:
  • CPU.- Uso de procesamiento representado en porcentaje y/o
    gráfica.
  • Memoria RAM.- Utilización de memoria RAM representado en
    porcentaje y/o gráfica.
  • Batería.- Consumo de batería por parte de la aplicación móvil representado
    en porcentaje y/o gráfica.
  • Uso de Datos.- Consumo de datos de la aplicación representado en porcentaje
    y/o grafica

El consumo de recursos informado en cada uno de los rubros se encuentra
dentro de los SLA establecidos.

 Crítica
15 Se identifica el listado final completo de hallazgos de desempeño encontrados
durante la revisión.		 Alta
16 El listado de hallazgos incluye severidad de acuerdo al impacto que tiene sobre
el rendimiento de la aplicación móvil.
  • Crítico
  • Alto
  • Medio
  • Bajo
 Alta
17 Se identifica el estado actual de los hallazgos de desempeño detectados:
  • Abierto
  • Cerrado corregido
  • Cerrado no corregido
  • En proceso de corrección
 Alta
18 Todos los hallazgos contenidos en los reportes de análisis de desempeño, con
severidad crítica y alta, se encuentran corregidos o existe justificación
para su no corrección.		 Crítica
19 Se identifica en que parte de la aplicación móvil (modulo/funcionalidad/archivo)
fue localizada cada uno de los hallazgos de desempeño.		 Alta
20 Se describen las acciones que se emplearon para mitigar el riesgo de cada uno
de los hallazgos detectados.		 Media
21 Se informan resultados de al menos dos ciclos, uno de línea base y otro ejecutado
con la corrección de errores y adecuaciones para cumplir los SLA establecidos.		 Crítica