image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
1
INDICADORES PARA AVALIAÇÃO DO DESENVOLVIMENTO DA ATIVIDADE
INOVADORA DE UMA UNIVERSIDADE COMO FATOR DE COMPETITIVIDADE
NO MERCADO NACIONAL E INTERNACIONAL
INDICADORES PARA EVALUAR EL DESARROLLO DE LA ACTIVIDAD
INNOVADORA DE UNA UNIVERSIDAD COMO FACTOR DE SU COMPETITIVIDAD
EN LOS MERCADOS NACIONALES E INTERNACIONALES
INDICATORS FOR ASSESSMENT OF THE DEVELOPMENT OF A UNIVERSITY’S
INNOVATIVE ACTIVITY AS A FACTOR IN ITS COMPETITIVENESS IN THE
NATIONAL AND INTERNATIONAL MARKETS
Polina EFREMOVA
1
Irina ROMANOVA
2
Viktor BELKIN
3
Lyudmila VASILYEVA
4
RESUMO:
O principal objetivo do artigo é revelar a natureza e o grau de influência de vários
indicadores que definem o nível de desenvolvimento da atividade inovadora de uma
universidade. O artigo apresenta uma abordagem sob a qual a atividade inovadora de uma
universidade é definida pelas principais direções de desenvolvimento: pesquisa científica,
educacional e administrativa. Os autores também defendem a necessidade de avaliar não apenas
os resultados da atividade inovativa de uma universidade, mas também o processo de criação
de produtos e serviços inovadores e o potencial de inovação. Como resultado da pesquisa
realizada, os autores concluem que alguns elementos da atividade inovativa de uma
universidade a afetam mais do que o previsto, principalmente os elementos das inovações
administrativas, o estágio “processo” da atividade inovativa e a interação com os parceiros.
PALAVRAS-CHAVE:
Avaliação de inovações educacionais. Inovação em gestão. Inovações
não tecnológicas.
RESUMEN:
El objetivo principal del trabajo es revelar la naturaleza y el grado de influencia
de varios indicadores que definen el nivel de desarrollo de la actividad innovadora de una
universidad. El artículo presenta un enfoque bajo el cual la actividad innovadora de una
universidad se define por las direcciones clave del desarrollo: investigación científica,
educativa y administrativa. Los autores también defienden la necesidad de evaluar no solo los
1
Universidade Federal do Extremo Oriente, Vladivostok – Rússia. Doutor, Professor Associado. ORCID:
https://orcid.org/0000-0002-4446-0282. E-mail: efremova.pv@dvfu.ru
2
Universidade Federal do Extremo Oriente, Vladivostok – Rússia. Doutor de Ciências, Professor. ORCID:
https://orcid.org/0000-0002-8258-9220. E-mail: Romanova.im@dvfu.ru
3
Universidade Federal do Extremo Oriente, Vladivostok – Rússia. Doutor de Ciências, Professor. ORCID:
https://orcid.org/0000-0003-4919-1840. E-mail: belkin.vg@dvfu.ru
4
Universidade Federal do Extremo Oriente, Vladivostok – Rússia. Doutor de Ciências, Professor. ORCID:
https://orcid.org/0000-0003-0735-6707. E-mail: milav12@mail.ru
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
2
resultados de la actividad innovadora de una universidad, sino también el proceso de creación
de productos y servicios innovadores y el potencial de innovación. Como resultado de la
investigación realizada, los autores concluyen que algunos elementos de la actividad
innovadora de una universidad la afectan en mayor medida de lo previsto, en particular los
elementos de las innovaciones administrativas, la etapa de "proceso" de la actividad
innovadora y la interacción con los socios.
PALABRAS CLAVE:
Evaluación de las innovaciones educativas. Gestión de la innovación.
Innovaciones no tecnológicas.
ABSTRACT
: The main aim of the paper is to reveal the nature and degree of influence of
various indicators defining the level of development of a university’s innovative activity. The
paper presents an approach under which a university's innovative activity is defined by the key
directions of development: scientific research, educational, and administrative. The authors
also argue for the need to evaluate not only the results of a university's innovative activity but
also the process of creation of innovative products and services and innovation potential. As a
result of the conducted research, the authors conclude that some elements of a university's
innovative activity affect it to a greater extent than anticipated, particularly the elements of
administrative innovations, the “process” stage of innovative activity, and interaction with
partners.
KEYWORDS:
Assessment of educational innovations. Management innovation. Non-
technological innovations.
Introdução
O alto ritmo de transformação das universidades de hoje, que moldam um novo cenário
de educação e ciência, requer uma avaliação mais adequada do nível de sua atividade inovadora
como o principal fator na competitividade das universidades nos mercados de serviços
educacionais, trabalho e produtos e serviços inovadores. Observa-se o chamado efeito
retardado, no qual os resultados da transformação da pesquisa ou do processo educacional na
universidade não podem ser avaliados imediatamente, o que implica a necessidade de avaliar
não apenas os resultados finais da inovação, mas também o processo de inovação e o potencial
de inovação (EFREMOVA, 2018; EFREMOVA; ROMANOVA, 2016).
O referencial teórico do estudo é formado pelas seguintes teorias e conceitos, que são
tipicamente considerados separadamente no estudo da atividade inovadora das universidades:
●
a teoria da "inovação disruptiva", que sugere que a principal condição da
"sobrevivência" das universidades é a sua adaptação através de novos formatos de prestação de
serviços educacionais e outros, o uso de novos modelos de negócios e o aprimoramento de
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
3
parcerias, que é a única maneira de as universidades alcançarem o máximo benefício para a
sociedade (CHRISTENSEN 2011)
●
a teoria da "tripla hélice", segundo a qual a atividade inovadora de uma universidade
se resume à pesquisa científica e à mediação entre as empresas e o Estado (comercialização de
tecnologia) (ETZKOWITZ; LEYDESDORFF, 1995);
●
●o conceito de "aprendizagem ao longo da vida", ou "educação continuada" (EC),
cujo espírito esteve no ar durante toda a duração da existência e desenvolvimento da sociedade
humana (Relatório Final do Estudo Delphi, s.d.);
●
o conceito de "inovações de gestão", cujos proponentes apontam para o valor
subestimado desse tipo de inovações, e os seguidores mais radicais sugerem o potencial em
breve a substituição do paradigma baseado na inovação tecnológica por aquele com a inovação
administrativa em seu núcleo, criando as condições para inovações tecnológicas, de produtos e
outras (KRASNICKA; GLOD; WRONKA-POSPIECH, 2016; MOTHE; THI, 2010;
VÓLBERDA; VAN DEN BOSCH; HEIJ, 2013);
●
a teoria da evolução do processo de inovação proposta por R. Rothwell (1994) e
desenvolvida por outros pesquisadores (BARBIERI; ALVARES, 2016) enfatiza a importância
de avaliar não apenas os recursos gastos (
renda
) e os resultados obtidos na atividade inovadora
(
resultado
), mas o próprio processo (processo) do modelo 5-6G. Aplicados às universidades,
os modelos 5G e 6G pressupõem uma interação mais ampla com parceiros externos, bem como
o estabelecimento de equipes multidisciplinares dentro dos subsistemas e a intensificação das
ligações entre os subsistemas e as principais direções das atividades da universidade, a natureza
paralela dos processos inovadores e o desenvolvimento de um ecossistema de informação.
A partir disso, conclui-se que a atividade inovadora de uma universidade deve ser
considerada no contexto das principais direções da atividade da instituição: pesquisa científica,
educacional e administrativa (Fig. 1).
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
4
Figura 1 –
Justificação teórica da escolha dos principais rumos da atividade inovadora de
uma universidade
Fonte: Elaborado pelos autores
Métodos
O objetivo do estudo
é determinar a força e a natureza da influência de elementos
particulares da atividade inovadora de uma universidade no nível de desenvolvimento dessa
atividade como o fator-chave na competitividade da universidade a nível nacional e
internacional.
Declaração do problema:
O problema que precisa ser explorado é a necessidade de determinar os indicadores que
afetam o nível de desenvolvimento da atividade inovadora de uma universidade.
O problema que requer uma solução é aumentar o nível de desenvolvimento da atividade
inovadora de uma universidade (o fator-chave em sua competitividade nos níveis nacional e
internacional), equilibrando as principais direções da atividade inovadora: pesquisa científica,
educacional e administrativa.
De acordo com o objetivo de pesquisa delineado, os objetivos do estudo incluem:
●
determinar os indicadores que afetam o nível de desenvolvimento da atividade
inovadora da universidade nas direções de pesquisa científica, educacional e administrativa;
●
agregar indicadores por grupos agregados, tendo em conta o modelo "processo-
rendimento-resultado";
●
avaliar o grau e a natureza da influência mútua dos elementos específicos da atividade
inovadora da universidade (indicadores e grupos agregados de indicadores (IAG)) uns sobre os
outros e sobre as atividades de pesquisa científica, educacional e administrativa em geral.
Quadro teórico da atividade de inovação da universidade
Educação
permanente
Inovação disruptiva
Inovação na
gestão
Modelo 5G
Hélice tripla
Principais direções da atividade de
inovação da universidade
Educativo
Científica (investigação)
Administrativo
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
5
Partindo do referencial teórico delineado e do estudo empírico precedente
(EFREMOVA, 2019; EFREMOVA; ROMANOVA, 2020a; 2020b), as principais hipóteses de
pesquisa são formuladas da seguinte forma:
Н1: o nível de desenvolvimento da atividade inovadora da universidade depende do
nível de desenvolvimento da atividade inovadora por suas principais direções: pesquisa
científica, educacional e administrativa, mas não no mesmo grau.
2: a atividade de inovação administrativa exerce uma influência considerável na
investigação científica e nas atividades inovadoras no domínio da educação, bem como no nível
global de desenvolvimento da atividade inovadora.
Н3: o nível de desenvol
vimento da parceria exerce uma influência considerável no nível
de organização do processo de criação de produtos inovadores na universidade e nos resultados
da atividade inovadora.
Métodos de pesquisa: pesquisa documental e de campo utilizando métodos qualitativos
(análise de conteúdo, pesquisa de especialistas) e quantitativos (survey).
O estudo foi realizado em quatro etapas:
●
estudo documental: análise de conteúdo, formulação de requisitos para o sistema
modelo de indicadores, critérios e lista de indicadores;
●
estudo de campo: avaliação pericial do grau de significância dos indicadores
propostos, formação da lista final, agregação dos indicadores em grupos agregados;
●
Estudo de campo: um inquérito aos funcionários e estudantes da universidade ativos
em inovação, a fim de avaliar o nível de desenvolvimento da atividade de inovação.
●
processamento e interpretação dos dados obtidos.
O estudo foi realizado na Universidade Federal do Extremo Oriente em 2019.O estudo
foi realizado na Universidade Federal do Extremo Oriente em 2019.
Os instrumentos de pesquisa
empregados incluem:
●
Questionário de avaliação de especialistas. Os especialistas foram convidados a
determinar o grau de importância de cada indicador em uma escala de dez pontos (onde 1 –
absolutamente não importante, 10 – muito importante), a fim de avaliar o nível de atividade de
inovação da universidade (o valor limite é de 5,5). O grupo de peritos (10 peritos) era composto
por especialistas russos e estrangeiros no domínio da gestão da inovação universitária
(EFREMOVA, 2019);
●
Questionário de pesquisa quantitativa. O tamanho da amostra foi de 384 pessoas,
com um intervalo de confiança de 5%, o que é aceitável para um estudo na área de ciências
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
6
sociais, e uma probabilidade de confiança de 95%. Para garantir a representatividade da
amostra, utilizou-se o método de cotas (amostragem não aleatória de cotas) de acordo com a
estrutura organizacional e numérica existente da universidade selecionada (EFREMOVA;
ROMANOVA, 2020a;2020b). A pesquisa foi realizada entre indivíduos ativos em inovação do
grupo geral de funcionários e estudantes da universidade que passaram no procedimento de
autoavaliação do nível de envolvimento em atividades inovadoras. Utilizou-se o modelo de
avaliação da correspondência de desenvolvimento da atividade inovadora de uma universidade
ao "ponto ideal" – expectativas das principais partes interessadas. Os entrevistados foram
convidados a classificar cada indicador com base em sua ideia de seu estado perfeito, bem como
em termos de sua correspondência com o ponto ideal escolhido. A avaliação foi realizada em
uma escala de sete pontos, onde 7 é a maior avaliação do indicador e 1 é a menor (o valor limiar
é 4). Além disso, foi interessante a avaliação dos entrevistados sobre o estado atual da atividade
inovadora na universidade considerada em geral.
A análise dos dados
foi realizada utilizando-se o processador de planilhas eletrônicas
Microsoft Excel. As matrizes de correlação do par de Pearson foram construídas com base nos
dados obtidos do levantamento quantitativo.
Resultados
Para criar o modelo de sistema para a avaliação do desenvolvimento da atividade
inovadora da universidade, são introduzidos os seguintes requisitos para esta atividade: a
cobertura das principais atividades da universidade pelas atividades inovadoras da universidade
nos três planos (pesquisa, educacional, administrativo) que contabilizam a dinâmica no
desenvolvimento da atividade inovadora com base nos indicadores de potencial de inovação
(renda), atividade inovadora (processo) e os resultados da atividade inovadora (resultado).
Com base na análise de conteúdo da literatura científica, nos principais rankings
uni
versitários russos e globais e nos rankings nacionais e globais de atividades de inovação,
formou-se a lista de indicadores da atividade inovadora de uma universidade (Tabela 1). Um
total de 59 indicadores são propostos para caracterizar o potencial de inovação (renda; o código
começa com 1), a atividade inovadora (processo; o código começa com 2) e os resultados da
atividade inovadora (resultado; o código começa com 3) da universidade. Destes, por cada
direção: 27 indicadores de atividades de pesquisa científica (Código S); 23 indicadores de
atividades educativas inovadoras (Código E); 9 indicadores da atividade de inovação
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
7
administrativa da universidade (Código A). A importância de cada indicador foi avaliada na
pesquisa de especialistas em uma escala de dez pontos.
Quadro 1 –
Indicadores de avaliação do nível de desenvolvimento da atividade inovadora
universitária
AGI
Não
Indicador
Código
F1
1
O desenvolvimento de atividades inovadoras e empreendedoras está consagrado na
missão e estratégia da universidade
S1,1
2
Desenvolvimento de atividades educacionais inovadoras, incluindo a implementação
dos princípios da CE estão consagrados na
missão e estratégia da universidade
E1,1
3
Existência de um processo de garantia de qualidade para o processo CE
E1,8
4
Uso da organização universitária
-
forma econômica
-
uma instituição autônoma
А1.1
5
Presença de procedimentos para análise e
otimização de processos administrativos na
universidade
А2.3
6
A política universitária permite combinar o trabalho dos funcionários e estudantes da
universidade com atividades inovadoras e empreendedoras, trabalho nos negócios
S1,8
F2.
7
Peso específico do número de (SPP) sem diploma
–
até 30 anos, candidatos de ciências
– até 35 anos, doutores em ciências – até 40 anos, no número total de NDPs no ano de
referência, %
S1,2
8
Percentagem de pessoal académico empregado num ambiente não
académico
(emprego principal ou a tempo parcial), %
E1.2
9
Sistema de motivação na universidade promove comportamento inovador dos
colaboradores e aumenta a produtividade
S1,3
10
Percentagem do pessoal administrativo universitário envolvido no
desenvolvimento da
inovação e das atividades empresariais no número total de pessoal administrativo
А1.2
F3.
11
Volume de renda de P&D por um trabalhador científico e pedagógico, mil rublos
S1,4
12
Parte dos fundos no orçamento para o
desenvolvimento de inovações nas atividades
educativas, %
E1,3
F4.
13
Participação de P&D realizada por conta própria (sem o envolvimento de co
-
executores) na renda total da organização educacional de P&D
S1,5
14
Disponibilidade e qualidade da
biblioteca eletrônica da universidade
E1,4
15
Número de computadores com acesso à Internet por aluno/Número de salas de aula
equipadas com ITT por 1 grupo de estudo
E1,5
16
Número de centros universitários no campo da engenharia
S1,6
17
Introdução de sistemas de TI que suportam os processos de tomada de decisão de
gestão nos últimos 5 anos
А2.2
18
Implementação de sistemas de TI e outras ferramentas ou métodos de comunicação
para coletar informações e conhecimentos e compartilhá-los com os funcionários (por
exemplo, Intranet, bases de conhecimento) nos últimos 5 anos
А2.3
F5.
19
Número de empresas com as quais a universidade tem um acordo sobre o
estabelecimento de departamentos básicos
E1,6
20
Número de
empresas com as quais foi assinado um acordo de cooperação no domínio
da atividade educativa (para a formação orientada de especialistas)
E1,7
21
Número de laboratórios conjuntos estabelecidos/instalações de infraestruturas de
inovação
S1,7
22
Número de publicações conjuntas com coautores do meio não acadêmico em
publicações indexadas na prioridade para a organização de sistemas de informação e
analíticos de citação científica (RISC, Scopus, Web of Science)
S2,5
23
Número de acordos de
patrocínio de P&D, contratos e projetos conjuntos com
parceiros não acadêmicos
S2,7
24
Número de contratos de serviços de consultoria
S2,8
F6.
25
Parte do financiamento de I&D proveniente de fontes extraorçamentários
S2,1
26
Número de
contratos de P&D sob os quais a universidade atraiu financiamento de
fontes extraorçamentárias
S2,2
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
8
27
Número de APPE, treinamentos que receberam financiamento externo no total de
programas implementados na APPE, treinamentos
E2.1
28
Número de
bolsas recebidas para o ano de referência por 100 professores
S2,10
29
Número de projetos de desenvolvimento de infraestrutura universitária que receberam
financiamento externo por 100 funcionários
А2.3
F7.
30
Número médio anual de itens de
propriedade intelectual no saldo da universidade
S2,3
31
Número médio anual de participantes em programas universitários destinados a
desenvolver o empreendedorismo
S2,9
32
Parcela de pessoal de pesquisa e ensino, estudantes de
pós
-
graduação e estudantes de
graduação envolvidos em associações criativas e projetos inovadores no ano do
relatório no número total de estudantes pesquisadores, estudantes de pós-graduação e
estudantes de graduação
S2,4
33
Número médio anual de
pequenas empresas inovadoras em funcionamento (sociedades
empresariais) estabelecidas na universidade desde 2009
S2,6
34
Número médio anual de equipes residentes de incubadoras de empresas e parques
tecnológicos da universidade por 100 membros do
corpo docente
S2,11
F8.
35
Número de programas educacionais implementados no ano do relatório, orientação
inovação
-
empreendedorismo
E2,2
36
Número de publicações da organização indexadas nos sistemas prioritários de
informação e análise de citação científica (Scopus, Web of Science, RISC)
E2,9
37
Número de publicações de citação da organização indexadas nos sistemas prioritários
de informação e análise de citação científica (Scopus, Web of Science, RISC)
E2,10
38
Número de programas da APPE, treinamentos implementados no ano de
referência,
inclusive especialmente ordenados, condizentes com os princípios da EC e utilizando
novas tecnologias da informação no número total de tais programas
E2,3
39
Número de programas internacionais de CE implementados no ano de
referência
E2,4
40
Número de MOOCs desenvolvidos pelo pessoal da universidade implementados no
ano de referência
E2,5
41
Participação de cursos (disciplinas) inovadores para uma determinada universidade
implementados no ano de referência no
número total de disciplinas implementadas
E2,6
42
Número de programas internacionais de CE implementados no ano de referência
E2,7
43
Número de programas criados em cooperação com empresas públicas ou privadas,
incluindo programas de
desenvolvimento profissional implementados no ano de
referência por 1000 alunos
E2,8
F9.
44
Participação dos fundos recebidos pela universidade a partir do uso dos resultados da
atividade intelectual na renda total de uma organização
educacional, %
S3.1
45
Montante dos fundos recebidos através da utilização dos resultados da atividade
intelectual no ano de referência por 100 funcionários
S3,2
46
Montante dos fundos recebidos pela universidade do SIE no ano de referência (em
média)
S3,3
47
Número médio anual de pequenas empresas inovadoras em funcionamento (sociedades
empresariais) estabelecidas na universidade desde 2009
S3,4
48
Receitas provenientes de programas da APPE, formações implementadas no ano de
referência, incluindo encomendas especiais (ativas este ano), correspondentes aos
princípios da CE e utilizando novas tecnologias de informação no rendimento total da
implementação de todos os programas educativos
E3.1
49
Número de prémios no
domínio da inovação atribuídos pelas empresas ou pelo setor
público, agências, fundos
S3,5
F10.
50
Porcentagem de alunos que concluem programas adicionais de educação profissional
E3.2
51
Número de programas premiados de APPE, treinamentos e MOOCs no ano de relatório
E3.4
52
Número de postos de trabalho nas infraestruturas inovadoras criadas e nas entidades
empresariais
S3,6
53
Satisfação do aluno com o uso de tecnologias
inovadoras de aprendizagem no processo
educacional
E3.3
54
Nível de satisfação da SPP, pessoal administrativo com as inovações administrativas
implementadas no domínio da circulação de documentos, comunicação, etc.
А3.1
55
Grau de satisfação dos
utilizadores dos serviços de infraestruturas de apoio à
investigação e à inovação empresarial
S3,7
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
9
56
Percentagem de patentes recebidas/submetidas a pedidos
S3,8
57
Índice de conformidade com a qualidade das decisões de gestão na
universidade
А3.2
58
Porcentagem de funcionários universitários que atualizaram suas qualificações nos
programas da universidade para treinar pessoal inovador para as necessidades internas
da universidade e para apoiar processos de inovação no
número total de funcionários
А3.3
59
Parcela de pessoal orientado para a inovação treinado e avançado para pequenas e
médias empresas inovadoras com base nos programas da universidade para o número
total de graduados
E3,5
Fonte: Elaborado pelos autores
Com base nos resultados da pesquisa, testou-se a consistência das opiniões dos
especialistas sobre a significância dos indicadores com o coeficiente de variação. Como
resultado, as opiniões dos peritos são consideradas coerentes e os indicadores propostos são
avaliados como importantes. Além disso, por uma questão de conveniência de cálculos
adicionais, os indicadores foram combinados em grupos agregados que caracterizam o nível de
desenvolvimento das atividades inovadoras da universidade nos estágios de "renda" – cultura e
política de inovação (Ф1), a prontidão do pessoal para a atividade inovadora (Ф2), capacidade
de recursos financeiros (Ф3), material e equipamento técnico (Ф4); "processo"
– conexões com
o ambiente não acadêmico / pa
rcerias (Ф5), capacidade de levantar fundos de forma
independente (F6), processo de criação de um produto inovador (Ф7), o processo de criação de
um produto educacional inovador (Ф8); "resultado"
–
efeitos econômicos (Ф9), efeitos não
econômicos (Ф10) (Fig
. 2).
Figura 1 –
Valores médios da avaliação pericial da importância das IGA do nível de
desenvolvimento da atividade inovadora da universidade
Fonte: Elaborado pelos autores
Os resultados da avaliação pericial apoiam a importância dos indicadores propostos e
permitem formular a hipótese H3. As pontuações médias somadas dos indicadores sobre os
fatores que afetam o desenvolvimento da atividade de inovação na universidade sugerem que o
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
10
fator mais importante, de acordo com especialistas, é "Conexões com o ambiente não
acadêmico, parcerias". Entre os fatores de maior importância (significância) estão também
"Capacidade de angariar fundos de forma independente" e "Cultura e política de inovação".
Os dados obtidos no inquérito quantitativo podem ser divididos em três grupos: valores
de avaliação do nível ideal (óptimo) dos indicadores propostos, valores de avaliação do nível
real dos indicadores e coeficientes de desenvolvimento da atividade inovadora (K, que são a
razão entre o estado real avaliado do nível de desenvolvimento da inovação e o ideal), que dão
a oportunidade de examinar o fosso entre o estado de desenvolvimento desejado e o estado atual
da atividade inovadora (Quadro 2).
Tabela 2 –
Valores calculados dos coeficientes de desenvolvimento para cada indicador de
desenvolvimento da inovação a exemplo da FEFU, 2019
Código
А
1.
1
А
1.
2
А
1.
3
А
2.
1
А
2.
2
А
2.
3
А
3.
1
А
3.
2
А
3.
3
E1
,1
E1
.2
E.
3
E
1,
4
E
1,
5
E
1,
6
E
1,
7
E
1,
8
E
2.
1
E
2,
2
E
2,
3
Média
aritméti
ca do
escore
de ponto
ideal (de
1 a 7)
6.
1
4.
9
5.
2
6.
2
6.
2
6.
0
6.
2
6.
3
5.
6
6.
4
5.
9
5.
9
6.
7
6.
6
6.
0
6.
0
6.
1
5.
9
5.
4
5.
6
Média
aritméti
ca do
escore
do
estado
real (de
1 a 7)
2.
6
2.
7
2.
9
3.
9
3.
8
2.
6
3.
3
2.
7
2.
9
3.
3
3.
2
3.
0
4.
2
4.
3
3.
5
3.
3
3.
2
2.
7
2.
7
2.
8
Coefici
ente de
desenvo
lviment
o K por
indicad
or
0.
4
3
0.
5
6
0.
5
6
0.
6
3
0.
6
2
0.
4
4
0.
53
0.
4
2
0.
5
1
0.
52
0.
54
0.
5
0.
6
3
0.
6
5
0.
5
7
0.
5
5
0.
5
2
0.
4
5
0.
5
0.
4
9
Código
E
2,
4
E
2,
5
E
2,
6
E
2,
7
E
2,
8
E
2,
9
E2
,1
0
E
3.
1
E
3.
2
E3
.3
E3
.4
E
3,
5
S
1,
1
S
1,
2
S
1,
3
S
1,
4
S
1,
5
S
1,
6
S
1,
7
S
1,
8
Média
aritméti
ca do
escore
de ponto
ideal (de
1 a 7)
5.
7
5.
7
5.
7
5.
2
5.
6
6.
0
6.
2
5.
6
6.
0
6.
4
6.
2
5.
8
6.
2
5.
9
5.
1
6.
0
5.
7
6.
5
6.
5
6.
4
Média
ari
tméti
2.
5
2.
4
2.
8
2.
7
2.
8
3.
2
2.
8
2.
5
3.
2
3.
1
2.
6
2.
4
3.
1
2.
9
3.
0
3.
3
4.
1
3.
1
3.
3
2.
7
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
11
ca do
escore
do
estado
real (de
1 a 7)
Coefici
ente de
desenvo
lviment
o K por
indicad
or
0.
4
4
0.
4
2
0.
5
0.
5
3
0.
5
0.
5
4
0.
46
0.
4
5
0.
5
3
0.
49
0.
42
0.
4
2
0.
5
0.
5
0.
5
8
0.
5
4
0.
7
2
0.
4
8
0.
5
0.
4
2
Código
S
2,
1
S
2,
2
S
2,
3
S
2,
4
S
2,
5
S
2,
6
S2
,7
S
2,
8
S
2,
9
S2
,1
0
S2
,1
1
S
3.
1
S
3,
2
S
3,
3
S
3,
4
S
3,
5
S
3,
6
S
3,
7
S3,8
Média
aritméti
ca do
escore
de ponto
ideal (de
1 a 7)
5.
8
5.
7
5.
9
5.
9
5.
9
6.
1
5.
9
5.
6
5.
6
5.
7
5.
7
5.
6
6.
3
6.
0
5.
8
5.
8
5.
9
5.
8
6.1
Média
aritméti
ca do
escore
do
estado
real (de
1 a 7)
2.
5
3.
3
2.
7
2.
7
3.
0
2.
9
3.
0
3.
3
2.
7
2.
6
3.
4
2.
1
2.
3
2.
4
2.
6
2.
9
3.
9
2.
3
2.6
Coefici
ente de
desenvo
lviment
o K por
indicad
or
0.
4
3
0.
5
7
0.
4
5
0.
4
5
0.
5
0.
4
8
0.
5
0.
5
8
0.
4
9
0.
47
0.
6
0.
3
7
0.
3
6
0.
4
0.
4
5
0.
5
0.
6
7
0.
3
9
0.43
Fonte: Avaliação dos respondentes da atividade de inovação (de 1 a 7) em geral – 3,62; em pesquisa
científica – 3,5; educacional – 3,57; administrativo – 3.43
Os dados coletados foram processados por meio de instrumentos padrão Excel e com
um pacote adicional de instrumentos analíticos. O coeficiente de variação calculado está dentro
da norma (até 33%). Globalmente, a avaliação média do nível factual dos indicadores
considerados é inferior ao valor-limiar (4). No entanto, as avaliações médias dos valores
"ideais" do indicador também não atingem a pontuação mais alta (7). Deve-se ressaltar que, em
todos os casos, o valor de
K
é inferior a 1, na maioria das vezes até menor que 0,5, o que sugere
uma estimativa bastante baixa de indicadores de atividade inovadora na universidade
examinada.
A análise de correlação de todos os três grupos de dados revela conexões consideráveis
en
tre os indicadores dentro das direções consideradas de atividade, o que se repete na maioria
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
12
das vezes com apenas a força da conexão variando. Ressalta-se que as conexões são mais
observadas
dentro dos subgrupos
, o que confirma a acurácia da escolha dos indicadores para
caracterizar cada uma das direções consideradas. Enquanto isso, as correlações entre
indicadores de várias direções também não podem ser completamente descartadas (Tabela 3).
Por exemplo, quanto maior a diferença entre o valor ideal e o valor real do indicador А1.1 (o
uso das vantagens legais de uma universidade "empreendedora"), maior a diferença entre o
valor ideal e real do indicador S1.2 (desenvolvimento da cultura empreendedora na
universidade) (r = 0,43). A mesma conexão é encontrada entre os coeficientes de
desenvolvimento i
novador А1.2 (a parcela de pessoal administrativo envolvido em processos
inovadores na universidade) e E1.3 (a participação de fundos no orçamento para o
desenvolvimento de inovações em atividades educacionais), r = 0,30. O desvio do indicador А
3.3 (treinamento avançado de pessoal inovador para as necessidades internas da universidade)
do ideal afeta o desvio dos indicadores E2.3 e E3.5 – o número de programas/módulos
inovadores e a graduação de "pessoal inovador" (r = 0,41 e 0,33, respectivamente).
O
afa
stamento do valor ideal do indicador А3,2 (índice de correspondência da qualidade
das decisões gerenciais tomadas) afeta a lacuna com o valor ideal do indicador E3,4
(reconhecimento externo dos produtos educacionais da universidade), r = 0,32. Detecta-se uma
ligação perceptível entre a saturação de programas educacionais com cursos/módulos
"inovadores" (E2.3), bem como o número de pessoal orientado para a inovação formado (E3.5)
(coeficiente de correlação 0,50) e a capacidade de financiamento independente da investigação
científica (S2.1) (r = 0.35). Os achados acima descritos comprovam a influência das inovações
administrativas em outras direções da atividade inovadora da universidade.
Tabela 3
–
Correlação entre os
coeficientes de desenvolvimento
de alguns indicadores de
pesquisa administrativa, educacional e científica da atividade inovadora de uma universidade
Código
А1.1
А1.2
А3.2
А3.3
E2,3
E3,5
E1,3
0,30
E2,3
0,41
E3,4
0,32
E3,5
0,33
S1,2
0,43
S2,1
0,35
0,33
Fonte: Elaborado pelos autores
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
13
O mesmo se aplica à relação entre os coeficientes de desenvolvimento inovador 1,2 (a
percentagem de pessoal administrativo envolvido em processos inovadores na universidade) e
E1,3 (a dimensão do orçamento para o desenvolvimento de inovações nas atividades
educativas), r = 0,30. A diferença do indicador A3.3 (formação avançada de pessoal inovador
para as necessidades internas da universidade) em relação ao valor ideal afeta o desvio dos
indicadores E2.3 e E3.5 – o número de programas/módulos inovadores e a produção de "pessoal
inovador" (r = 0,41 e 0,33, respectivamente). O desvio do valor ideal do indicador А3,2 (índice
de correspondência da qualidade das decisões gerenciais tomadas) influencia o desvio do
indicador E3,4 (reconhecimento externo dos produtos educacionais da universidade), r = 0,32
(Tabela 3). Encontra-se uma relação considerável entre a saturação de programas educacionais
com cursos/módulos "inovadores" (E2.3), bem como o número de pessoal orientado para a
inovação treinado (E3.5) (coeficiente de correlação 0,50) e a capacidade de financiamento
independente da pesquisa científica (S2.1) (r = 0,35). Os resultados acima descritos confirmam
a influência das inovações administrativas em outras direções na atividade inovadora de uma
universidade (Н2).
Uma série de ligações consideráveis entre indicadores também são detectados dentro de
cada direção (pesquisa científica, educacional e administrativa), no entanto, eles são mais
evidentes nas IGs (Tabela 4).
Tabela 4
– Cálculo dos coeficientes de correlação entre
os coeficientes de desenvolvimento de
atividades inovadoras da universidade nas IGA
Coeficiente de
correlação
0,1 — 0,3
0,3 — 0,5
0,5 — 0,7
0,7 — 0,9
0,9 — 0,99
Conexão
fraco
moderado
Perceptível
alto
muito alto
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
14
Cor
-
-
Fonte: Elaborado pelos autores
Os dados apresentados na tabela sugerem que todas as IGs consideradas são
significativas. A força da conexão está ficando mais forte. As IGA de "renda" e "processo" têm
uma influência considerável sobre os indicadores de "resultado", o que sugere que não podem
ser ignoradas na avaliação da atividade inovadora da universidade.
Com base nos dados da Tabela 4, podemos notar a relação entre atividades
administrativas, de pesquisa e educacionais inovadoras: o uso das vantagens de uma
un
iversidade empreendedora pela universidade (Ф
А1
) está associado ao grau de preparação de
pessoal inovador para a esfera da
pesquisa científica
(Ф
S2
), coeficiente de correlação (doravante
r
) é igual a 0,32; o nível de financiamento para a atividade
educativa
inovadora (Ф
E3
) está
ligado ao nível de envolvimento do
pessoal administrativo
em atividades inovadoras (Ф
А2
), r =
0,30.
Na direção da atividade educacional, podemos notar uma conexão significativa entre o
desvio do valor ideal do indicador Ф
E1
(política inovadora) e os indicadores Ф E3 (nível de
financiamento para a direção) e Ф E5 (parcerias), bem como Ф
E9
(efeitos não econômicos), r =
0,60, 0,73 e 0,64, respectivamente.
Na direção da atividade de pesquisa científica, observa-se uma conexão (r = 0,46) entre
Ф
S3
(financiamento orçamentário para a direção) e Ф
S6
(capacidade de atrair financiamento
para a atividade de forma independente), ou seja, o financiamento orçamentário aqui atua
como uma garantia da confiabilidade e "competência" de uma determinada universidade na
realização de pesquisa científica e tecnológica de alto nível, o que contribui ainda mais para a
atração de financiamento de extraorçamentária Fontes. Descobriu-se uma forte ligação entre
Ф S7 (caracterizado por indicadores da organização do processo de inovação) e Ф
S9
e Ф
S10
(efeitos não econômicos e econômicos das atividades de inovação), r = 0,78 e 0,77,
respectivamente.
Na direção educacional da inovação, uma influência especial sobre o "processo" e o
"
resultado" é produzida pela política de inovação no campo da educação (Ф
E1
) (contém os
indicadores previamente identificados), cuja elaboração de alta qualidade aumenta o nível de
intensidade das parcerias (Ф
E5
), bem como contribui para o desenvolvimento de processos
inovadores (Ф
E8
) e afeta o resultado (resultado) (Ф
E9
), que influencia o efeito econômico da
atividade inovadora. Isso confirma a hipótese Н3: o nível de desenvolvimento de parcerias tem
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
15
um efeito considerável no nível de organização do processo de criação de produtos inovadores
na universidade e nos resultados da atividade inovadora.
No decorrer do estudo, os entrevistados avaliaram o nível de desenvolvimento da
atividade inovadora da universidade em geral e nas três direções específicas. Com base nos
dados obtidos, foram calculadas correlações pareadas.
Tabela 5 –
Análise de correlação do grau de conexão entre o nível de desenvolvimento da
atividade de inovação na universidade como um todo e suas principais direções no exemplo
da FEFU, 2019
Direção da atividade de
inovação da universidade
Atividade de
inovação da
universidade
como um
todo
Atividade de
inovação
científica/de
investigação
Atividade de
inovação
educacional
Atividade de
inovação
administrativa
Atividade de inovação da
universidade como um todo
1.00
Atividade de inovação
científica/de investigação
0.69
1.00
Atividade de inovação
educacional
0.51
0.42
1.00
Atividade de inovação
administrativa
0.56
0.47
0.46
1.00
Fonte: Compilado pelo autor de acordo com os dados da pesquisa do questionário
O coeficiente de correlação do nível geral de desenvolvimento da atividade de inovação
com a atividade científica é de 0,69; com atividade educativa – 0,51; com atividade
administrativa – 0,56.
A análise da correlação entre a avaliação dos entrevistados sobr
e o estado "geral" da
atividade de inovação da universidade e suas principais direções comprova a associação
substancial entre essas direções, o que significa que nenhuma delas pode ser excluída da
avaliação da atividade inovadora da universidade. Isso comprova a hipótese H1: o nível de
desenvolvimento da atividade inovadora da universidade depende do grau de desenvolvimento
de suas principais direções – pesquisa científica, educacional e administrativa – mas não na
mesma medida. A ligação entre a direção administrativa da atividade inovadora e as atividades
inovadoras de ensino e investigação científica é mais forte do que a ligação entre as duas
últimas. Esta constatação e a força e natureza das associações entre as IGA dos coeficientes de
desenvolvimento das atividades administrativas e outras atividades inovadoras confirmam o
ponto 2: a atividade de inovação administrativa tem um impacto significativo nas áreas de
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
16
investigação e educação da atividade de inovação, bem como no nível de desenvolvimento da
atividade de inovação em geral.
Discussão
Teóricos e profissionais no campo da pesquisa sobre a atividade inovadora das
universidades concordam que, ao contrário do ambiente de negócios, na esfera do ensino
superior, é impossível avaliar rapidamente o efeito da transformação dos processos
educacionais ou de pesquisa. Além disso, não é costume falar de sucessos gerenciais no
ambiente universitário, ao contrário, por exemplo, de conquistas científicas (VOLIANSKAIA,
2019).
Os resultados obtidos dão razão para supor que existe uma ligação entre os baixos
indicadores resultantes da atividade inovadora das universidades russas e as lacunas na cadeia
de apoio às atividades de inovação (nas fases de "renda" e "processo"), bem como uma política
de inovação não desenvolvida na direção educacional e administrativa e a falta de conexão entre
as principais direções da atividade de inovação, o que é apoiado pelos resultados de estudos
anteriores de nós e de outros autores (EFREMOVA; ROMANOVA, 2016; GOKHBERG;
ROUD, 2016; RVC, 2015).
A aprovação do modelo proposto e do sistema de indicadores do nível de
desenvolvimento da atividade inovadora da universidade confirmam as hipóteses apresentadas.
Ao mesmo tempo, a limitação da metodologia de pesquisa apresentada é a avaliação do método
baseado na avaliação subjetiva dos respondentes. Essa desvantagem é eliminada por meio da
inclusão de itens do questionário para a autoavaliação dos respondentes de seu envolvimento
em atividades inovadoras. Uma limitação adicional deste estudo é a abordagem dos autores para
a compreensão de uma "universidade inovadora". Neste trabalho, empregamos a abordagem de
I.V. Abankina
et al
. (2013), sob o qual as universidades russas são divididas em clusters com
base em sua eficiência científica e educacional e potencial inovador. Diante disso, acreditamos
que a metodologia de pesquisa seja aplicável apenas às universidades incluídas nos clusters de
"Líderes científico-educacionais potenciais e reais", "Universidades em situação regular" e,
parcialmente, ao cluster "Líderes de mercado".
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
17
Conclusão
O presente estudo:
1.
desenvolve um modelo e um sistema de indicadores para avaliar o nível de
desenvolvimento das atividades de inovação da universidade nas seguintes áreas: pesquisa,
educacional, administrativa;
2.
identifica 10 IGA em cada direção da atividade, incluindo as fases de rendimento
– processo – resultado, o que permite contabilizar não só o "resultado", mas também o
"processo" e o "potencial" na avaliação da atividade inovadora;
3.
avalia a natureza e a força da influência dos indicadores propostos uns sobre os
outros através do cálculo de correlações pareadas, inclusive em grupos agregados, bem como
nas áreas individuais de atividade de inovação da universidade, particularmente o efeito da
inovação administrativa nas demais áreas de atividade de inovação.
Os resultados da análise de correlação e do cálculo dos dados comprovam a importância
de cada elemento do sistema de indicadores proposto para a avaliação da atividade inovadora
de uma universidade, o que significa que nenhum deles pode ser excluído para a avaliação.
Nesse sentido, o monitoramento como elemento de gestão deve ser administrado em cada etapa
da atividade inovadora da universidade: renda – processo – resultado. A fim de assegurar o
funcionamento da atividade de inovação na universidade, cada fase do processo de inovação
deve ser apoiada pelos objetos de infraestruturas básicas ou inovadoras.
Os principais objetivos da política de inovação da universidade devem ser o reforço da
interação entre elementos do sistema de inovação através da eliminação de lacunas na cadeia
de apoio às atividades de inovação da universidade em todas as direções e o reforço das ligações
entre os subsistemas de controlo responsáveis pelas direções e etapas que tenham um impacto
significativo nos resultados da atividade inovadora da universidade e na sua competitividade
global. A condição de interação entre a estrutura organizacional básica e a infraestrutura de
inovação é um elemento verdadeiramente importante. O desenvolvimento de medidas nesse
sentido pode constituir objeto de investigação adicional.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
18
REFERÊNCIAS
ABANKINA, I. V.
et al.
Tipologiia i analiz nauchno-obrazovatelnoi rezultativnosti
rossiiskikh vuzov [A Typology and Analysis of Russian Universities’ Performance in
Education and Research].
Foresight-Russia
, v. 3, p. 48-63, 2013.
BARBIERI, J. C.; ALVARES, A. C. T. Sixth generation innovation model: Description of a
success model.
Revista de Administração e Inovação
, São Paulo, v. 13, n. 2, p. 88-112,
2016. Disponível em: https://www.revistas.usp.br/rai/article/view/102515. Acesso em: 17 dez.
2022.
CHRISTENSEN, C. M.
Disrupting College
: How Disruptive Innovation Can Deliver Quality
and Affordability to Postsecondary Education. Washington, DC: Center for American
Progress, 2011.
EFREMOVA, P. V. Pokazateli otsenki effektivnosti razvitiia innovatsionnoi deiatelnosti
vuzov [Indicators for assessing the effectiveness of the universities’ innovative activity
development].
Russian Journal of Innovation Economics
, v. 9, n. 3, p. 989-1010, 2019.
EFREMOVA, P. V. Sovershenstvovanie sistemy upravleniia innovatsionnoi deiatelnostiu v
vuze putem formirovaniia innovatsionnoi infrastruktury [Improving the innovation
management system at the university by forming an innovative infrastructure].
Russian
Journal of Innovation Economics
, n. 2, p. 311-326, 2018.
EFREMOVA, P. V.; ROMANOVA, I. M. Osobennosti organizatsii innovatsionnoi
deiatelnosti v vuzakh Rossii [Features of the organization of innovative activities in Russian
HEI].
The bulletin of the Far Eastern Federal University. Economics and Management
,
n. 3, p. 61-75, 2016.
EFREMOVA, P. V.; ROMANOVA, I. M. Otsenka urovnia razvitiia innovatsionnoi
deiatelnosti vuza. Chast 1: obosnovanie i aprobatsiia predlozhennogo podkhoda [Assessment
of the development level of a university's innovative activity. Part 1. Validation and
verification of the proposed approach].
Russian Journal of Innovation Economics
, v. 3, p.
311-326, 2020a.
EFREMOVA, P. V.; ROMANOVA, I. M. Otsenka urovnia razvitiia innovatsionnoi
deiatelnosti vuza. Chast 2: analiz strukturnykh vzaimosviazei mezhdu vnutrennimi
elementami razvitiia innovatsionnoi deiatelnosti vuza [Assessment of the development level
of a university's innovative activity. Part 2. Analysis of structural relationships between
internal elements of university innovation development].
Russian Journal of Innovation
Economics
, n. 4, 2020b.
ETZKOWITZ, H.; LEYDESDORFF, L. The Triple Helix – University-Industry-Government
Relations: A Laboratory for Knowledge Based Economic Development. Rochester, NY:
SSRN, 1995.
FINAL Report of Delphi Study: E3M Project - European Indicators and Ranking
M
ethodology for University Third Mission. n.d. Disponível em:
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
19
https://www.pi.infn.it/~giorgio/INFN/3M/E3M/Delphi-E3M-project.pdf. Acesso em: 10 jan.
2022.
GOKHBERG, L.; ROUD, V. How to design a national innovation system in a time of global
innovation networks: A Russian perspective.
In
:
The Global Innovation Index 2016.
Winning with Global Innovation
. Geneva; Fontainebleau; Ithaca, New York: Cornell
University; INSEAD; WIPO, 2016. p. 159-166.
KRASNICKA, T.; GLOD, W.; WRONKA-POSPIECH, M. Management innovation and its
measurement.
Journal of Entrepreneurship, Management, and Innovation
, v. 12, n. 2, p.
95-122, 2016.
MARINOVA, R.; PHILLIMORE, J. Models of innovation.
In
: SHAVININA, V. (Ed.).
International handbook on innovation
. Oxford: Elsevier Science Ltd., 2003. p. 44-53.
MOTHE, C.; THI, T. U. N. The link between non technological innovations and
technological innovation.
European Journal of Innovation Management
, v. 13, n. 3, p.
313-332, 2010. Disponível em: https://hal.archives-ouvertes.fr/hal-00920069/document.
Acesso em: 13 abr. 2022.
ROTHWELL, R. Towards the fifth-generation innovation process.
International Marketing
Review
, v. 11, n. 1, p. 7-31, 1994. Disponível em:
https://www.emerald.com/insight/content/doi/10.1108/02651339410057491/full/html. Acesso
em: 17 ago. 2021.
RVC. Analiz innovatsionnoi ekosistemy vuzov i nauchnykh tsentrov [Analysis of the
innovative ecosystem of HEIs and research centers]. 2015. Disponível em:
http://www.rusventure.ru/ru/programm/analytics/docs/Innovation_ecosystem_analytical_repo
rt.pdf. Acesso em: 20 set. 2020.
VOLBERDA, H. W.; VAN DEN BOSCH, F. A. J.; HEIJ, C. V. Management innovation:
Management as fertile ground for innovation.
European Management Review
, v. 10, n. 1, p.
1-15, 2013.
VOLIANSKAIA, V. (Ed.).
T - Universitety
[T - Universities]. Skolkovo: Education
Transformation Center of the Moscow School of Management SKOLKOVO, 2019.
Disponível em:
http://www.skolkovo.ru/public/media/documents/research/sedec/SKOLKOVO_SEDeC_T-
universities_ru.pdf. Acesso em: 1 ago. 2020.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
20
Como referenciar este artigo
E
FREMOVA, P. V.; ROMANOVA, I. M.; BELKIN, V. G.; VASILYEVA, L. A. Indicadores
para avaliação do desenvolvimento da atividade inovadora de uma universidade como fator de
competitividade no mercado nacional e internacional.
Nuances Est. Sobre Educ.
, Presidente
Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441. DOI:
https://doi.org/10.32930/nuances.v33i00.9623
Submetido
: 18/04/2022
Revisões requeridas
: 03/06/2022
Aprovado
: 23/09/2022
Publicado
: 10/11/2022
P
rocessamento e editoração: Editora Ibero-Americana de Educação.
Revisão, formatação, normalização e tradução.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
1
INDICATORS FOR ASSESSMENT OF THE DEVELOPMENT OF A UNIVERSITY’S
INNOVATIVE ACTIVITY AS A FACTOR IN ITS COMPETITIVENESS IN THE
NATIONAL AND INTERNATIONAL MARKETS
INDICADORES PARA AVALIAÇÃO DO DESENVOLVIMENTO DA ATIVIDADE
INOVADORA DE UMA UNIVERSIDADE COMO FATOR DE COMPETITIVIDADE NO
MERCADO NACIONAL E INTERNACIONAL
INDICADORES PARA EVALUAR EL DESARROLLO DE LA ACTIVIDAD
INNOVADORA DE UNA UNIVERSIDAD COMO FACTOR DE SU COMPETITIVIDAD
EN LOS MERCADOS NACIONALES E INTERNACIONALES
Polina EFREMOVA
1
Irina ROMANOVA
2
Viktor BELKIN
3
Lyudmila VASILYEVA
4
ABSTRACT
: The main aim of the paper is to reveal the nature and degree of influence of
various indicators defining the level of development of a university’s innovative activity. The
paper presents an approach under which a university's innovative activity is defined by the key
directions of development: scientific research, educational, and administrative. The authors also
argue for the need to evaluate not only the results of a university's innovative activity but also
the process of creation of innovative products and services and innovation potential. As a result
of the conducted research, the authors conclude that some elements of a university's innovative
activity affect it to a greater extent than anticipated, particularly the elements of administrative
innovations, the “process” stage of innovative activity, and interaction with partners.
KEYWORDS:
Assessment of educational innovations. Management innovation. Non-
technological innovations.
RESUMO:
O principal objetivo do artigo é revelar a natureza e o grau de influência de vários
indicadores que definem o nível de desenvolvimento da atividade inovadora de uma
universidade. O artigo apresenta uma abordagem sob a qual a atividade inovadora de uma
universidade é definida pelas principais direções de desenvolvimento: pesquisa científica,
educacional e administrativa. Os autores também defendem a necessidade de avaliar não
apenas os resultados da atividade inovativa de uma universidade, mas também o processo de
1
Far Eastern Federal University, Vladivostok – Russia. PhD, Associate Professor. ORCID: https://orcid.org/0000-
0002-4446-0282. E-mail: efremova.pv@dvfu.ru
2
Far Eastern Federal University, Vladivostok – Russia. Dr of Sciences, Professor. ORCID: https://orcid.org/0000-
0002-8258-9220. E-mail: romanova.im@dvfu.ru
3
Far Eastern Federal University, Vladivostok – Russia. Dr of Sciences, Professor. ORCID: https://orcid.org/0000-
0003-4919-1840. E-mail: belkin.vg@dvfu.ru
4
Far Eastern Federal University, Vladivostok – Russia. Dr of Sciences, Professor. ORCID: https://orcid.org/0000-
0003-0735-6707. E-mail: milav12@mail.ru
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
2
criação de produtos e serviços inovadores e o potencial de inovação. Como resultado da
pesquisa realizada, os autores concluem que alguns elementos da atividade inovativa de uma
universidade a afetam mais do que o previsto, principalmente os elementos das inovações
administrativas, o estágio “processo” da atividade inovativa e a interação com os parceiros.
PALAVRAS-CHAVE:
Avaliação de inovações educacionais. Inovação em gestão. Inovações
não tecnológicas.
RESUMEN:
El objetivo principal del trabajo es revelar la naturaleza y el grado de influencia
de varios indicadores que definen el nivel de desarrollo de la actividad innovadora de una
universidad. El artículo presenta un enfoque bajo el cual la actividad innovadora de una
universidad se define por las direcciones clave del desarrollo: investigación científica,
educativa y administrativa. Los autores también defienden la necesidad de evaluar no solo los
resultados de la actividad innovadora de una universidad, sino también el proceso de creación
de productos y servicios innovadores y el potencial de innovación. Como resultado de la
investigación realizada, los autores concluyen que algunos elementos de la actividad
innovadora de una universidad la afectan en mayor medida de lo previsto, en particular los
elementos de las innovaciones administrativas, la etapa de "proceso" de la actividad
innovadora y la interacción con los socios.
PALABRAS CLAVE:
Evaluación de las innovaciones educativas. Gestión de la innovación.
Innovaciones no tecnológicas.
Introduction
The high pace of transformation of today’s universities, which shape a new landscape
of education and science, necessitates a more adequate assessment of the level of their
innovative activity as the primary factor in universities’ competitiveness in the markets for
educational services, labor, and innovative products and services. The so-called delayed effect
is observed, in which the results of the transformation of research or educational process in the
university cannot be evaluated immediately, which entails the need to assess not only the final
results of innovation but also the innovation process and innovation potential (EFREMOVA,
2018; EFREMOVA; ROMANOVA, 2016).
The theoretical framework of the study is formed by the following theories and
concepts, which are typically considered separately in the study of innovative activity of
universities:
●
the theory of “disruptive innovation”, which suggests that the principal condition of
the “survival” of universities is their adaptation through new formats of providing educational
and other services, the use of new business models, and the enhancement of partnerships, which
is the only way for universities to achieve maximum benefit for society (CHRISTENSEN 2011)
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
3
●
the “triple helix” theory, under which the a university's innovative activity boils down
to scientific research and mediation between business and the state (commercialization of
technology) (ETZKOWITZ; LEYDESDORFF 1995);
●
●
the concept of “lifelong learning”, or “continuing education” (CE), the spirit of
which has been in the air for the entire duration of the existence and development of human
society (Final Report of Delphi Study, n.d.);
●
the concept of “management innovations”, the proponents of which point to the
underestimated value of this kind of innovations, and the most radical followers suggest the
potential soon replacement of the paradigm based on technological innovation by the one with
administrative innovation at its core, creating the conditions for technological, product, and
other innovations (KRASNICKA; GLOD; WRONKA-POSPIECH, 2016; MOTHE; THI,
2010; VOLBERDA; VAN DEN BOSCH; HEIJ, 2013);
●
the theory of evolution of the innovation process proposed by R. Rothwell (1994)
and further developed by other researchers (BARBIERI; ALVARES, 2016) emphasizes the
importance of assessing not only the resources spent (
income
) and the results obtained in
innovative activity (
outcome
), but the very process (
process
) of the 5-6G model. Applied to
universities, the 5G and 6G models presuppose broader interaction with external partners, as
well as the establishment of multidisciplinary teams within subsystems and the intensification
of links between subsystems and the key directions of the university’s activities, the parallel
nature of innovative processes, and the development of an information ecosystem.
From this, it follows that a university's innovative activity should be considered in the
context of the main directions of the institution’s activity: scientific research, educational, and
administrative (Fig. 1).
Figure 1 –
Theoretical justification of the choice of the main directions of a university's
innovative activity
Source: Prepared by the authors
Theoretical frame of innovation activity of the university
Continuing
Education
Disruptive innovation
Management
innovation
5G model
Triple Helix
Main directions of innovation activity of the university
Educational
Scientific (research)
Administrative
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
4
Methods
The goal of the study
is to determine the strength and nature of the influence of
particular elements of a university's innovative activity on the level of development of this
activity as the key factor in the competitiveness of the university at the national and
international level.
Problem statement:
The problem in need of exploration is the need to determine the indicators that affect
the level of development of a university's innovative activity.
The problem that requires a solution is increasing the level of development of a
university's innovative activity (the key factor in its competitiveness at the national and
international levels) by balancing the key directions of innovative activity: scientific research,
educational, and administrative.
In accordance with the outlined research goal, the objectives of the study include:
●
to determine the indicators that affect the level of development of the university’s
innovative activity in the scientific research, educational, and administrative directions;
●
to aggregate indicators by aggregated groups, taking into account the “income-
process-outcome” model;
●
to assess the degree and nature of the mutual influence of the particular elements of
the university’s innovative activity (indicators and aggregated groups of indicators (AGIs)) on
each other and on scientific research, educational, and administrative activities overall.
Proceeding from the outlined theoretical framework and the preceding empirical study
(EFREMOVA, 2019; EFREMOVA; ROMANOVA, 2020a; 2020b), the key research
hypotheses are formulated as follows:
Н1: the level of development of the university’s innovative activity is contingent on the
level of development of innovative activity by its key directions: scientific research,
educational, and administrative, but not to the same degree.
Н2: administrative innovation activity exerts considerable influence on scientific
research and educational innovative activities, as well as on the overall level of development of
innovative activity.
Н3: the level of partner
s
hip development exerts considerable influence on the level of
organization of the process of creating innovative products in the university and on the results
of innovative activity.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
5
Research methods: desk and field research using qualitative (content analysis, expert
survey) and quantitative (survey) data collection methods.
The study was conducted in four stages:
●
desk study: content analysis, formulation of requirements for the model system of
indicators, criteria, and a list of indicators;
●
field study: expert evaluation of the degree of significance of the proposed indicators,
formation of the final list, aggregation of indicators into aggregated groups;
●
field study: a survey of innovation-active employees and students of the university
in order to assess the level of development of innovation activity.
●
processing and interpretation of the data obtained.
The study was conducted at the Far Eastern Federal University in 2019.The study was
conducted at the Far Eastern Federal University in 2019.
The research instruments
employed include:
●
Expert assessment questionnaire. The experts were asked to determine the
degree of importance of each indicator on a ten-point scale (where 1 – absolutely not important,
10 – very important) in order to assess the level of innovation activity of the university (the
threshold value is 5.5). The expert group (10 experts) consisted of Russian and foreign
specialists in the field of university innovation management (EFREMOVA, 2019);
●
Quantitative survey questionnaire. The sample size was 384 people, with a
confidence interval of 5%, which is acceptable for a study in the field of social sciences, and a
95% confidence probability. To ensure the representativeness of the sample, we used the quota
method (non-random quota sampling) in accordance with the existing organizational and
numerical structure of the selected university (EFREMOVA; ROMANOVA, 2020a;2020b).
The survey was conducted among innovation-active individuals from the overall group of the
university’s staff and students who passed the procedure of self-assessment of the level of
involvement in innovative activities. The evaluation model of correspondence of development
of a university's innovative activity to the “ideal point” – expectations of the main interested
parties – was used. Respondents were asked to rate each indicator based on their idea of its
perfect state, as well as in terms of its correspondence to the chosen ideal point. The assessment
was performed on a seven-point scale, where 7 is the highest assessment of the indicator and 1
is the lowest (the threshold value is 4). In addition, of interest was the respondents’ assessment
of the current state of innovative activity in the considered university on the whole.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
6
Data analysis
was performed using the Microsoft Excel spreadsheet processor. Pearson
pair correlation matrices were constructed based on data obtained from the quantitative survey.
Results
To create the system model for the assessment of university innovative activity
development, the following requirements for this activity are introduced: the coverage of the
main activities of the university by the university’s innovative activities in the three planes
(research, educational, administrative) accounting for dynamics in the development of
innovative activity based on the indicators of innovation potential (income), innovative activity
(process), and the results of innovative activity (outcome).
Based on content-analysis of scientific literature, the leading Russian and global
university rankings, and national and global innovation activity rankings, the list of indicators
of a university's innovative activity was formed (Table 1). A total of 59 indicators are proposed
to characterize the innovation potential (income; the code begins with 1), innovative activity
(process; the code begins with 2), and the results of innovative activity (outcome; the code
begins with 3) of the university. Of these, by each direction: 27 indicators of scientific research
activities (Code S); 23 indicators of educational innovative activities (Code E); 9 indicators of
the university’s administrative innovation activity (Code A). The importance of each indicator
was assessed in the expert survey on a ten-point scale.
Table 1 –
Assessment indicators of the university innovative activity development level
AGI
№
Indicator
Code
F1
1
Development of innovative and entrepreneurial activities is enshrined in the
mission and
strategy of the university
S1.1
2
Development of innovative educational activities, including the implementation of the
principles of CE are enshrined in the mission and strategy of the university
E1.1
3
Existence of a quality
assurance process for the CE process
E1.8
4
Usage of the university organizational
-
economic form
-
an autonomous institution
А1.1
5
Presence of procedures for analyzing and optimizing administrative processes in the
university
А2.3
6
University policy allows combining the work of the staff and students at the university
with innovative and entrepreneurial activities, work in business
S1.8
F2.
7
Specific weight of the number of (SPP) without a degree
–
up to 30 years,
candidates of
sciences – up to 35 years, doctors of sciences – up to 40 years, in the total number of NDPs
in the reporting year, %
S1.2
8
Percentage of academic staff who are employed in a non
-
academic environment (main job
or part
-
time job), %
E1.2
9
Motivation system in the university promotes innovative behavior of employees and
increases productivity
S1.3
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
7
10
Share of the university administrative staff involved in the development of innovation and
business activities in the total number of
administrative staff
А1.2
F3.
11
Volume of income from R&D per one scientific and pedagogical worker, thousand rubles
S1.4
12
Share of funds in the budget for the development of innovations in educational activities,
%
E1.3
F4.
13
Share of R&D
performed on their own (without the involvement of co
-
executors) in the
total income of the educational organization from R&D
S1.5
14
Availability and quality of the electronic library at the university
E1.4
15
Number of computers with Internet
access per student/Number of classrooms equipped
with ITT per 1 study group
E1.5
16
Number of University centers in the field of engineering
S1.6
17
Introduction of IT systems that support management decision
-
making processes in the last
5 years
А2.2
18
Implementation of IT systems and other communication tools or methods for gathering
information and knowledge and sharing it with employees (for example, Intranet,
knowledge bases) over the past 5 years
А2.3
F5.
19
Number of companies with
which the university has an agreement on the establishment of
basic departments
E1.6
20
Number of enterprises with which an agreement on cooperation in the field of educational
activity has been signed (for targeted training of specialists)
E1.7
21
Number of established joint laboratories/innovation infrastructure facilities
S1.7
22
Number of joint publications with co
-
authors from the non
-
academic environment in
publications indexed in the priority for the organization of information and analytical
systems of scientific citation (RISC, Scopus, Web of Science)
S2.5
23
Number of R&D sponsorship agreements, contracts, and joint projects with non
-
academic
partners
S2.7
24
Number of contracts for consulting services
S2.8
F6.
25
Share of
R&D funding from extrabudgetary sources
S2.1
26
Number of R&D contracts under which the university attracted funding from
extrabudgetary sources
S2.2
27
Number of APPE, trainings that received external funding in the total number of programs
implemented in APPE, trainings
E2.1
28
Number of grants received for the reporting year per 100 faculty
S2.10
29
Number of university infrastructure development projects that have received external
funding per 100 employees
А2.3
F7.
30
Average
annual number of intellectual property items on the balance of the university
S2.3
31
Average annual number of participants in university programs aimed at developing
entrepreneurship
S2.9
32
Share of research and teaching staff, graduate
students, and undergraduate students
involved in creative associations and innovative projects in the reporting year in the total
number of researcher students, graduate students, and undergraduate students
S2.4
33
Average annual number of
operating small innovative enterprises (business societies)
established at the university since 2009
S2.6
34
Average annual number of resident teams of business incubators and technology parks of
the university per 100 faculty members
S2.11
F8.
35
Number of educational programs implemented in the reporting year, innovation
-
entrepreneurial orientation
E2.2
36
Number of publications of the organization indexed in the priority information and
analytical systems of scientific citation (Scopus, Web
of Science, RISC)
E2.9
37
Number of citation publications of the organization indexed in the priority information
and analytical systems of scientific citation (Scopus, Web of Science, RISC)
E2.10
38
Number of programs of APPE, trainings
implemented in the reporting year, including
specially ordered, consistent with the principles of CE and using new information
technologies in the total number of such programs
E2.3
39
Number of international CE programs implemented in the
reporting year
E2.4
40
Number of MOOCs developed by university staff implemented in the reporting year
E2.5
41
Share of courses (disciplines) innovative for a particular university implemented in the
reporting year in the total number of
disciplines implemented
E2.6
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
8
42
Number of international CE programs implemented in the reporting year
E2.7
43
Number of programs created in cooperation with public or private companies, including
professional development programs implemented in the
reporting year per 1000 students
E2.8
F9.
44
Share of funds received by the university from the use of the results of intellectual activity
in the total income of an educational organization, %
S3.1
45
Amount of funds received through the use of the
results of intellectual activity in the
reporting year per 100 staff
S3.2
46
Amount of funds received by the university from the SIE in the reporting year (on average)
S3.3
47
Average annual number of operating small innovative enterprises
(business societies)
established at the university since 2009
S3.4
48
Income from programs of APPE, trainings
implemented in the reporting year, including
special orders (active this year), corresponding to the principles ofCE and using new
information technologies in the total income from the implementation of all educational
programs
E3.1
49
Number of
awards in the field of innovation awarded by business or the public sector,
agencies, funds
S3.5
F10.
50
Percentage of students completing additional professional education programs
E3.2
51
Number of award
-
winning programs of APPE,
trainings, and MOOCs in the reporting
year
E3.4
52
Number of jobs in the created innovative infrastructure and business entities
S3.6
53
Student satisfaction with the use of innovative learning technologies in the educational
process
E3.3
54
Satisfaction level of SPP, administrative staff with the implemented administrative
innovations in the field of document circulation, communication, etc.
А3.1
55
Degree of satisfaction of the users of infrastructure services supporting research and
entrepreneurial innovation
S3.7
56
Percentage of patents received/submitted applications
S3.8
57
Index of compliance with the quality of management decisions at the university
А3.2
58
Percentage of university staff who have upgraded their
qualifications in the university’s
programs for training innovative personnel for the university’s internal needs and for
supporting innovation processes in the total number of employees
А3.3
59
Share of innovation
-
oriented personnel trained and
advanced for small and medium
-
sized
innovative businesses based on the university’s programs to the total number of graduates
E3.5
Source: Prepared by the authors
Based on survey results, the consistency of expert opinions on the significance of the
indicators was tested with the coefficient of variation. As a result, the opinions of experts are
deemed consistent and the proposed indicators are assessed as important. In addition, for the
sake of convenience of further calculations, the indicators were combined into aggregated
groups characterizing the level of development of the university’s innovative activities at the
stages of “income” –
innovation culture and policy (Ф1), the readiness of staff for innovative
activity (Ф2), financial resource capacity (Ф3), material and technical equipment (Ф4);
“process” – connections with the non-
academic environment/partnerships (Ф5), ability to raise
funds independently (F6), process of creating an innovative product (Ф7), the process of
creating an innovative e
ducational product (Ф8); “outcome”
–
economic effects (Ф9), non
-
economic effects (Ф10) (Fig. 2)
.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
9
Figure 1 –
Average values of expert assessment of the importance of AGIs of the university’s
innovative activity development level
Source: Prepared by the authors
The results of expert assessment support the importance of the proposed indicators and
allow to formulate the H3 hypothesis. The summed average scores of indicators on the factors
affecting the development of innovation activity in the university suggest that the most
important factor, according to experts, is “Connections with the non-academic environment,
partnerships”. Among factors of the greatest importance (significance) are also “Ability to raise
funds independently” and “Innovation culture and policy”.
The data obtained in the quantitative survey can be divided into three groups: assessment
values of the ideal (optimal) level of the proposed indicators, assessment values of the actual
level of the indicators, and innovative activity development coefficients (K, which are the ratio
of the assessed actual state of the level of innovation development to the ideal one), which give
an opportunity to examine the gap between the desired and the current state of development of
innovative activity (Table 2).
Table 2 –
Calculated values of development coefficients for each innovation development
indicator on the example of the FEFU, 2019
Code
А1
.1
А1
.2
А1
.3
А2
.1
А2
.2
А2
.3
А3.
1
А3
.2
А3
.3
E1.
1
E1.
2
E.
3
E1
.4
E1
.5
E1
.6
E1
.7
E1
.8
E2
.1
E2
.2
E2
.3
Arithme
tic mean
of the
ideal
point
score
(from 1
to 7)
6.
1
4.
9
5.
2
6.
2
6.
2
6.
0
6.2
6.
3
5.
6
6.4
5.9
5.
9
6.
7
6.
6
6.
0
6.
0
6.
1
5.
9
5.
4
5.
6
Arithme
tic mean
of the
actual
state
score
2.
6
2.
7
2.
9
3.
9
3.
8
2.
6
3.3
2.
7
2.
9
3.3
3.2
3.
0
4.
2
4.
3
3.
5
3.
3
3.
2
2.
7
2.
7
2.
8
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
10
(from 1
to 7)
Develop
ment
coeffici
ent K
by
indicato
r
0.
43
0.
56
0.
56
0.
63
0.
62
0.
44
0.5
3
0.
42
0.
51
0.5
2
0.5
4
0.
5
0.
63
0.
65
0.
57
0.
55
0.
52
0.
45
0.
5
0.
49
Code
E2
.4
E2
.5
E2
.6
E2
.7
E2
.8
E2
.9
E2.
10
E3
.1
E3
.2
E3.
3
E3.
4
E3
.5
S1
.1
S1
.2
S1
.3
S1
.4
S1
.5
S1
.6
S1
.7
S1
.8
Arithme
tic mean
of the
ideal
point
score
(from 1
to 7)
5.
7
5.
7
5.
7
5.
2
5.
6
6.
0
6.2
5.
6
6.
0
6.4
6.2
5.
8
6.
2
5.
9
5.
1
6.
0
5.
7
6.
5
6.
5
6.
4
Arithme
tic mean
of the
actual
state
score
(from 1
to 7)
2.
5
2.
4
2.
8
2.
7
2.
8
3.
2
2.8
2.
5
3.
2
3.1
2.6
2.
4
3.
1
2.
9
3.
0
3.
3
4.
1
3.
1
3.
3
2.
7
Develop
ment
coeffici
ent K
by
indicato
r
0.
44
0.
42
0.
5
0.
53
0.
5
0.
54
0.4
6
0.
45
0.
53
0.4
9
0.4
2
0.
42
0.
5
0.
5
0.
58
0.
54
0.
72
0.
48
0.
5
0.
42
Code
S2
.1
S2
.2
S2
.3
S2
.4
S2
.5
S2
.6
S2.
7
S2
.8
S2
.9
S2.
10
S2.
11
S3
.1
S3
.2
S3
.3
S3
.4
S3
.5
S3
.6
S3
.7
S3.8
Arithme
tic mean
of the
ideal
point
score
(from 1
to 7)
5.
8
5.
7
5.
9
5.
9
5.
9
6.
1
5.9
5.
6
5.
6
5.7
5.7
5.
6
6.
3
6.
0
5.
8
5.
8
5.
9
5.
8
6.1
Arithme
tic mean
of the
actual
state
score
(from 1
to 7)
2.
5
3.
3
2.
7
2.
7
3.
0
2.
9
3.0
3.
3
2.
7
2.6
3.4
2.
1
2.
3
2.
4
2.
6
2.
9
3.
9
2.
3
2.6
Develop
ment
coeffici
ent K
by
indicato
r
0.
43
0.
57
0.
45
0.
45
0.
5
0.
48
0.5
0.
58
0.
49
0.4
7
0.6
0.
37
0.
36
0.
4
0.
45
0.
5
0.
67
0.
39
0.43
Source: Respondents’ evaluation of innovation activity (from 1 to 7) in general – 3.62; in scientific
research – 3.5; educational – 3.57; administrative – 3.43.
The collected data were processed using standard Excel instruments and with an
additional analytical instrument package. The calculated coefficient of variation falls within the
norm (up to 33%). Overall, the average assessment of the factual level of the considered
indicators is below the threshold value (4). Yet the average assessments of the “ideal” indicator
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
11
values do not reach the highest score either (7). It should be pointed out that in each and every
case, the value of
K
is below 1, most often even lower than 0.5, which suggests a rather low
estimation of innovative activity indicators in the examined university.
Correlation analysis of all three groups of data reveals considerable connections
be
tween indicators within the considered directions of activity, which is repeated most of the
time with only the strength of the connection varying. It should be noted that connections are
mostly observed
within subgroups
, which confirms the accuracy of the choice of indicators to
characterize each of the considered directions. Meanwhile, correlations between indicators of
various directions cannot be completely ruled out either (Table 3). For instance, the greater the
gap between the ideal and actual value of the
А
1.
1 indicator (the use of the legal advantages of
an “entrepreneurial” university), the larger the gap between the ideal and actual value of the
S1.2 indicator (development of entrepreneurial culture at the university) (r = 0.43). The same
connection is found between the coefficients of innovative development
А
1.2 (the share of
administrative staff involved in innovative processes in the university) and E1.3 (the share of
funds in the budget for the development of innovations in educational activities), r = 0.30.
Deviation of the
А
3.3 indicator (advanced training of innovative personnel for the internal
needs of the university) from the ideal affects the deviation of the E2.3 and E3.5 indicators –
the number of innovative programs/modules and the graduation of “innovative personnel” (r =
0.41 and 0.33, respectively).
Departure from the ideal value of the
А
3.2 indicator (index of correspondence of the
quality of managerial decisions made) affects the gap with the ideal value of the E3.4 indicator
(external recognition of the university’s educational products), r = 0.32. A noticeable link is
detected between the saturation of educational programs with “innovative” courses/modules
(E2.3), as well as the number of innovation-oriented staff trained (E3.5) (correlation coefficient
0.50), and the ability for independent funding of scientific research (S2.1) (r = 0.35). The above-
described findings substantiate the influence of administrative innovations on other directions
in the university’s innovative activity.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
12
Table 3
–
Correlation between the
development coefficients
of some indicators of
administrative, educational, and scientific research a university's innovative activity
Code
А1.1
А1.2
А3.2
А3.3
E
2.3
E
3.5
E
1.3
0,30
E
2.3
0,41
E
3.4
0,32
E
3.5
0,33
S
1.2
0,43
S
2.1
0,35
0,33
Source: Prepared by the authors
The same applies to the relationship between the innovative development coefficients
А
1.2 (the share of administrative staff involved in innovative processes in the university) and
E1.3 (the size of the budget for the development of innovations in educational activities), r =
0.30. The difference of the A3.3 indicator (advanced training of innovative personnel for the
internal needs of the university) from the ideal value affects the deviation of the E2.3 and E3.5
indicators – the number of innovative programs/modules and the production of “innovative
personnel” (r = 0.41 and 0.33, respectively). Deviation from the ideal value of the
А
3.2 indicator
(index of correspondence of the quality of managerial decisions made) influences the deviation
of the E3.4 indicator (external recognition of the university’s educational products), r = 0.32
(Table 3). A considerable relationship is found between the saturation of educational programs
with “innovative” courses/modules (E2.3), as well as the number of innovation-oriented
personnel trained (E3.5) (correlation coefficient 0.50) and the ability for independent funding
of scientific research (S2.1) (r = 0.35). The above-described results confirm the influence of
administrative innovations on other directions in a university's innovative activity (
Н
2).
A number of considerable links between indicators are also detected within each
direction (scientific research, educational, and administrative), however, they are more evident
in the AGIs (Table 4).
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
13
Table 4 –
Calculation of the coefficients of correlation between
the coefficients of
development
of innovative activities of the university in the AGIs
Coefficient of
correlation
0,1 — 0,3
0,3 — 0,5
0,5 — 0,7
0,7 — 0,9
0,9 — 0,99
Connection
weak
moderate
noticeable
high
very high
Color
-
-
Source: Prepared by the authors
The data presented in the table suggest that all the considered AGIs are significant. The
strength of the connection is getting stronger. The AGIs of “income” and “process” have a
considerable influence on the indicators of “outcome”, which suggests they cannot be ignored
in the assessment of the university’s innovative activity.
Based on the data in Table 4, we can note the relationship between administrative,
research, and educational innovative activities: the use of the advantages of an entrepreneurial
university by the university (
Ф
А
1
) is associated with the degree of preparation of innovative
staff for the
scientific research
sphere (
Ф
S2
), correlation coefficient (hereinafter
r
) equals 0.32;
the level of funding for innovative
educational
activity (
Ф
E3
) is linked with the level of
engagement of
administrative staff
in innovative activities (
Ф
А
2
), r = 0.30.
In the direction of educational activity, we can note a significant connection between
deviation from the ideal value of the
Ф
E1
indicator (innovative policy) and the
Ф
E3
(level of
funding for the direction) and
Ф
E5
(partnerships) indicators, as well as
Ф
E9
(non-economic
effects), r = 0.60, 0.73, and 0.64, respectively.
In the direction of scientific research activity, a connection (r = 0.46) is observed
between
Ф
S3
(budget financing for the direction) and
Ф
S6
(ability to attract funding for activity
independently), i.e. budget funding here acts as a guarantee of the reliability and “competence”
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
14
of a particular university in conducting high-level scientific and technological research, which
further contributes to the attraction of funding from extrabudgetary sources. A strong link is
discovered between
Ф
S7
(characterized by indicators of the organization of the innovation
process) and
Ф
S9
and
Ф
S10
(non-economic and economic effects of innovation activities), r =
0.78 and 0.77, respectively.
In the educational direction of innovation, a special influence on the “process” and
“outcome” is produced by innovation policy in the field of education (
Ф
E1
) (contains the
previously identified indicators), high-quality elaboration of which increases the level of
intensity of partnerships (
Ф
E5
), as well as contributes to the development of innovative
processes (
Ф
E8
) and affects the result (outcome) (
Ф
E9
), which influences the economic effect of
innovative activity. This confirms the
Н
3 hypothesis: the level of development of partnerships
has a considerable effect on the level of organization of the process of innovative product
creation at the university, and on the results of innovative activity.
In the course of the study, the respondents assessed the level of development of the
university’s innovative activity overall and in the three specific directions. Based on the data
obtained, pairwise correlations were calculated.
Table 5 –
Correlation analysis of the degree of connection between the level of innovation
activity development in the university as a whole and its key directions on the example of the
FEFU, 2019
Direction of innovation
activity of the university
Innovation
activity of the
university as a
whole
Scientific/Research
innovation activity
Educational
innovation
activity
Administrative
innovation
activity
Innovation activity of the
university as a whole
1.00
Scientific/Research innovation
activity
0.69
1.00
Educational innovation
activity
0.51
0.42
1.00
Administrative innovation
activity
0.56
0.47
0.46
1.00
Source: Compiled by the author according to questionnaire survey data
The coefficient of correlation of the general level of development of innovation activity
with scientific activity is 0.69; with educational activity – 0.51; with administrative activity –
0.56.
Analysis of the correlation between the respondents’ assessmen
t of the “overall” state
of the university’s innovation activity and its key directions proves the substantial association
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
15
between these directions, which means that none of them can be excluded from the assessment
of the university’s innovative activity. This proves the H1 hypothesis: the level of development
of the university’s innovative activity depends on the degree of development of its main
directions – scientific research, educational, and administrative, – but not to the same extent.
The connection between the administrative direction of innovative activity and the educational
and scientific research innovative activities is stronger than the link between the last two. This
finding and the strength and nature of associations between the AGIs of development
coefficients of administrative and other innovative activities confirm
Н
2: administrative
innovation activity has a significant impact on the research and educational areas of innovation
activity, as well as on the level of development of innovation activity in general.
Discussion
Theorists and practitioners in the field of research on the innovative activity of
universities agree unlike the business environment, in the sphere of higher education, it is
impossible to quickly assess the effect of transformation of educational or research processes.
In addition, it is not customary to talk about managerial successes in the university environment,
unlike, for example, about scientific achievements (VOLIANSKAIA, 2019).
The obtained results give reason to assume that there is a link between the low resulting
indicators of innovative activity of Russian universities and gaps in the chain of support for
innovation activities (at the “income” and “process” stages), as well as an undeveloped
innovation policy in the educational and administrative direction and the lack of connection
between the main directions of innovation activity, which is supported by the results of earlier
studies by us and other authors (EFREMOVA; ROMANOVA, 2016; GOKHBERG; ROUD,
2016; RVC, 2015).
Approbation of the proposed model and the system of indicators of the level of
de
velopment of the university’s innovative activity confirm the hypotheses put forward. At the
same time, the limitation of the presented research methodology is the method assessment based
on the subjective evaluation of respondents. This drawback is eliminated through the inclusion
of questionnaire items for the respondents’ self-assessment of their involvement in innovative
activities. An additional limitation of this study is the authors' approach to the understanding of
an “innovative university”. In this work, we employed the approach of I.V. Abankina
et al
.
(2013), under which Russian universities are divided into clusters based on their scientific and
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
16
educational efficiency and innovative potential. In view of this, we believe the research
methodology to be applicable only to the universities included in the clusters of “Potential and
real scientific-educational leaders”, “Universities in good standing”, and partially the “Market
leaders” cluster.
Conclusion
The present study:
1.
develops a model and a system of indicators to assess the level of development
of innovation activities of the university in the following areas: research, educational,
administrative;
2.
identifies 10 AGIs in each direction of activity, including the income – process
– outcome stages, which allows to account not only for the “result” but also for the “process”
and “potential” in assessing innovative activity;
3.
assesses the nature and strength of influence of the proposed indicators on one
another through the calculation of pairwise correlations, including in aggregated groups, as well
as in the individual areas of innovation activity of the university, particularly the effect of
administrative innovation on the remaining areas of innovation activity.
The results of correlation analysis and the calculation of data prove the importance of
each element of the proposed system of indicators for assessing a university's innovative
activity, which means that none of them can be excluded for the assessment. In this regard,
monitoring as an element of management has to be administered at each stage of the university’s
innovative activity: income – process – outcome. In order to ensure the functioning of
innovation activity in the university, each stage of the innovation process should be supported
by the basic or innovative infrastructure objects.
The main objectives of the innovation policy of the university should be enhan
cement
of interaction between elements of the innovation system through the elimination of gaps in the
chain of support for innovation activities of the university in all directions and reinforcement
of connections between the controlling subsystems responsible for the directions and stages that
have a significant impact on the results of the university’s innovative activity and its overall
competitiveness. The condition of interaction between the basic organizational structure and
the innovation infrastructure is a truly important element. The development of measures in this
direction can constitute the subject of further research.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
17
REFERENCES
ABANKINA, I. V.
et al.
Tipologiia i analiz nauchno-obrazovatelnoi rezultativnosti
rossiiskikh vuzov [A Typology and Analysis of Russian Universities’ Performance in
Education and Research].
Foresight-Russia
, v. 3, p. 48-63, 2013.
BARBIERI, J. C.; ALVARES, A. C. T. Sixth generation innovation model: Description of a
success model.
Revista de Administração e Inovação
, São Paulo, v. 13, n. 2, p. 88-112,
2016. Available in: https://www.revistas.usp.br/rai/article/view/102515. Access in: 17 Dec.
2022.
CHRISTENSEN, C. M.
Disrupting College
: How Disruptive Innovation Can Deliver Quality
and Affordability to Postsecondary Education. Washington, DC: Center for American
Progress, 2011.
EFREMOVA, P. V. Pokazateli otsenki effektivnosti razvitiia innovatsionnoi deiatelnosti
vuzov [Indicators for assessing the effectiveness of the universities’ innovative activity
development].
Russian Journal of Innovation Economics
, v. 9, n. 3, p. 989-1010, 2019.
EFREMOVA, P. V. Sovershenstvovanie sistemy upravleniia innovatsionnoi deiatelnostiu v
vuze putem formirovaniia innovatsionnoi infrastruktury [Improving the innovation
management system at the university by forming an innovative infrastructure].
Russian
Journal of Innovation Economics
, n. 2, p. 311-326, 2018.
EFREMOVA, P. V.; ROMANOVA, I. M. Osobennosti organizatsii innovatsionnoi
deiatelnosti v vuzakh Rossii [Features of the organization of innovative activities in Russian
HEI].
The bulletin of the Far Eastern Federal University. Economics and Management
,
n. 3, p. 61-75, 2016.
EFREMOVA, P. V.; ROMANOVA, I. M. Otsenka urovnia razvitiia innovatsionnoi
deiatelnosti vuza. Chast 1: obosnovanie i aprobatsiia predlozhennogo podkhoda [Assessment
of the development level of a university's innovative activity. Part 1. Validation and
verification of the proposed approach].
Russian Journal of Innovation Economics
, v. 3, p.
311-326, 2020a.
EFREMOVA, P. V.; ROMANOVA, I. M. Otsenka urovnia razvitiia innovatsionnoi
deiatelnosti vuza. Chast 2: analiz strukturnykh vzaimosviazei mezhdu vnutrennimi
elementami razvitiia innovatsionnoi deiatelnosti vuza [Assessment of the development level
of a university's innovative activity. Part 2. Analysis of structural relationships between
internal elements of university innovation development].
Russian Journal of Innovation
Economics
, n. 4, 2020b.
ETZKOWITZ, H.; LEYDESDORFF, L. The Triple Helix – University-Industry-Government
Relations: A Laboratory for Knowledge Based Economic Development. Rochester, NY:
SSRN, 1995.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022021, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
18
FINAL Report of Delphi Study: E3M Project - European Indicators and Ranking
Methodology for University Third Mission. n.d. Available in:
https://www.pi.infn.it/~giorgio/INFN/3M/E3M/Delphi-E3M-project.pdf. Access in: 10 Jan.
2022.
GOKHBERG, L.; ROUD, V. How to design a national innovation system in a time of global
innovation networks: A Russian perspective.
In
:
The Global Innovation Index 2016.
Winning with Global Innovation
. Geneva; Fontainebleau; Ithaca, New York: Cornell
University; INSEAD; WIPO, 2016. p. 159-166.
KRASNICKA, T.; GLOD, W.; WRONKA-POSPIECH, M. Management innovation and its
measurement.
Journal of Entrepreneurship, Management, and Innovation
, v. 12, n. 2, p.
95-122, 2016.
MARINOVA, R.; PHILLIMORE, J. Models of innovation.
In
: SHAVININA, V. (Ed.).
International handbook on innovation
. Oxford: Elsevier Science Ltd., 2003. p. 44-53.
MOTHE, C.; THI, T. U. N. The link between non technological innovations and
technological innovation.
European Journal of Innovation Management
, v. 13, n. 3, p.
313-332, 2010. Available in: https://hal.archives-ouvertes.fr/hal-00920069/document. Access
in: 13 Apr. 2022.
ROTHWELL, R. Towards the fifth-generation innovation process.
International Marketing
Review
, v. 11, n. 1, p. 7-31, 1994. Available in:
https://www.emerald.com/insight/content/doi/10.1108/02651339410057491/full/html. Access
in: 17 Aug. 2021.
RVC. Analiz innovatsionnoi ekosistemy vuzov i nauchnykh tsentrov [Analysis of the
innovative ecosystem of HEIs and research centers]. 2015. Available in:
http://www.rusventure.ru/ru/programm/analytics/docs/Innovation_ecosystem_analytical_repo
rt.pdf. Access in: 20 Sept. 2020.
VOLBERDA, H. W.; VAN DEN BOSCH, F. A. J.; HEIJ, C. V. Management innovation:
Management as fertile ground for innovation.
European Management Review
, v. 10, n. 1, p.
1-15, 2013.
VOLIANSKAIA, V. (Ed.).
T - Universitety
[T - Universities]. Skolkovo: Education
Transformation Center of the Moscow School of Management SKOLKOVO, 2019. Available
in:
http://www.skolkovo.ru/public/media/documents/research/sedec/SKOLKOVO_SEDeC_T-
universities_ru.pdf. Access in: 1 Aug. 2020.
image/svg+xml
Nuances Est. Sobre Educ.
, Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441
DOI: https://doi.org/10.32930/nuances.v33i00.9623
19
How to reference this article
E
FREMOVA, P. V.; ROMANOVA, I. M.; BELKIN, V. G.; VASILYEVA, L. A. Indicators
for assessment of the development of a university’s innovative activity as a factor in its
competitiveness in the national and international markets.
Nuances Est. Sobre Educ.
,
Presidente Prudente, v. 33, n. 00, e022022, 2022. e-ISSN: 2236-0441. DOI:
https://doi.org/10.32930/nuances.v33i00.9623
Submitted
: 18/04/2022
Required revisions
: 03/06/2022
Approved
: 23/09/2022
Published
: 10/11/2022
P
rocessing and publication by the Editora Ibero-Americana de Educação.
Correction, formatting, standardization and translation.