TCC finalizado, apresentado e aprovado!!
agora é só correr pro abraço...


Agora vou ver se consigo atualizar mais frequentemente isso daqui!

Primeira tela besta do meu jogo de damas com realidade aumentada =). Tá horrível, mas a idéia vai ser mais ou menos esta.
Não está funcional ainda, pois, estou baixando a Nokia UI API para conseguir ter acesso direto ao array de bytes da câmera sem ter que tirar um snapshot.
Aparelho: Nokia 5800 XpressMusic
Aplicativo do "print-screen": ScreenSnap
Desenho do tabuleiro: minha namorada :)

Segue um texto sobre Realidade Aumentada e Virtual que achei numa revista da PUCRS:

"No filme Matrix, máquinas conectam seres humanos a programas de computador que simulam uma realidade virtual, fazendo com que as pessoas vivenciem experiências utilizando todos os seus sentidos, não tendo noção da sua verdadeira condição. O cenário é surreal, mas teoricamente não é tão absurdo. A realidade virtual está ganhando espaço e se desenvolvendo, tornando o virtual cada vez mais real, mas felizmente para usos positivos e bem humanos. As máquinas não são vilãs, mas ferramentas.

O conceito de Realidade Virtual (RV) varia entre os pesquisadores, mas pode-se dizer que são representações tridimensionais mais próximas da realidade do usuário, que permitem interação em tempo real, rompendo a barreira da tela do computador.
Essa tecnologia está sendo usada em várias áreas. Na indústria do entretenimento é um prato cheio. Um exemplo é o videogame Wii, da Nintendo, comercializado desde 2006. O seu controle, além de não ter fio, detecta movimentos em três dimensões permitindo inclusive jogar uma partida de tênis movimentando o braço inteiro, e não só os dedos, como nos videogames tradicionais. No dia 1° de junho a Microsoft anunciou o novo modelo do videogame Xbox, que promete ser ainda mais revolucionário que o Wii. Para jogar não será necessário utilizar nenhum controle, apenas os movimentos do próprio corpo. A previsão é de que a novidade seja lançada no mercado em 2010. A Realidade Virtual também está sendo usada em projetos de automóveis, treinamento (como simulações de voo), teleconferências em 3D, na engenharia, medicina, educação, visualização de dados científicos, comércio eletrônico e em projetos militares, entre outras áreas.

Há também a Realidade Aumentada (RA), que integra o virtual com o real, parecendo um ambiente único. Nela há uma melhoria do mundo real com textos, imagens e objetos virtuais gerados por computador. No Brasil a Chevrolet recentemente criou uma campanha de publicidade em que o internauta coloca um anúncio do Vectra, publicado numa revista, na frente de uma webcam. Na tela do computador ele pode simular que está dirigindo o carro, usando a revista como volante.
Segundo a professora Liliane Machado, da Universidade Federal da Paraíba, há alguns anos havia certo preconceito com relação a projetos de realidade virtual voltados à saúde, mas com o avanço das tecnologias o quadro tem se alterado. "A saúde precisa muito dos nossos serviços. Algumas áreas da medicina não funcionam mais sem computador", observa.

Além de auxiliar na realização de exames cada vez mais precisos e sua visualização, a RV pode ser usada no treinamento de profissionais da saúde, fazendo simulações de procedimentos sem riscos para pacientes e preparando os alunos técnica e psicologicamente para atuarem. Em alguns casos os estudantes podem saber se estão aprendendo por meio de escores para cada procedimento correto ou errado realizado, por exemplo.

As possibilidades de uso não param por aí. A RV também pode ser usada para simular os efeitos de medicamentos no corpo humano, tratamento de fobias, reabilitação em fisioterapia, reabilitação de pessoas com sequelas de AVC (funções cognitivas básicas), telemedicina, jogos educacionais para crianças sobre hábitos saudáveis e simulação de exames invasivos, entre outros.

A professora Liliane destaca que a tecnologia permite a diminuição de custos em treinamentos, mas não pretende substituir profissionais nem procedimentos reais. "Não se quer tirar o lugar de ninguém, estamos desenvolvendo ferramentas para aprimorar o ensino e o trabalho dos profissionais da saúde", ressalta.

"É impossível formar uma criança de hoje com técnicas ultrapassadas, da mesma maneira que os nossos avós estudavam, e é exatamente assim que o nosso ensino funciona, usando métodos arcaicos. As Realidades Virtual e Aumentada são um excelente investimento na melhora da formação", afirma o professor Edgard Lamounier, da Universidade Federal de Uberlândia.

Segundo o professor, os estudantes aprendem mais quando controlam a aprendizagem, integrando pensamento e ação, e isso é possível com o uso da Realidade Virtual, criando ferramentas que possam complementar o trabalho do professor. "A inclusão de processos cognitivos e pedagógicos dentro dos ambientes virtuais ainda está embrionária. É importante a parceria com profissionais da educação para o desenvolvimento dessas ferramentas", observa.

Outro problema encontrado nessa área é o medo, por parte de professores, de utilizarem a tecnologia ou até de serem substituídos, além de questões físicas que ainda precisam ser contornadas. Problemas como fadiga crônica, naúsea após longo tempo de uso dos equipamentos de RV são comuns.

Mesmo assim, a tecnologia voltada para a educação está cada vez mais barata, podendo ser usada como alternativa para tornar atividades de ensino mais atraentes e eficientes."

Grupo de Realidade Virtual na PUCRS

Texto retirado da Revista da Pontifícia da Universidade Católica do Rio Grande do Sul
PUCRS Informação - N°145 - Julho/Agosto-2009

Seguindo a máxima "Nada se cria, tudo se copia", a Sony desenvolveu copiou um jogo no mesmo estilo do Ghostwire só que para crianças. O diferencial deste é que após achar o "fantasma", você tem que utilizar uma espécie de carta para atrair o ser e, assim, capturá-lo. Pode-se colocar os fantasmas-cartas numa disputa (ok, isso é bizarro) e fazer ataques especiais projetando sombras ou tremendo o aparelho (ok, isso é legal).

Ele utiliza uma câmera como acessório extra para o PSP.

Vídeo do palestrante Alessandro Faria fazendo uma demonstração do jogo LevelHead e dando uma breve explicação sobres os conceitos de Realidade Aumentada.
Palestra feita no FISL 10 que ocorreu entre os dias 24 e 27 de junho.


(15:41)

Mais uma da série "estava na minha lista mas alguém implementou antes".

É um aplicativo para dispositivos mobile que informa o usuário sobre as diversas informações nutricionais, cuidados com o produto, informações adicionais sobre a empresa e se é um produto ecologicamente correto. Pode-se também fazer comparações das informações com outros produtos e exibir um histórico com estatísticas das compras anteriores.

Foi desenvolvido pelo programador italiano Giuseppe Costanza e as informações utilizadas são buscadas a partir de pesquisas feitas pelo governo britânico e por relatórios de entidades independentes de defesa do ambiente e de direitos do consumidor.



Mais informações no site do desenvolvedor: FoodTracer

Preciso atualizar com mais frequencia isso aqui. Férias!

Recomecei o desenvolvimento do meu TCC. Ainda não passei para mobile, mas estou vendo como os meus algoritmos vão se comportar numa situação um pouco mais real. Amanhã vou procurar um tabuleiro hehe.

Acho que vou ter sérios problemas, ou não. :(

(clique para ampliar)

Desenvolvido pelo programador alemão Michael Zoellner, é um aplicativo (ainda beta) que se baseia em informações dadas pelo GPS, magnetrômetro (bússola digital) e pelo acelerômetro, para sobrepor na câmera, os avatares dos twitters que estão por perto e ainda com informações extras como a distância da pessoa e último ponto visitado. Selecionando o avatar, mostra os twits do usuário.

TwittARound: An Augmented Reality Twitter Viewer


Fonte: i.document

Catapult - Gizmondo
Jogo aparentemente no estilo Tower defense, onde pode-se construir diversos tipos de torres para combater os inimigos, neste caso, outras torres. Achei maneiro... fazer esse tipo de jogo já estava na minha lista, hehe.
Pode ser jogado no modo two player vs. game, two-player co-op game ou ainda no modo single-player. Todos os modos dispõem de uma batalha rápida ou em campanha.



Procurei mais informações sobre este, mas não achei. Segue a descrição no youtube:

Vídeo criado pelo estudante de design Lasorne Frantz que juntou um projeto de realidade aumentada em um jogo criando algo nunca visto antes.

Ok, descrições exageradas à parte, segue na mesma idéia do primeiro, porém, com um ambiente bem mais agradável e detalhista. Gostei também da idéia de possível imersão com algum Head Mounted Display.



A empresa Fishy criou um jogo simples com RA para a ação do Prêmio de Mídia da Globo Nordeste. É a velha brincadeira do whatever (não sei o nome, hehe) Mole in the hole ou Bate Monster, no Brasil (tkz @crisstanza), implementado em flash, provavelmente utilizando o FlarToolKit.

A edge detection é a base para praticamente qualquer aplicação de Realidade Aumentada, pois, a partir dela pode-se ter um maior controle sobre as propriedades da imagem. O algoritmo da Transformada de Sobel elimina o background da imagem e marca em tons de cinza os delimitadores dos objetos.

Ele se baseia em duas matrizes: Gx e Gy, então, calcula o gradiente local e assim consegue detectar a presença das bordas da imagem. A borda é caracterizada por uma região que contém um alto gradiente. O gradiente de uma imagem f numa posição (x,y) é dado pelo vetor das equações abaixo:

     [δf]
Δf = [Gx]=[δx]
     [Gy] [δf]
     [δy]

Então, a magnitude do gradiente pode ser calculada por:

ΔF = [(Gx)² + (Gy)²]^1/2 = mag(Δf)

O gradiente do pixel é influenciado pelo seus pixels vizinhos. O padrão das matrizes Gx e Gy pode ser:

   [-1 0 +1]
Gx=[-2 0 +2]
   [-1 0 +1]

   [-1 +2 -1] 
Gy=[ 0  0  0]
   [-1 -2 -1]

A partir destes gradientes, é possível determinar a magnitude e a direção da borda para cada pixel. Após isto, a partir de um limiar fixo, cada ponto da imagem é percorrido e é atribuído ao ponto (x,y) uma cor referente à distância do limiar pré-estabelecido, fazendo assim, uma imagem binarizada e evidenciando as principais bordas.

Imagem normal:


Após o Sobel Transform:


Fontes: Marcelo Gattass, UFPR.

Preparem-se, pois a Realidade Aumentada está para entrar, muito em breve, com tudo no mercado e se popularizar de vez, e pior (ou melhor), com a Google. O Android, sistema operacional open-source, está se tornando um grande alvo para desenvolvedores rodarem suas aplicações de RA.
A IBM também está entrando nessa onda e lançou um aplicativo chamado IBM Seer para o mais famoso torneio de tênis do mundo, o Wimbledon. O aplicativo identifica e mostra em forma de "balões" o que é determinado estabelecimento e o que está acontecendo.

IBM Seer



Um aplicativo de RA bem interessante que a empresa SPRXMobile irá lançar, é o Layar. Ele mostra informações, do tipo: prédios que tenham salas para alugar ou vender, combinando com informações extras tipo preço e distâncias.
Porém, como nem tudo são flores, o aplicativo necessita de uma bússola e um GPS para funcionar. Irão lançar primeiramente para o IPhone 3G S, que possui um magnetrômetro (bússola digital).

O download já está disponível para os sistemas operacionais Android. Apenas na Holanda, por enquanto, é que há informações deste tipo disponível.

Layar (SPRXMobile)


Fontes: Gizmodo, Wimbledon

As empresas Georgia Tech Augmented Environments Lab e Savannah College of Art and Design (SCAD-Atlanta) desenvolveram este jogo muito bacana com realidade aumentada. A idéia é salvar as pessoas da cidade do ataque de zumbis. Para isso pode-se atirar utilizando a mira no próprio visor e/ou colocar Skittles! (confetes) como bombas ou armas especiais!

O hardware utilizado conta com:
Tela touchscreen com resolução de 800x600
Câmera com 5mp
e uma GPU com a plataforma Tegra, da nVidia



updateordie

Pra quem não viu, ontem passou uma máteria sobre Realidade Aumentada na coluna Conecte do Jornal da Globo.

Bem interessante. Vale a pena conferir para compreender o básico do funcionamento!

Isso é um esboço que só fica completo em frente a câmera. É mais uma forma de combinarmos algo real e o virtual, para interagir, explica Bruno Uzzan, CEO da Total Immersion.

Matéria no Jornal da Globo

Um dos pioneiros em realidade virtual é o músico e compositor norte-americano Jaron Zepel Lanier, 49 anos. Lanier é formado em Ciência da Computação e popularizou o termo Virtual Reality pelo mundo nos anos 80. Fundou a primeira empresa com foco em RV, a VPL Research, e liderou uma equipe de desenvolvedores que implementaram os primeiros Head Mounted Displays para utilização em conjunto com outras pessoas - a visualização era como um avatar, representando a imagem do usuário. Jaron também foi consultor de partes do filme Minority Report.
No ano 2000, publicou na revista Wired o One-Half of a Manifesto - Why stupid software will save the future from neo-Darwinian machines. Artigo no qual, entre outras coisas, faz criticas à inteligência artificial e os problemas de se deixar tudo na mão das máquinas, retirando sua própria responsabilidade.

Um pouco do currículo do cara:

2006 :: Interdisciplinary Scholar-in-Residence, CET, UC Berkeley
2004 :: Fellow, International Computer Science Institute, Berkeley
2003-2005 :: Visiting Scientist, Silicon Graphics
2002-2004 :: Jones Center Fellow, Wharton School, UPenn
2002 :: Visiting Faculty, Dartmouth College (Surgical Simulation And Tele-Medicine)
1999-2002 :: Chief Scientist, Eyematic Interfaces (IP and most of team now at Google)
1997-2001 :: Chief Scientist, Advanced Network And Services (Parent organization at the time of the Engineering Office Of Internet2)
1997-2000 :: Lead Scientist, National Tele-Immersion Initiative (1st Tele-I Implementation)
1997-2001 :: Visiting Scholar, Columbia University
1996-2001 :: Visiting Artist, Interactive Telecommunications Program, NYU
1984-1990 :: CEO, VPL Research (1st Multiperson VR And First Commercial VR Products)
1983-1984 :: Researcher, Atari Labs
1980-1983 :: Independent Video Game Developer
1979-1980 :: Student Researcher On NSF-Funded Project On Digital Graphical Simulations For Learning At New Mexico State University
1974-1978 :: Independent goat milk and cheese provider (paid for my undergraduate education this way!)

:: Member Of Science Board, Pittsburgh Supercomputer Center
:: Member, Board Of Advisors, Lindenlabs (Social Simulations; “Second Life”)
:: Member, Board Of Advisors, Data Physics (Signal processing to improve volumetric :: medical imaging.)
:: Member, Board Of Advisors, Numedeon (Social Simulations To Encourage Female Teens In Math And Quantitative Sciences.)


Livros:
- Voices from the Edge: Conversations With Jerry Garcia, Ram Dass, Annie Sprinkle, Matthew Fox, Jaron Lanier, & Others— by David Jay Brown, Rebecca McClen Novick
- Artificial Stupidity : Virtual reality pioneer Jaron Lanier says computers are too dumb to take over the world. A Salon.com Feature story by Damien Cave (Author) Publisher: Salon.com, ISBN B00005NGP0
- Info is an Alienated Expense Basic Books (Outubro 2003) ISBN 0465032826.

Entrevista "O futuro da Realidade virtual", com Jaron Lanier.

Conversations with History: Jaron Lanier (53:17)


Fontes: Jaron Lanier, Wikipédia

Matrix!

Sim! Imaginem daqui um tempo quando (e não, se) travarmos nossa batalha contra as máquinas, escurecermos o céu e sermos dominados. Estaremos conectados e participando de uma realidade virtual maneira deste tipo.
Matrix demonstra uma realidade virtual com imersão total, uma realidade em que todos os nossos cinco sentidos: visão, audição, paladar, tato e o olfato, seriam simulados.


Estou só a espera de ver uma cena dessas... :)

Neo: Can you fly that thing?


Trinity: Not yet...

É um jogo que utiliza a câmera de um dispositivo móvel para que você examine os locais a sua volta procurando fantasmas para assim capturá-los e ajudá-los a se libertar. Para isso você deve solucionar enigmas procurando objetos associados e descobrindo porque ainda não se foram deste mundo.



Algumas imagens:




E recentemente a empresa suéca A Different Game anunciou que está desenvolvendo o jogo para a o Nintendo DSi. O Jogo vai utilizar a câmera e o microfone.



No blog do jogo fala um pouco sobre o desenvolvimento. Ghostwire

Idéia sensacional! Tem tudo para ser um ótimo game!

Fontes: MeioBit, Gizmodo.

Na semana de 25 a 28 de maio a FACIN/PUCRS estará sediando o XI Simpósio de Realidade Virtual e Aumentada (Symposium on Virtual and Augmented Reality).

No primeiro dia do evento ocorrerá uma série de palestras GRATUITAS para estudantes e Diplomados Facin, sobre temas relacionados à Realidade Virtual (RV). Entre eles, RV na Educação, no entretenimento e na Saúde. Veja os detalhes no link do Pré-Simpósio: http://grv.inf.pucrs.br/svr2009/program/program.html

ATENÇÃO: Embora seja gratuita, esta atividade requer inscrição específica, que estará disponível a partir do dia 19/05/2009, no site do evento.

Nos dias 26, 27 e 28, inicia o Simpósio propriamente dito, com palestras de convidados internacionais, apresentação de artigos científicos e mini-cursos.

PALESTRAS GRATUITAS PARA ESTUDANTES E DIPLOMADOS FACIN

25/09/2009 - Local - Prédio 32 - Campus da PUCRS

- Realidade Virtual: Histórico, Conceitos e Dispositivos
- Uso de Realidade Virtual em Vida Artificial
- Aplicações de Realidade Virtual e Realidade na Educação e Treinamento
- Realidade Virtual e Realidade Aumentada Aplicadas À Saúde
- Aplicações de Realidade Virtual no Entretenimento
- Aplicações de Realidade Aumentada na Criação de Interfaces Distribuídas
- Aplicações de Visualização de Informação em Ambientes de Realidade Virtual e Aumentada.

Acesse o site http://grv.inf.pucrs.br/svr2009, para ter maiores informações sobre o programa e as inscrições para o evento.

Ah sim.. Feliz Dia do Orgulho Nerd!

Comecei a montar um protótipo funcional para ver qual seria a complexidade e tempo de processamento para o meu TCC. Estou desenvolvendo o core da aplicação em Java e testando, por enquanto, no próprio computador para depois portar para JavaME.

Para executar todo o ciclo de processamento da imagem está demorando em média 2,5 seg por quadro :(

Abaixo alguns primeiros resultados visuais a partir de imagens fixas:

1: Imagem original



2: Após o Sobel Transform


3: Após o Hough Transform e classificação/ordenação das linhas


4: Casas identificadas :)

Segue alguns exemplos...

Televisão:

- Previsão do tempo e jornais: Utiliza técnica de chroma-key, que "é uma técnica de efeito visual que consiste em colocar uma imagem sobre uma outra através do anulamento de uma cor padrão, como por exemplo o verde ou o azul" (wikipédia).



Aplicativo bem interessante para teste:
Ulead VideoStudio 11.5 Plus



- Jogos de futebol: Utilizado para demarcar linhas de impedimentos, círculos em falta para a barreira ou também para animações dos escudos dos times.


[queria achar do Grêmio :(]

O que envolve:
:: O sistema deve conhecer a orientação do gramado em relação à câmera; assim, ele pode pintar a linha de first-down na perspectiva correta.

:: O sistema deve saber, com o mesmo enquadramento, exatamente onde está cada jarda.

:: Dessa forma, o operador pode trabalhar, com o sistema sendo capaz de perceber o movimento de câmera (travelling, panorâmica, zoom, enquadramento) e compreender a mudança de perspectiva.

:: Depois disso, a câmera pode fazer uma panorâmica enquanto visualiza o campo e o sistema pode recalcular a perspectiva numa relação de 30 quadros por segundo, à medida que a câmera se movimenta.

:: Um campo de futebol não é plano - existe uma pequena elevação na parte central para ajudar o escoamento da água da chuva. Dessa maneira, a linha calculada pelo sistema deve acompanhar a elevação do campo de forma adequada.

:: Um jogo de futebol é filmado por várias câmeras localizadas em diferentes lugares no estádio, e o sistema deve realizar o trabalho por intermédio de todas elas.

:: O sistema deve ser capaz de perceber quando os jogadores, juízes ou a bola cruzam a linha de first-down, não pintando o traço sobre eles.

:: O sistema também deve estar atento à sobreposição de imagens que a rede de TV pode apresentar.

(how stuff works)

Estou desenvolvendo para meu trabalho de conclusão de curso em Ciência da Computação um jogo de damas utilizando realidade aumentada para dispositivos móveis.

Segue um breve resumo de como funcionará, a princípio, o aplicativo:

O aplicativo seguirá um roteiro em que a cada ciclo capturará a imagem da câmera e aplicará o algoritmo de Sobel Transform para detectar as bordas da imagem, retirando assim o fundo e as cores. Este será a base para todos os outros algoritmos de tratamento e processamento de imagem. Após será utilizado um método chamado comumente de Non-Max Supression que é utilizado para manter a máxima amplitude dos gradientes e serve de apoio à próxima técnica chamada de Thresholding, onde é feita a binarização da imagem conforme o histórico dos gradientes, ou seja, deixar basicamente a imagem em preto e branco seguindo certos padrões. Após isto se aplicará o método Hough Transform, onde retornará efetivamente as linhas da imagem e as enviará para outro fluxo onde serão classificadas, removidas as que estiverem fora dos padrões e ordenadas.
Com isto será feito a análise de cada casa do tabuleiro para verificar se há uma peça e análise de movimento válido. Quando for a vez do oponente jogar, será feito a análise da matriz do jogo com a utilização do algoritmo de Inteligência Artificial Minimax para efetuar o próximo movimento e, assim, colocar na imagem as peças virtuais com já com as novas posições no tabuleiro.

As vezes acaba-se dando o mesmo nome a essas duas coisas que são um pouco diferentes. Basicamente, Realidade Aumentada (RA) consiste em inserir sons, gráficos e até cheiros no ambiente real a partir de algum dispositivo de visualização ou de som. A aplicação deve conseguir se adaptar ao livre movimento do usuário, para isso seguindo técnicas de rastreamento e reconhecimento de marcadores padronizados.
A Realidade Virtual (RV), usa técnicas de visualização e manipulação para poder criar um ambiente tridimensional sintético. Ele pode permitir ao usuário uma imersão total no ambiente e interação com uma interface complexa utilizando luvas e óculos digitais.

Realidade Aumentada (LevelHead)




Realidade Virtual (World Builder - não é real, mas é muito bacana)

World Builder from Bruce Branit on Vimeo.