https://twitter.com/adcock_brett/status/1767913955295744449
우리는 이제 Figure 01과 완전한 대화를 나누고 있습니다.
우리 로봇은 다음을 수행할 수 있습니다.
- 시각적 경험 설명
- 미래 행동 계획
- 기억 반영
- 추론을 구두로 설명
- 심층 분석
Figure 01을 사전 훈련된 대규모 다중 모드 모델에 연결하면
몇 가지 흥미로운 새로운 기능이 제공됩니다.
- 주변 환경을 설명하는것.
- 결정을 내릴 때 상식적인 추론을 사용하는 것.
예를 들어,
"저 접시와 컵 같은 테이블 위의 그릇은 건조대에 들어갈 가능성이 높습니다."
- "배가 고파요"와 같은 모호하고 높은 이해도가 필요한 요청을
"그 사람에게 사과를 건네주세요"와 같은 상황에 맞는 행동으로 번역하는 것.
- 특정 작업을 실행한 *이유*를 설명하는 것.
예를 들어,
"사과가 내가 식탁에서 줄 수 있는 유일한 먹을 수 있는 품목이었다는걸 아는 것."